linux过滤命令怎么用,linux日志查看过滤命令

Linux运维必学命令之文件过滤！Linux入门

熟悉Linux运维工作的小伙伴们都知道，在Linux操作系统中，除了Cat、tac、more、less等命令之外，还有很多用于文本查看的命令，比如head、tail等，本文将为大家详细的介绍一下。

cat：合并文件或查看文件内容

tac：反向显示文件内容

more：分页显示文件内容

less：分页显示文件内容

head：显示文件内容头部

tail：显示文件内容尾部

tailf：跟踪日志文件

cut：从文本中提取一段文字并输出

split：分割文件

paste：合并文件

sort：文本排序

join：按两个文件的相同字段合并

uniq：去除重复行

wc：统计文件的行数、单词数或字节数

iconv：转换文件的编码格式

dos2unix：将DOS格式文件转换成UNIX格式

diff：比较两个文件的不同

vimdiff：可视化比较工具

rev：反向输出文件内容

tr：替换或删除字符

od：按不同进制显示文件

tee：多重定向

vi/vim：纯文本编辑器

相关问答

Q1: Linux sed 命令详解

一、基本正则列表与扩展正则

二、sed 文本处理工具的用法介绍

三、认识sed工具的 n、r、i 选项指令

四、认识sed工具的 p、d、s 条件指令

五、认识sed工具的 i、a、c 条件指令

六、认识sed高级应用 r、w 条件指令

七、综合案例

Linux sed

Stream EDitor,流式编辑器

一、基本正则列表与扩展正则

根据推出时间的不同，分为基本正则和扩展正则，扩展正则在基本正则的基础上做了一些优化和新增了一些正则表达符号，因为一些命令没有及时更新，所以你可能会遇到有些命令只支持基本正则，不支持扩展正则，或者需要添加一些支持扩展正则的选项。

关于正则与扩展正则区别的详细介绍可以看我另一篇shell 正则的介绍

基本正则列表

扩展正则列表

二、sed 文本处理工具的用法介绍：

相关说明如下：

sed命令的常用选项如下：

sed命令常用条件指令如下

三、认识sed工具的 n、r、i 选项指令

# sed [选项] '条件指令' 文件.. ..

上面的条件指令 我们可以拆分为 # sed [选项] '范围界定+操作指令' 文件.. .. 的格式这样更容易理解

sed命令可以使用行号或正则做为条件匹配：

1）sed命令的 -n 选项

执行p打印等过滤操作时，希望看到的是符合条件的文本。但不使用任何选项时，默认会将原始文本一并输出，从而干扰过滤效果。比如，尝试用sed输出/etc/hosts的第1行：

可以发现所有的行都被显示出来了（第1行重复2次）。—— 正确的用法应该添加 -n 选项，这样就可以只显示第1行了：

行号可以是连续的行号，如打印passwd第3到第6行账户的信息：

2）sed命令的 -r 选项

需要用到扩展正则时,需要加 -r选项

3）sed命令的 -i 选项

正常情况下，sed命令所做的处理只是把操作结果（包括打印、删除等）输出到当前终端屏幕，而并不会对原始文件做任何更改：

若希望直接修改文件内容，应添加选项 -i 。

需要特别注意的是,和一些指令组合和使用的先后顺序都会对最终输出结果产生影响

例如: 指令 -n、和操作操作p

比如，直接删除test.txt（自行创建一个任意内容的文件）的第1~4行：

下文中关于使用sed修改文件的示例中，为了避免大家在练习过程中因误操作导致系统故障，命令省略 –i 选项，不再逐一说明。需要时，大家可自行加上此选项。

4）多个指令可以使用分号隔离

用分号来隔离多个操作，比如：

1）行号案例

2）正则案例

3）没有条件，则表示匹配所有行

四、认识sed工具的 p、d、s 条件指令

1）下面看看sed工具的p指令案例集锦（自己提前生成一个a.txt文件）

2）下面看看sed工具的d指令案例集锦（自己提前生成一个a.txt文件）

3）sed命令的s替换基本功能（s/旧内容/新内容/选项）：

4）下面看看sed工具的s指令案例集锦（自己提前生成一个a.txt文件）

注意：替换操作的分隔“/”可改用其他字符，如#、等，便于修改文件路径

以下操作使用nssw.txt作为测试文件。

参考数据文件内容如下：

5）删除文件中每行的第二个、最后一个字符

分两次替换操作，第一次替换掉第2个字符，第二次替换掉最后一个字符：

6）将文件中每行的第一个、倒数第1个字符互换

每行文本拆分为“第1个字符”、“中间的所有字符”、“倒数第1个字符”三个部分，然后通过替换操作重排顺序为“3-2-1”：

7）删除文件中所有的数字

因原文件内没有数字，行首也没有空格，这里在内容中新增一些数字另外新几行内容 首行添加几行空格，生成一个新测试文件以 nssw2.txt

以nssw2.txt文件为例，删除所有数字、行首空格的操作如下：

8）为文件中每个大写字母添加括号[]

使用“（）”可实现保留功能，所以可参考下列操作解决：

五、认识sed工具的 i、a、c 条件指令

# sed [选项] '条件指令' 文件..

sed工具的多行文本处理操作：

基本语法格式案例：

1）sed命令的 i 指定行之前插入基本功能

2）sed命令的a追加基本功能

3）sed命令的c替换基本功能

六、认识sed高级应用 r、w 条件指令

1）sed命令的 r 读取文件

2）sed命令的 w 保存到文件

七、综合案例

1） 综合案例1

2）综合案例2 脚本应用

Q2: Linux命令之筛选条件

grep (过滤)

过滤需要的内容，

-v 需要排除的内容，

-i不分辨大小写，

-n匹配的内容在其行首显示行号，

-A （after）显示匹配字符串及其后n行，

-B （before）显示匹配字符串及其前n行，

-C（context）显示匹配字符串

下边是想凑字数的啦啦

Q3: Linux grep、egrep使用命令详解

grep egrep区别

grep 默认不支持扩展 但可以通过-E 选择来支持扩展正则

egrep 支持扩展正则

关于正则与扩展正则的区别可以看我另一篇shell 正则的介绍

文件处理顺序 以行为单位,逐行进行处理

默认只输出与表达式相匹配的文本行

基本用法

- 格式1:egrep [选择] '正则表达式' 文件

- 格式2:前置命令 | egrep [选择] '正则表达式'

• egrep命令工具 (扩展正则命令)

• 常用命令选项

•grep 正则表达式,用来查找过滤文档的工具符号

grep "root" user //在user文档中查找有单词root的行

grep "^root" user //在user文档中查找以单词root开头的行

grep "bash " user //查找空行

grep "^ " user //查找以空格开头的行

grep "[rot]" user //查找字母r或者o或者t

grep "roo[tn]" user //查找root或者roon

grep "[^rot]" user //查找字母r或者o或者t之外的内容

grep "[a-z]" user //查找小写字母

grep "[A-Z]" user //查找大写字母

grep "[a-Z]" user //查找所有字母

grep "[0-9]" user //查找数字

grep "r..t" user //查找以r开头t结尾中间有2个任意字符的单词

grep "r. " user //查找以r开头后面任意字符 相当手通配符

grep "ro*" user //查找以r开头后面有或没有字母o的单词,o可以出现任意次

grep "o{1,2}" user //查找o出现1次到2次的行

grep "o{2,3}" user //查找o出现2次到3次的行

grep "o{2}" user //查找o出现2次的行

grep "o{1,} " user //查找o出现1次以及1次以上

grep "(:0){2}" user //查找:0(数字零)连续出现2次的行

扩展正则

egrep "o+" user //查找o出现1次以及1次以上

egrep "o?" user //查找o出现0次或1次

egrep "o{1,2}" user //查找o出现1次到2次的行

egrep "o{2,3}" user //查找o出现2次到3次的行

egrep "o{2}" user //查找o出现2次的行

egrep "o{1,}" user //查找o出现1次以及1次以上

egrep "(:0){2}" user //查找:0(数字零)连续出现2次的行

egrep "bash|nologin" user //查找bash或者nologin

egrep "\bthe\b" a //查找单词the,前后是空格或者特殊符号

案例:

正则表达式匹配练习

1）典型的应用场合：grep、egrep检索文本行

grep命令不带-E选项时，支持基本正则匹配模式。比如“word”关键词检索、“^word”匹配以word开头的行、“word$”匹配以word结尾的行……等等。

输出以“r”开头的用户记录：

输出以“localhost”结尾的行：

若希望在grep检索式同时组合多个条件，比如输出以“root”或者以“daemon”开头的行：

而若若使用grep -E或egrep命令，可支持扩展正则匹配模式，能够自动识别 |、{} 等扩展正则表达式中的特殊字符，用起来更加方便，比如：

或者

使用grep -E 与 使用egrep命令完全等效，推荐使用后者，特别是涉及到复杂的正则表达式的时候。

2）grep、egrep命令的-q选项

选项 -q 表示 quiet（静默）的意思，结合此选项可以只做检索而并不输出，通常在脚本内用来识别查找的目标是否存在，通过返回状态 $? 来判断，这样可以忽略无关的文本信息，简化脚本输出。

比如，检查/etc/hosts文件内是否存在192.168.4.4的映射记录，如果存在则显示“YES”，否则输出“NO”，一般会执行：

这样grep的输出信息和脚本判断后的提示混杂在一起，用户不易辨别，所以可以改成以下操作：

是不是清爽多了，从上述结果也可以看到，使用 -q 选项的效果与使用 /dev/null的效果类似。

3）基本元字符 ^、$ —— 匹配行首、行尾

输出注释的配置行（以#开头的行）：

统计本地用户中登录Shell为“/sbin/nologin”的用户个数：

提示: -m10仅在文件的前10行中过滤，后面的行不再过滤。

结合 -c 选项输出匹配的行数

使用 -c 选项可输出匹配行数，这与通过管道再 wc -l的效果是相同的，但是写法更简便。比如，统计使用“/bin/bash”作为登录Shell的正常用户个数，可执行：

或者

4）基本元字符 . —— 匹配任意单个字符

以/etc/rc.local文件为例，确认文本内容：

输出/etc/rc.local文件内的空行（用 –v 选项将条件取反）：

5）基本元字符 +、?、 —— 目标出现的次数*

还以/etc/rc.local文件为例：

输出包括 f、ff、ff、……的行，即“f”至少出现一次：

输出包括init、initial的行，即末尾的“ial”最多出现一次（可能没有）：

输出包括stu、stuf、stuff、stufff、……的行，即末尾的“f”可出现任意多次，也可以没有。重复目标只有一个字符时，可以不使用括号：

输出所有行，单独的“.*”可匹配任意行（包括空行）：

输出/etc/passwd文件内“r”开头且以“nologin”结尾的用户记录，即中间可以是任意字符：

6）元字符 {} —— 限定出现的次数范围

创建一个练习用的测试文件：

输出包括ababab的行，即“ab”连续出现3次：

输出包括abab、ababab、abababab的行，即“ab”连续出现2~4次：

输出包括ababab、abababab、……的行，即“ab”最少连续出现3次：

7）元字符 [] —— 匹配范围内的单个字符

还以前面的测试文件bracet.txt为例：

输出包括abc、abd的行，即前两个字符为“ab”，第三个字符只要是c、d中的一个就符合条件：

输出包括大写字母的行，使用[A-Z]匹配连续范围：

8）单词边界匹配

以文件/etc/rc.local为例：

输出包括单词“init”的行，文件中“initialization”不合要求：

或者：

输出包括以“ll”结尾的单词的行，使用 匹配单词右边界：

或者：

9）多个条件的组合

通过dmesg启动日志查看蓝牙设备、网卡设备相关的信息：