第七章 文本搜索工具--grep
作用
-
grep是linux中一种强大的文件搜索过滤工具，可以按照正则表达式检索文件内容，并把匹配的结果显示到屏幕上（匹配的内容会标红）
格式
grep -参数 条件 文件名参数
-n 显示行号
-i 忽略大小写
-c 统计匹配的行数
-v 取反，不显示匹配的行
-w 匹配单词
-E 等价于egrep，即启用扩展正则表达式，grep 支持基本正则 fgrep 不支持正则
-n 显示行号
-l 如果匹配成功，则只将文件名打印出来，失败则不打印，通常-rl一起用，grep -rl 'root' /etc
-rl 将指定目录内的文件打印
-A数字 匹配行及以下n行
-B数字 匹配行及以上n行
-C数字 匹配行及上下n行
-q 静默模式，没有任何内容输出，使用$?来判断是否执行成功
-o 只显示匹配的内容
-x 仅选择与整行完全匹配的匹配项。精确匹配每行内容（包括行首行尾看不到的空格内容）
-R -r以递归方式读取每目录下的文件
指定过滤器
--exclude-dir= 指定过滤目录，排除目录顾虑选择
[root@node1 ~]# grep -rl 'aaa' /path --exclude-dir=2 (注：直接写子路径)
--exclude-from=file指定过滤器文件，通过文件内容指定要排除的文件名注意
-
工作方式：grep可以在一个或多个文件中检索，如果条件中包含了空格，需要使用双引号引起
-
工作结果：如果搜索成功则返回0状态码，否则为1状态码
示例
操作对象文件：/etc/passwd
-
作用：记录账户的信息，共分为7段，使用冒号分割
-
意义：账户名：密码代号x：UID:GID：注释：家目录：登录的Shell
-
注意：最后一段/sbin/nologin表述不允许登录
grep过滤命令示例
[root@server ~]# grep -n "root" /etc/passwd
[root@server ~]# grep -n "sshd" /etc/passwd
[root@server ~]# grep -n "/sbin/nologin" /etc/passwd
[root@server ~]# grep -c "/bin/bash" /etc/passwd
[root@server ~]# grep "/bin/bash" /etc/passwd | wc -l
[root@server ~]# grep -nv "/sbin/nologin" /etc/passwd
[root@server ~]# grep -ni "d" /etc/passwd
[root@server ~]# grep -nA2 "ftp" /etc/passwd
[root@server ~]# grep -nB3 "ftp" /etc/passwd
[root@server ~]# grep -nC3 "ftp" /etc/passwd第八章 正则表达式
概念：
-
在进行程序设计的过程中，用户会不可避免地遇到处理某些文本的情况。有的时候，用户还需要查找符合某些比较复杂规则的字符串。对于这些情况，如果单纯依靠程序设计语言本身，则往往会使得用户通过复杂的代码来实现。但是，如果使用正则表达式，则会以非常简短的代码来完成
-
正则表达式是通过一些特殊字符的排列，用以查找、替换、删除一行或多行文字字符串，简单的说，正则表达式就是用在字符串的处理上面的一项表示式。由于正则表达式语法简练，功能强大，得到了许多程序设计语言的支持，包括python,Java、C++、Perl以及Shell等
基本正则表达式
-
基本正则表达式（Basic Regular Expression，BRE），又称为标准正则表达式，是最早制订的正则表达式规范，仅支持最基本的元字符集。基本正则表达式是POSIX规范制订的两种正则表达式语法标准之一，另外一种语法标准称为扩展正则表达式
常见元字符
| 元字符 | 说明 |
|---|---|
| ^ | 以某个字符开头 |
| $ | 以某个字符结尾 |
| . | 匹配任意单字符 |
| * | 对前一项进行0次或者多次重复匹配 |
| {m,n} | 将前一项字符重复m-n次，{m,},{,n},{m，n} |
| [ ] | 对方括号内的单字符进行匹配 |
| [^] | 不匹配方括号内的单字符 |
| ^[] | 匹配以某个字符开头的行 |
| () | 定义一个子表达式 |
| 词首【\<或\b】和词尾锚定【\>或者\b】 | 其后面的任意字符必须作为单词首部出现；其前面的任意字符必须作为单词尾部出现 |
| \ | 转义字符，让一些特殊符号失效 |
[root@localhost ~]# cat file
a
b
ba
baa
baaa
baaaa
baaaaba
baaaaaab
案例：
[root@localhost ~]# grep '^root' /etc/passwd
root:x:0:0:Super User:/root:/bin/bash
[root@localhost ~]# grep 'bash$' /etc/passwd
root:x:0:0:Super User:/root:/bin/bash
hcip:x:1000:1000:hcip:/home/hcip:/bin/bash
euler:x:1001:1001::/home/euler:/bin/bash
[root@localhost ~]# grep '^$' /etc/bashrc
[root@localhost ~]# grep 'b.' file
[root@localhost ~]# grep 'ba*' file
[root@localhost ~]# grep '.*' file
[root@localhost ~]# grep [a-z] /etc/passwd
[root@localhost ~]# grep [^a-z] /etc/passwd
[root@localhost ~]# grep '\bba\b' filePOSIX字符类
-
POSIX字符类是一个形如
[:...:]的特殊元序列（meta sequence），他可以用于匹配特定的字符范围
| 正则表达式 | 描述 | 示例 |
|---|---|---|
| [:alnum:] | 匹配任意一个字母或数字字符 | [[:alnum:]]+ |
| [:alpha:] | 匹配任意一个字母字符（包括大小写字母） | [[:alpha:]] |
| [:blank:] | 空格与制表符（横向和纵向） | [[:blank:]]* |
| [:digit:] | 匹配任意一个数字字符 | [[:digit:]]? |
| [:lower:] | 匹配小写字母 | [[:lower:]] |
| [:upper:] | 匹配大写字母 | ([[:upper:]]+)? |
| [:punct:] | 匹配标点符号 | [[:punct:]] |
| [:space:] | 匹配一个包括换行符、回车等在内的所有空白符 | [[:space:]]+ |
| [:graph:] | 匹配任何一个可以看得见的且可以打印的字符 | [[:graph:]] |
| [:xdigit:] | 任何一个十六进制数（即：0-9，a-f，A-F） | [[:xdigit:]]+ |
| [:cntrl:] | 任何一个控制字符（ASCII字符集中的前32个字符) | [[:cntrl:]] |
| [:print:] | 任何一个可以打印的字符 | [[:print:]] |
示例
-
[ab] : 检索包含a或包含b的行信息，[ ] 中只能表示一个内容
# 检索包含d或者D的行信息
[root@server ~]# grep -n [dD] /etc/passwd
# 检索包含字母o的行信息
[root@server ~]# grep -n [oo] /etc/passwd-
[^ ] : 根据关键字检索后反向显示（反向着色）
# 检索不包含字母o的行信息
[root@server ~]# grep -n [^o] /etc/passwd
# 检索不以r开头且包含oot的行信息
[root@server ~]# grep -n [^r]oot /etc/passwd-
[-] : 表示范围，如：[0-9] [a-z] [A-Z] [a-zA-Z]
# 检索包含7-9的行信息
[root@server ~]# grep -n [7-9] /etc/passwd
# 检索包含大写字母的行信息
[root@server ~]# grep -n [A-Z] /etc/passwd
# 检索包含数字和字母的行信息
[root@server ~]# grep -n [0-9a-zA-Z] /root/anaconda-ks.cfg
# 上例改写
[root@server ~]# grep -n [[:alnum:]] /root/anaconda-ks.cfg-
^行首与$行尾
# 检索root开头的行信息
[root@server ~]# grep -n ^root /etc/passwd
# 检索以#开头的行信息
[root@server ~]# grep -n "^#" /root/anaconda-ks.cfg
# 检索以数字结尾的行信息
[root@server ~]# grep -n "[0-9]$" /root/anaconda-ks.cfg
# 检索空白行
[root@server ~]# grep -n "^$" /root/anaconda-ks.cfg
# 注意
[root@server ~]# grep -n ^[root] /etc/passwd # 检索以r开头或o开头或t开头，独立对待
[root@server ~]# grep -n ^root /etc/passwd # 检索root开头，整体对待
[root@server ~]# grep -n [^root] /etc/passwd # 检索不包含r或o或t的，反向着色
# 注意：^[] 与 [^] 区别-
点(.) 与星号(*)
# 检索以r开头t结尾中间只有2个字符的行信息
[root@server ~]# grep -n r..t /etc/passwd
# 检索至少包含1个w字母的行信息
[root@server ~]# grep -n ww* /etc/passwd
# 检索至少包含2个字母o的行信息
[root@server ~]# grep -n ooo* /etc/passwd
# 检索包含(.)的行信息
[root@server ~]# grep -n "\." /etc/passwd # 需要加双引号扩展正则表达式
概念
-
扩展正则表达式（Extended Regular Expression，ERE）支持比基本正则表达式更多的元字符，但是扩展正则表达式对有些基本正则表达式所支持的元字符并不支持。前面介绍的元字符“\^”、“$”、“.”、“*”、“[]”以及“[^]”这6个元字符在扩展正则表达式都得到了支持，并且其意义和用法都完全相同，不再重复介绍。接下来重点介绍一下在扩展正则表达式中新增加的一些元字符。
| 元字符 | 说明 |
|---|---|
| ? | 将前一项字符进行0次或者1次的重复匹配 |
| + | 将前一项进行1次或者多次的重复匹配 |
| (|) | 匹配|符号左边或者右边的字符 |
| {n,m} | 匹配前一个匹配n-m次{1，} {，1} |
| （） \1\2 | 组合为整体、保留 |
| | | 或者 [10..20] 1[0..9]|20 |
后项引用：后面例子中会用到。
分组：()(ab)*后项引用\1:引用第一个左括号以及与之对应的右括号所包括的所有内容\2:\3:示例
# 显示/etc/passwd 中以bash结尾的行信息
[root@server ~]# grep -n "bash$" /etc/passwd
# 找出/etc/passwd中包含三位数或者四位数的行信息
[root@server ~]# grep -n "\<[0-9]\{3,4\}\>" /etc/passwd
# 上例改写
[root@server ~]# grep -n "\<[[:digit:]]\{3,4\}\>" /etc/passwd
# 检索/etc/grub2.cfg文件中，以至少一个空白字符开头，后面跟上非空白字符的行
[root@server ~]# grep -n "^[[:space:]]\+[^[:space:]]" /etc/grub2.cfg
# 分析
# ^[[:space:]] ：表示以空白字符开头
# \+：grep不支持扩展正则的元字符，需要转义
# [^[:space:]]：不包含非空白字符
# grep可以使用-E参数启用扩展正则，命令改为：
[root@server ~]# grep -nE "^[[:space:]]+[^[:space:]]" /etc/grub2.cfg
# 也可以使用egrep，其支持扩展正则，命令改为
[root@server ~]# egrep -n "^[[:space:]]+[^[:space:]]" /etc/grub2.cfg
# 检索netstat -tan 命令的运行结果中，以“LISTEN”后跟上0个或多个空白字符结尾的行信息
[root@server ~]# netstat -tan | grep "LISTEN[[:space:]]*$"
# *$表示重复前面0次或多次，$为结尾
# 检索fdisk -l 命令结果中，包含以/dev/开头后跟上n的行信息
[root@server ~]# fdisk -l | grep "^/dev/n"
# 检索 ldd /usr/bin/cat 命令结果中的文件路径
[root@server ~]# ldd /usr/bin/cat | grep -oE "/[^[:space:]]+"
# -o：只显示检索命中的标红内容
# -E：启用扩展正则
# 检索/proc/meminfo文件中，所有以大写A或大写S开头的行信息
[root@server ~]# grep -n "^[AS]" /proc/meminfo
# 显示/etc/passwd文件中当root、sshd、chrony的相关信息
[root@server ~]# egrep -n "(root|sshd|chrony)" /etc/passwd
# 需要使用egrep，其支持扩展正则
# (|) 会对|左右两边的整体内容进行匹配
# echo输出一个绝对路径，使用egrep取出其基名
[root@server ~]# echo /etc/yum.repos.d/ | egrep -o [^/]+/?$
# 检索ifconfig命令结果的1-255之间的整数
[root@server ~]# ifconfig | egrep -o "\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>"练习题： file.txt文件内容:
48 Dec 3BC1977 LPSX 68.00 LVX2A 138
483 Sept 5AP1996 USP 65.00 LVX2C 189
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
219 dec 2CC1999 CAD 23.00 PLV2C 68
484 nov 7PL1996 CAD 49.00 PLV2C 234
483 may 5PA1998 USP 37.00 KVM9D 644
216 sept 3ZL1998 USP 86.00 KVM9E 2341含有“48”字符串的行的总数
grep -c '48' file.txt
2显示含有“48”字符串的所有行的行号
grep -n '48' file.txt
3精确匹配只含有“48字符串的行
grep -x '48' file.txt
4抽取代码为484和483的城市位置
grep -E '484|483' file.txt
5显示行首不是4或8
grep -Ev '^\[^4|8]' file.txt
6显示含有九月份(Sept)的行
grep -i 'sept' file.txt
7显示以K开头以D结尾的所有代码
grep -E '\bK.*D\b' file.txt
grep -wE 'K.*D' file.txt
8显示头两个是大写字母，中间至少两个任意，并以C结尾的代码
grep -E '\b[A-Z]{2}.{2,}C\b' file.txt
grep -wE '[A-Z]{2}[a-zA-Z]{2,}C' file.txt
9查询单词所有以5开始以1996或1998结尾的所有记录
grep -E '\b5.*(1996|1998)\b' file.txt1、显示/etc/rc.d/rc.sysinit文件中以不区分大小的h开头的行；
egrep -i '^h' /etc/rc.d/rc.sysinit
egrep 'h|H' /etc/rc.d/rc.sysinit
egrep '[hH]‘ /etc/rc.d/rc.sysinit2、显示/etc/passwd中以sh结尾的行;
grep -E 'sh$' /etc/passwd3、显示/etc/fstab中以#开头，且后面跟一个或多个空白字符，而后又跟了任意非空白字符的行；
grep -E '^#[[:space:]]+[^[:space:]]*' /etc/fstab
grep -E '^#\s+\S*' /etc/fstab
grep -E '^# +[^ ]*' /etc/fstab4、查找/etc/rc.d/rc.local中包含“以to开始并以to结尾”的字串行；
egrep '\b(to).*\1\b' /etc/rc.d/rc.local5、查找/etc/inittab中含有“以s开头，并以d结尾的单词”模式的行；
grep -w 's.*d' /etc/inittab6、查找ifconfig命令结果中的1-255之间的整数；
ifconfig | egrep -ow '[1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-5][0-5]'
ifconfig | egrep -ow '[1-9]|[1-9][0-9]|1[0-9]{2}|2[0-5][0-5]'7、显示/var/log/secure文件中包含“Failed”或“FAILED”的行8、在/etc/passwd中取出默认shell为bash9、以长格式列出/etc/目录下以ns开头、.conf结尾的文件信息
ls /etc| grep '\bns.*.conf\b'10、高亮显示passwd文件中冒号，及其两侧的字符
egrep '.:.' /etc/passwd11、匹配/etc/services中行开头结尾一样的单词
egrep '(\b[a-zA-Z]+\b).*\b\1' /etc/services12、显示/etc/inittab中 以#开头，且后面跟-一个或多个空白字符，而后又跟了任意非空白字符的行
egrep '^#[[:space:]]+\[^[:space:]]*' /etc/inittab
egrep '^#\s+\S{,}' /etc/inittab13、显示/etc/inittab中包含 了:一个数值 (即两个冒号中间一个数字的行
/etc/passwd 多个冒号之间的数值匹配显示
egrep '(:[0-9]+)+:' passwd14、显示/boot/grub2/grub.cfg文件中以一个或多个空白字符开头的行:
egrep "^\s+" /boot/grub2/grub.cfg egrep "^[[:space:]]+" /boot/grub2/grub.cfg15、显示/etc/inittab文件中以一个数字开头并以一个与开头数字相同的数字结尾的行;
egrep '^([0-9]).*\1$' passwd16、找出/proc/cpuinfo中的，1位数，或2位数;
egrep -v '(\.[0-9]+)|([0-9]+\.)' /proc/cpuinfo | egrep '\b[0-9]{1,2}\b' | wc -l17、查找当前系统上名字为student（必须出现在行首）的用户的账号的相关信息，文件为/etc/passwd
[root@localhost test]# egrep '^root\b' passwd
root:x:0:root:/root:/bin/bash1
[root@localhost test]# egrep '^root\>' passwd
root:x:0:root:/root:/bin/bash1
[root@localhost test]# grep -w '^root' passwd
root:x:0:root:/root:/bin/bash1
