一、正则化匹配规则

1、在正则表达式中，如果直接给出字符，就是精确匹配。用\d可以匹配一个数字，\w可以匹配一个字母或数字
2、要匹配变长的字符，在正则表达式中，用*表示任意个字符（包括0个），用+表示至少一个字符，用?表示0个或1个字符，用{n}表示n个字符，用{n,m}表示n-m个字符
4、^表示行的开头，^\d表示必须以数字开头。
5、$表示行的结束，\d$表示必须以数字结束。
6、要做更精确地匹配，可以用[]表示范围，比如：

[0-9a-zA-Z\_]可以匹配一个数字、字母或者下划线；
[0-9a-zA-Z\_]+可以匹配至少由一个数字、字母或者下划线组成的字符串，比如'a100'，'0_Z'，'Py3000'等等；
[a-zA-Z\_][0-9a-zA-Z\_]*可以匹配由字母或下划线开头，后接任意个由一个数字、字母或者下划线组成的字符串，也就是Python合法的变量；
[a-zA-Z\_][0-9a-zA-Z\_]{
    0, 19}更精确地限制了变量的长度是1-20个字符（前面1个字符+后面最多19个字符）。
A|B可以匹配A或B，所以(P|p)ython可以匹配'Python'或者'python'。你可能注意到了，py也可以匹配'python'，但是加上^py$就变成了整行匹配，就只能匹配'py'了

来看一个复杂的例子：\d{
    3}\s+\d{
    3,8}。

我们来从左到右解读一下：

\d{
    3}表示匹配3个数字，例如'010'；

\s可以匹配一个空格（也包括Tab等空白符），所以\s+表示至少有一个空格，例如匹配' '，' '等；

\d{
    3,8}表示3-8个数字，例如'1234567'。

综合起来，上面的正则表达式可以匹配以任意个空格隔开的带区号的电话号码。

如果要匹配'010-12345'这样的号码呢？由于'-'是特殊字符，在正则表达式中，要用'\'转义，所以，上面的正则是\d{
    3}\-\d{
    3,8}

二、grep正则匹配例子

#查看系统内存、缓存、交换分区 -e的作用是匹配多个表达式
cat /proc/meminfo|grep -e Mem -e Cache -e Swap

#查找/etc目录下的所有文件中的邮件地址;
grep -R -o -n -E '[a-z0-9]+\@[a-z0-9]+\.[a-z]{2,4}' /etc
#其中：-R：递归，-n表示匹配的行号，-o只输出匹配内容 -E:支持扩展正则表达式

#查找/etc/目录下文件包含"HOSTNAME"的次数，-c统计匹配次数，-v取反
grep -R -c 'HOSTNAME' /etc/|grep -v "0$"

#查找内核日志中eth的行，显示颜色及行号：
dmesg | grep -n --color=auto 'eth'

#用dmesg列出核心信息，再以grep找出含有eth哪行，在关键字所在行的前两行与后三行也一起找出出来显示
dmesg |grep -n -A3 -B2 --color=auto 'eth'

#统计系统中能登录的用户的个数
cat /etc/passwd |grep -c bash$

#统计httpd进程数量
ps -ef|grep -c httpd

#显示games 匹配的“-C”前后4行
grep -C 4 'games' --color /etc/passwd

#获取网卡名称：
ip a |grep -E '^[0-9]' |awk -F:'{print $2}'

#截取ip地址,[^]*表示以非空字符作为结束符，[0-9.]*表示数字和点的结合。
ifconfig eth0|grep -E -o 'inet addr:[^]*'|grep -o'[0-9.]*'

#截取MAC地址：
ifconfig eth0|grep -i hwaddr |awk '{print$5}'

#查看指定进程：
ps -ef|grep mysql
root 1688 1645 0 05:02 pts/0  00:00:00 grep mysql

三、sed正则匹配例子

#1. 取系统ip
[root@] ifconfig eth3 
eth3      Link encap:Ethernet  HWaddr 08:00:27:4C:6F:AD  
          inet addr:192.168.0.109  Bcast:192.168.0.255  Mask:255.255.255.0
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:18603 errors:0 dropped:0 overruns:0 frame:0
          TX packets:7782 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:2652530 (2.5 MiB)  TX bytes:1664897 (1.5 MiB)

方法1：sed ‘s#支持正则##g’ file

# 第一步：取到ip所在的行，取第二行
[root@] ifconfig eth3|sed -n '2p'
          inet addr:192.168.0.109  Bcast:192.168.0.255  Mask:255.255.255.0
          
# 第二步：取中间的内容，先将前面的一段匹配掉，替换掉
[root@] ifconfig eth3|sed -n '2p'|sed 's#inet addr:##g'
          192.168.0.109  Bcast:192.168.0.255  Mask:255.255.255.0
# 取内容时，必须要在这行内容中是唯一的，不是唯一的，默认会取到最后一个
[root@] ifconfig eth3|sed -n '2p'|sed 's#^.*:##g'      
255.255.255.0

# 将以任意字符开头的，长度0-N个的，以dr: 为结尾的内容替换掉
[root@] ifconfig eth3|sed -n '2p'|sed 's#^.*dr:##g' 
192.168.0.109  Bcast:192.168.0.255  Mask:255.255.255.0

# 第三步：将要取的ip内容的后端从开头取替换掉
[root@] ifconfig eth3|sed -n '2p'|sed 's#^.*dr:##g'|sed 's#  B.*$##g'
192.168.0.109

处理技巧：
匹配需要的目标（获取的字符串，如本例中的ip）前的字符串一般用以…开头（^.*）来匹配开头，匹配的结尾写上实际的字符。
如："^.addr:" 表达式就匹配" inet addr:"
而处理需要的目标后的内容，一般在匹配的开头写上实际的字符，而结尾是用以…结尾(.$)来匹配。如："Bcast:.\ast$“部分匹配表示"Bcast:10.0.0.255 Mask:255.255.255.0”

方法2：替换命令：sed -n ‘s#支持正则位置##gp’ file

指定行号：s前的2为 行号

sed -n '2s#支持正则位置##gp' file
[root@] ifconfig eth3|sed -n '2s#^.*dr:##gp'
192.168.0.109  Bcast:192.168.0.255  Mask:255.255.255.0

[root@] ifconfig eth3|sed -n '2s#^.*dr:##gp'|sed -n 's#  Bc.*$##gp'
192.168.0.109

方法3：sed的后向引用 sed -nr ‘s#()()#\1\2#gp’ file

[root@] cat a.txt
I am oldboy Linux.

# 取任意字符开头，取任意字符一直到m；然后（）内容是要输出的内容，任意字符；后面是以"L"开头的任意字符（N个）结尾。
# 替换掉 () 外面的内容，输出()内的内容
[root@] sed -nr 's#^.*m (.*) L.*$#\1#gp' a.txt
oldboy

当正则匹配部分使用()，第一个括号，可以在后面的部分用“\1”来输出；第二个括号的内容，可以用"\2"来输出。

 
获取ip的方法：


# 取第二行，开头任意字符，是...r:()  Bc...，输出 () 的内容。
[root@] ifconfig eth3|sed -nr '2s#^.*r:(.*)  Bc.*$#\1#gp'   
192.168.0.109

# 第二行都不取，条件定义好，直接就能输出结果
[root@] ifconfig eth3|sed -nr 's#^.*r:(.*)  Bc.*$#\1#gp' 
192.168.0.109

方法4: 用awk，grep等文本处理方式分列获取，sed命令是用于学习的

[root@] ifconfig eth3|awk -F "[ :]+" 'NR==2 {print $4}' 
192.168.0.109

[root@] grep IPADDR /etc/sysconfig/network-scripts/ifcfg-eth3|cut -d "=" -f 2
192.168.0.109

sed 方法替换的扩展练习：

1. 将下面文件的内容用sed替换方法取出 644：

[root@] stat /etc/hosts
  File: `/etc/hosts'
  Size: 158             Blocks: 8          IO Block: 4096   regular file
Device: 803h/2051d      Inode: 259614      Links: 2
Access: (0644/-rw-r--r--)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2019-10-01 00:00:08.875025775 +0800
Modify: 2010-01-12 21:28:22.000000000 +0800
Change: 2019-08-30 08:12:59.831999996 +0800

答案：

[root@] stat /etc/hosts|sed -nr 's#^.*: \(0(.*)/-rw.*$#\1#gp'
644

2. 将下面文件内容的第一列和最后一列做个对调

[root@] tail /etc/passwd
haldaemon:x:68:68:HAL daemon:/:/sbin/nologin
ntp:x:38:38::/etc/ntp:/sbin/nologin
saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
oldboy:x:500:500::/home/oldboy:/bin/bash
zoe:x:501:501::/home/zoe:/bin/bash
apache:x:48:48:Apache:/var/www:/sbin/nologin
beaty:x:502:502::/home/beaty:/bin/bash

答案：

正则表达式1：()()()三块分别借助单个匹配的特征，输出再拼接

[root@] tail /etc/passwd|sed -nr 's#(.*):x(.*):(.*)#\3:x\2:\1#gp' 
/sbin/nologin:x:68:68:HAL daemon:/:haldaemon
/sbin/nologin:x:38:38::/etc/ntp:ntp
/sbin/nologin:x:499:76:Saslauthd user:/var/empty/saslauth:saslauth
/sbin/nologin:x:89:89::/var/spool/postfix:postfix
/sbin/nologin:x:74:74:Privilege-separated SSH:/var/empty/sshd:sshd
/sbin/nologin:x:72:72::/:tcpdump
/bin/bash:x:500:500::/home/oldboy:oldboy
/bin/bash:x:501:501::/home/zoe:zoe
/sbin/nologin:x:48:48:Apache:/var/www:apache
/bin/bash:x:502:502::/home/beaty:beaty

正则表达式2：()()()三组分别匹配上内容

[root@] sed -nr 's#([^:]+)(:.*:)(/.*$)#\3\2\1#gp' /etc/passwd
/bin/bash:x:0:0:root:/root:root
/sbin/nologin:x:1:1:bin:/bin:bin
/sbin/nologin:x:2:2:daemon:/sbin:daemon
...
/bin/bash:x:501:501::/home/zoe:zoe
/sbin/nologin:x:48:48:Apache:/var/www:apache
/bin/bash:x:502:502::/home/beaty:beaty

四、工作中遇到的问题

1、插入U盘后自动识别盘符

dmesg |grep -E 'GiB|TiB'|tail -n 1|sed 's/^.*\[//g'|sed "s/\].*$//g"

上面的代码通过dmesg日志来查看的，通过sed的正则化来进行定位

2、删除有某个字符的这一行

#删除含有LABEL字符的行，默认在最后一行
sed  -i 's/^LABEL.*//g' /etc/fstab #正则化匹配，从LABEL开头到任意字符任意个全部替换为空
sed  -i '/LABEL/d' /etc/fstab
sed  -i '$d' /etc/fstab