文本处理（grep与正则表达式）

首先先介绍一下这两个命令：

正则表达式（Regular Expression），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些匹配某个模式的文本。

grep指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设grep指令会把含有范本样式的那一列显示出来。若不指定任何文件名称，或是所给予的文件名为"-"，则grep指令会从标准输入设备读取数据。

然后我们就开始实验吧，后面再列出正则表达式的规则和grep的使用：

使用grep 进行搜索特定文本行
gec@ubuntu:~$ echo -e "what is your name?" | grep name
what is your name?

在文件中匹配特定的文本行，-n可以打印行号
gec@ubuntu:~$ cat -n test.txt 
     1	what is your name?
     2	my name is arron.
     3	and you?
     4	i am kobe.
     5	nice to meet you.
     6	nice to meet you.

gec@ubuntu:~$ grep name test.txt  -n
1:what is your name?
2:my name is arron.

匹配多个特定的文本行
gec@ubuntu:~$ cat test1.txt 
who am i?
maybe i am a smart boy.
i thank yes,i am right.
what is my name?

gec@ubuntu:~$ grep name test.txt  test1.txt 
test.txt:what is your name?
test.txt:my name is arron.
test1.txt:what is my name?

gec@ubuntu:~$ cat digit.txt 
1234567890
1122233334444556566677778889990000
aaaabbbbcccccddddddeeee
ansadasdkk
dashdk
foorjn

egrep 与 grep -e 是一样的，使用正则表达式
gec@ubuntu:~$ egrep "[a-z]" digit.txt 
aaaabbbbcccccddddddeeee
ansadasdkk
dashdk
foorjn

gec@ubuntu:~$ grep -E "[a-z]" digit.txt 
aaaabbbbcccccddddddeeee
ansadasdkk
dashdk
foorjn

同样也是可以反过来输出
gec@ubuntu:~$ grep -E "[a-z]" digit.txt -v
1234567890
1122233334444556566677778889990000

使用-c 就是统计匹配到的行数
gec@ubuntu:~$ grep -E "[a-z]" digit.txt  -c
4

统计匹配的次数
gec@ubuntu:~$ grep -E "[a-z]" digit.txt -o | wc -l
45

列出字符串所在文件，-L是反向，不列出
gec@ubuntu:~$ grep name test.txt  test1.txt -l
test.txt
test1.txt

指定目录递归搜索 --exclude排除  --include指定 --exclude-dir 排除目录
grep "abcdefg" /home/gec -R

忽略大小写
gec@ubuntu:~$ echo "AaBb" | grep "a" 
AaBb
gec@ubuntu:~$ echo "AaBb" | grep "a" -i
AaBb

多个模式匹配
gec@ubuntu:~$ echo "AaBb" | grep -e "a" -i -e "b"
AaBb

多个模式定义在文件里
gec@ubuntu:~$ echo a b c > file.txt
gec@ubuntu:~$ cat file.txt 
a b c
gec@ubuntu:~$ echo a b c | grep -f file.txt 
a b c

-q是静默输出，我并不想看到你

-A打印前几行，-B打印后几行 -C打印前后几行
gec@ubuntu:~/grep_t$ grep 5 -A 3 test2.txt 
5
6
7
8
gec@ubuntu:~/grep_t$ grep 5 -B 3 test2.txt 
2
3
4
5
gec@ubuntu:~/grep_t$ grep 5 -C 3 test2.txt 
2
3
4
5
6
7
8

把ip筛选出来

gec@ubuntu:~/grep_t$ cat ip.txt 
ens33     Link encap:Ethernet  HWaddr 00:0c:29:44:e5:13  
          inet addr:192.168.88.129  Bcast:192.168.88.255  Mask:255.255.255.0
          inet6 addr: fe80::10a5:3b92:2adc:12dd/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:272347 errors:0 dropped:0 overruns:0 frame:0
          TX packets:53869 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:147226936 (147.2 MB)  TX bytes:4381782 (4.3 MB)

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:9415 errors:0 dropped:0 overruns:0 frame:0
          TX packets:9415 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:718609 (718.6 KB)  TX bytes:718609 (718.6 KB)

gec@ubuntu:~/grep_t$ grep -E "[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}" ip.txt 
          inet addr:192.168.88.129  Bcast:192.168.88.255  Mask:255.255.255.0
          inet addr:127.0.0.1  Mask:255.0.0.0

grep：

语法

grep [-abcEFGhHilLnqrsvVwxy][-A<显示列数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...]

参数：

• -a 或 --text : 不要忽略二进制的数据。
• -A<显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外，并显示该行之后的内容。
• -b 或 --byte-offset : 在显示符合样式的那一行之前，标示出该行第一个字符的编号。
• -B<显示行数> 或 --before-context=<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前的内容。
• -c 或 --count : 计算符合样式的列数。
• -C<显示行数> 或 --context=<显示行数>或-<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前后的内容。
• -d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
• -e<范本样式> 或 --regexp=<范本样式> : 指定字符串做为查找文件内容的样式。
• -E 或 --extended-regexp : 将样式为延伸的普通表示法来使用。
• -f<规则文件> 或 --file=<规则文件> : 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。
• -F 或 --fixed-regexp : 将样式视为固定字符串的列表。
• -G 或 --basic-regexp : 将样式视为普通的表示法来使用。
• -h 或 --no-filename : 在显示符合样式的那一行之前，不标示该行所属的文件名称。
• -H 或 --with-filename : 在显示符合样式的那一行之前，表示该行所属的文件名称。
• -i 或 --ignore-case : 忽略字符大小写的差别。
• -l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
• -L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
• -n 或 --line-number : 在显示符合样式的那一行之前，标示出该行的列数编号。
• -o 或 --only-matching : 只显示匹配PATTERN 部分。
• -q 或 --quiet或--silent : 不显示任何信息。
• -r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
• -s 或 --no-messages : 不显示错误信息。
• -v 或 --revert-match : 显示不包含匹配文本的所有行。
• -V 或 --version : 显示版本信息。
• -w 或 --word-regexp : 只显示全字符合的列。
• -x --line-regexp : 只显示全列符合的列。
• -y : 此参数的效果和指定"-i"参数相同。

 

正则表达式：

普通字符

普通字符包括没有显式指定为元字符的所有可打印和不可打印字符。这包括所有大写和小写字母、所有数字、所有标点符号和一些其他符号。

---

非打印字符

非打印字符也可以是正则表达式的组成部分。下表列出了表示非打印字符的转义序列：

字符	描述
\cx	匹配由x指明的控制字符。例如， \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 'c' 字符。
\f	匹配一个换页符。等价于 \x0c 和 \cL。
\n	匹配一个换行符。等价于 \x0a 和 \cJ。
\r	匹配一个回车符。等价于 \x0d 和 \cM。
\s	匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。注意 Unicode 正则表达式会匹配全角空格符。
\S	匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\t	匹配一个制表符。等价于 \x09 和 \cI。
\v	匹配一个垂直制表符。等价于 \x0b 和 \cK。

---

特殊字符

所谓特殊字符，就是一些有特殊含义的字符，如上面说的 runoo*b 中的 *，简单的说就是表示任何字符串的意思。如果要查找字符串中的 * 符号，则需要对 * 进行转义，即在其前加一个 \: runo\*ob 匹配 runo*ob。

许多元字符要求在试图匹配它们时特别对待。若要匹配这些特殊字符，必须首先使字符"转义"，即，将反斜杠字符\ 放在它们前面。下表列出了正则表达式中的特殊字符：

特别字符	描述
$	匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性，则 $ 也匹配 '\n' 或 '\r'。要匹配 $ 字符本身，请使用 \$。
( )	标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符，请使用 \( 和 \)。
*	匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 \*。
+	匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 \+。
.	匹配除换行符 \n 之外的任何单字符。要匹配 . ，请使用 \. 。
[	标记一个中括号表达式的开始。要匹配 [，请使用 \[。
?	匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。要匹配 ? 字符，请使用 \?。
\	将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如， 'n' 匹配字符 'n'。'\n' 匹配换行符。序列 '\\' 匹配 "\"，而 '\(' 则匹配 "("。
^	匹配输入字符串的开始位置，除非在方括号表达式中使用，此时它表示不接受该字符集合。要匹配 ^ 字符本身，请使用 \^。
{	标记限定符表达式的开始。要匹配 {，请使用 \{。
|	指明两项之间的一个选择。要匹配 |，请使用 \|。

---

限定符

限定符用来指定正则表达式的一个给定组件必须要出现多少次才能满足匹配。有 * 或 + 或 ? 或 {n} 或 {n,} 或 {n,m} 共6种。

正则表达式的限定符有：

字符	描述
*	匹配前面的子表达式零次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。* 等价于{0,}。
+	匹配前面的子表达式一次或多次。例如，'zo+' 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等价于 {1,}。
?	匹配前面的子表达式零次或一次。例如，"do(es)?" 可以匹配 "do" 、 "does" 中的 "does" 、 "doxy" 中的 "do" 。? 等价于 {0,1}。
{n}	n 是一个非负整数。匹配确定的 n 次。例如，'o{2}' 不能匹配 "Bob" 中的 'o'，但是能匹配 "food" 中的两个 o。
{n,}	n 是一个非负整数。至少匹配n 次。例如，'o{2,}' 不能匹配 "Bob" 中的 'o'，但能匹配 "foooood" 中的所有 o。'o{1,}' 等价于 'o+'。'o{0,}' 则等价于 'o*'。
{n,m}	m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，"o{1,3}" 将匹配 "fooooood" 中的前三个 o。'o{0,1}' 等价于 'o?'。请注意在逗号和两个数之间不能有空格。

 

定位符

定位符使您能够将正则表达式固定到行首或行尾。它们还使您能够创建这样的正则表达式，这些正则表达式出现在一个单词内、在一个单词的开头或者一个单词的结尾。

定位符用来描述字符串或单词的边界，^ 和 $ 分别指字符串的开始与结束，\b 描述单词的前或后边界，\B 表示非单词边界。

正则表达式的定位符有：

字符	描述
^	匹配输入字符串开始的位置。如果设置了 RegExp 对象的 Multiline 属性，^ 还会与 \n 或 \r 之后的位置匹配。
$	匹配输入字符串结尾的位置。如果设置了 RegExp 对象的 Multiline 属性，$ 还会与 \n 或 \r 之前的位置匹配。
\b	匹配一个单词边界，即字与空格间的位置。
\B	非单词边界匹配。