基本正则表达式
基本字符（元字符）：. * [ \ ^ $（圆点，星号，中括号，反斜线，尖号，dollar号）
-
.匹配任意字符 -
[ ]为集合，其中，圆点，星号和反斜线三个字符在集合中的时候表示自身中括号内，“ - ”减号表示一个区间
[a-zA-Z0-9] # 表示大小写字母或者数字如果单纯表示减号这个符号，需要将减号放在集合的末尾
[ad-] # 表示a,d,-三个字符如果要表示中括号自己：
[][] # 表示左右中括号组成的集合 -
^在集合的开头表示补集[^a-z] # 表示任意一个非小写字母的字符；\[^][] 表示任意一个非中括号的字符。如果不放在开头，则仅表示自身
[a-z^] # 表示小写字母和^字符 -
串接：
[0-9].[A-Z]. # 表示一个四字符的字符串，其中第一个字符为数字，第三个字符为大写字母 -
重复：单字符后跟*表示这个字符重复0次或任意次：[A-Z][0-9]*
-
$在尾部的时候表示仅匹配行尾，不位于行尾的时候仅表示自身：123$表示匹配文件中行尾的123^在首部（注意，这里不是在集合的首部）的时候表示匹配行首，否则仅匹配自身^123 # 表示以123开头的行Hel^lo # 仅与字符串Hel^lo匹配
正则表达式扩展BRE：
（）表示分组：
(xy)* # 表示可以重复任意次或者0次的xy串
也可以用于表示逻辑“或”
(pink|green) # 与pink或者green都可以匹配
```powershell
a+ # 加号表示至少一次的a
a？ # 问号表示重复0次或者1次的a
\{m,n\} # 表示至少要有m次，最多有n次
[0-9]\{6,8\} # 表示6到8位数字组成的字符串
```
-
一些特殊的预定义：表示特殊含义的组合
-
[[:xdigit:]]表示十六进制数字的集合 -
\d表示任意一个数字 -
\D表示非数字
-
正则筛选工具命令
行筛选grep
grep 的语法格式：grep 模式 文件列表名
基本选项：
-
-n 显示的时候每行前显示行号
-
-v 显示所有不包含查找模式的行（反向搜索）
-
-i 忽略大小写
grep -n main *.c # 在当前文件夹下，对所有以.c为文件名结尾的文件检索，查找含有字符串“main"的行，并打印行号 ，如果有不止一个.c 文件，还会输出文件名
grep -v '[Dd]isable' dev.stat>dev.active # 将文件dev.stat中所有不包含Disable 和 disable 的行选出，导出到文件dev.active中
注意：grep查找的时候，如果进行的是精准全字匹配，不需要打单引号。如果进行的是正则匹配，则需要对正则式打单引号
ps -ef | grep '^jiang' > progress.txt # 列出jiang用户使用的进程名，并将这些进程信息导入到progress文件中
注意事项
grep的作用对象是行文件，准确来说是以回车为分界。
如果文本没有进行分行（即：整个文章就是一整段，没有任何回车），则grep会将整个文章视为一行进行筛选。
所以，如果需要grep进行匹配，首先要使用别的方式对文章进行分段，可以考虑使用sed流编辑或者tr翻译命令进行操作
sed 流编辑
基本用法1：sed '命令' 文件列表名
基本用法2：sed -e '命令1' -e '命令2' -e '命令3' 文件列表名： 合并多个命令
基本用法3：sed -f 命令文件 文件名列表：可以将命令写在一个文件中，在使用时读取
tail -f pppd.log | sed 's/145\.37\.23\.26/桥西/g'
tail命令列出log文件中新增的内容，sed后的引号内为指令，指令中，开头的s/为替换指令， 后面的145\.37\.23\.26表示被替换的内容，/桥西表示替换的内容为桥西，/g表示，在这一行中如果这个IP地址多次出现，则全替换
tail -f pppd.log | sed -f sed.cmd # 其中sed.cmd文件内容为： 's/145\.37\.23\.26/桥西/g'
效果与例1相同
整体替换
- \(\)在正则表示中，仅为了书写者方便逻辑判断，没有实际意义，不会与括号做匹配
[a-z]* -> number
\([a-z]\)* -> number
指令与指令效果相同
- 替换功能：\0 \1 \2…：\0表示整个正则表达式，\x表示正则表达式中第x个括号内的内容
例：
s/ [\([0-9][0-9]\)] - [\([0-9][0-9]\)] - [\([0-9][0-9]*\)] / \3.\1.\2/g # 将月-日-年的格式改为年-月-日
一个完整的实例
对test.c代码中，root -> val的val替换成num（这里root可以是其他名称的结构体变量），且不能影响代码中作为普通变量的val
sed -e 's/ \([a-zA-Z_][a-zA-Z0-9_]*\) -> val/ \1 -> num /g' > test.c
awk语言
基本使用：
1. `awk '程序' 文件名列表`：
2. `awk -f 程序文件名 文件名列表`：使用写好命令的文档直接运行
程序的结构：程序 执行条件 {动作}
-
一些细节：
- 每一行中，用空格分开的部分，叫做记录的 域 **
内置变量中， $x 是第x域的内容，$0** 表示这一整行的内容 - 输入文件的每一行为一个记录， 默认变量NR表示行号
- awk自动对每行文本执行条件判断**（自动循环）**，满足执行的动作
- 每一行中，用空格分开的部分，叫做记录的 域 **
-
执行条件：
-
C语言类似的算符：
< > <= == != || && ! -
正则匹配：格式：/regexpr/ ，即两个斜线中间写入正则表达式
-
特殊条件：
- 不指定任何条件，对所有文本执行动作
- BEGIN： 在对所有文本行处理之前执行的动作
- END： 在对所有文本行处理之后执行的动作
-
-
动作
-
自定义变量
-
加减乘除以及逻辑操作
-
正则表达式匹配运算符**（用作条件判断）**：~ 以及！~
例：$2 ~ "\[1-9][1-9]*"表示 第二个域上的文本，应该是“非0数字开头的纯数字字符串” -
流程控制：
-
条件判断if
-
循环for
-
打印格式
print 变量1 变量2...printf("格式串", 变量1，变量2, ...)
-
-
ps -ef | awk '/guest/{printf("%s", $2);}' # 表示：找到含有guest的行，并输出每一行第二个域的内容
awk '{printf("%d : %s \n", NR, $0);}' test.c # 对test.c这个文件，逐行输出每一行的内容，并在开头表明行号
ls -s | awk '$1 > 2000 {print $2}' # 前者罗列所有的文件以及对应的文件大小，后者筛选文件大小大于2000B的文件，并输出文件名
awk，sed，grep的使用区分
总体概括
-
grep的操作对象是以回车为分解符的“行”。对每一行，进行格式匹配。
-
匹配方式1：精确查找，只有grep支持精确查找
grep test data.log # 在data.log中寻找含有test的行，并输出匹配方式2：正则查找
grep 't*st' data.log # 在data.log中寻找符合“t*st”正则式的行并输出 -
grep在进行匹配的时候，仅仅是进行匹配。也就是说，并不要求这一行严格匹配输入的精确字符串或者正则字符串，只需要这一行里包括这个条件就可以
-
-
sed的操作对象是数据流。也就是说，对sed命令来说，一个文件就是一个一字排开的超长二进制字符串，他在里面对输入的匹配格式进行匹配。如果找到了一段字符串符合匹配，就按照需求对这一段进行修改，其余部分照常输出
-
匹配方式：正则查找
sed 's/t*st/TEST/g' data.log # 在data.log文件中寻找含有“t*st”正则式的字符串，并将这个字符串修改为TEST,其余部分正常输出 -
注意，sed和awk的匹配模式里只有正则匹配（精确匹配被包含在了正则匹配里）
-
-
awk的操作对象和grep相似，也是行。
-
匹配方式：正则匹配
awk '/t*st/{printf("%d %s",NR,$0);}' data.log # 对data.log文件中含有t*st的行，输出行号和完整行
-
使用场景
- grep和awk可以筛选出需要的行信息，但如果文章事先没有分行，则需要sed或者tr指令来分行
- sed能够对完整文章进行指定修改，但是没法筛选需要的正则式匹配的句子
- awk如果需要执行的操作很多，可以通过vim编写一个oper.awk文件，在里面编写两个单引号之间的内容（以上一个例子中的指令为例，写入.awk文件中的指令应该为
/t*st/{printf("%d %s",NR,$0);},注意，写入文件的指令不需要带单引号），然后采用awk -f oper.awk来执行即可