文章目录
一、查找特定字符(grep)
1、grep查找特定字符
-n 显示行号
-n 显示行号
-i 忽略大小写
-v 反向查找
grep查找条件使用‘ ’ 单引号,查找内容会标红
2、利用中括号“ [ ] ” 来查找集合字符
可匹配 [ ] 中的任意字符,例:shirt与short中,两个单词仅i与o不同,可使用[io]表示匹配 i 或 o
例如:[0-9] 匹配任意一位数字
- 若要查找包含重复单个字符“oo”时,只需要执行以下命令即可
grep -n ’oo‘ yum.conf
-
若查找“oo”前面不是“w”的字符串,只需要通过集合肌肤的反向选择“[^]” 来实现。如执行 grep -n ‘[ ^w]oo’ yum.conf 命令,表示在文本中查找“oo”前面不是“w”的字符串
^放在括号里面就是取反的意思,放在括号外面就是开头的意思
‘ [ ^ w ] oo ’ 查找oo前面不是w的字符串
- “^”符号在元字符集合“[ ]” 符号内外的作用时不一样的,在[ ] 内则表示反向选择,在[ ] 外则代表定位行首。反之,若想查找以某一特定字符结尾的行则可以使用“$”定位行尾。
例如:grep -n ’ \ .$ ’ yum.conf
查找以小数点(.)结尾的行。因为小数点(.)在正则表达式中也是一个元字符,代表任意一个字符,所以自立需要用到转义字符 “ \ ” ,将具有特殊意义的字符转化为普通字符
-
查询以小写字母开头的行可以通过 “ ^ [a-z] ” 规则来过滤
查询大写字母开头的行则可以通过 “ ^ [A-Z] ”来过滤
若查询不以字母开头的行则使用 “ ^ [a-zA-Z] ”过滤
例如:过滤出非大小写字母内容:
例如:过滤出包含数字的行及数字
例如:过滤出以数字为开头的行
例如:过滤出非数字内容
- 查找行首“^”与行尾字符“$”
基础正则表达式包含两个定位元字符:“”(行首)与“$”(行尾)。在上面的示例中,如果想要查询以数字为行首的行,则可以通过“”元字符来实现。
如果想要查询以" . "为行末的行,则可以通过“$”元字符来实现。
如果想要显示空行,可使用 ‘^$’ 组合
如果需要过滤不显示空行,则可以使用 ‘ [ ^$ ] ’ 组合。^在[ ] 里面则代表反向
- 查找任意一个字符 “ . ” 与重复字符 “ * “
在正则表达式中小数点(.)也是一个元字符,代表任意一个字符。例如, 执行以下命令就可以查找“w。。d”的字符串,即共有四个字符,以 w 开头 d 结尾
“ * ”代表的是重复零个或多个前面的单字符。“o* ”表示拥有零个(即为空字符)或大于等于一个“o”的字符,因为允许空字符,所以执行“ grep –n ‘ wo* d ’ yum.conf ”命令会将文本中所有的内容都输出打印。如果是 “ woo* d ”, 则第一个 o 必须存在,第二个 o 则是零个或多个 o,所以凡是包含 o、oo、ooo、ooo,等的资料都符合标准。同理,若查询包含至少两个 o 以上的字符串,则执行“grep –n ‘wooo* d’ yum.conf ”命令即可。
例如:
插叙以w开头d结尾,中间的字符可以包含符号,空格等的字符串
-
查找连续字符范围 ”{ }“
使用“.”与“*”来设定零个到无限多个重复的字符,如果想要查找三到五个 o 的连续字符,可以使用限定范围的字符“{}”。因为“{}”在 Shell 中具有特殊 意义,所以在使用“{}”字符时,需要利用转义字符“\”,将“{}”字符转换成普通字符。 “{}”字符的使用方法如下所示 \ { \ }
- 查询两个o的字符
- 查询以 w 开头以 d 结尾,中间包含 2~5 个 o 的字符串
- 查询以 w 开头以 d 结尾,中间包含 2 以上 o 的字符串
元字符总结
基础正则表达式常见元字符:
元字符 | 作用 |
---|---|
^ | 匹配输入字符串的开始位置。除非在方括号表达式中使用,表示不包含该字符集合。要匹配“^” |
$ | 字符本身,请使用“^”匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性,则“KaTeX parse error: Undefined control sequence: \n at position 6: ”也匹配‘\̲n̲’或‘\r’。要匹配“”字符本身,请使用“$” |
. | 匹配除“\r\n”之外的任何单个字符 |
\ | 将下一个字符标记为特殊字符、原义字符、向后引用、八进制转义符。例如,‘n’匹配字符“n”。 ‘\n’匹配换行符。序列‘\’匹配“\”,而‘(’则匹配“(” |
* | 匹配前面的子表达式零次或多次。要匹配“*”字符,请使用“*” |
[] | 字符集合。匹配所包含的任意一个字符。例如,“[abc]”可以匹配“plain”中的“a” |
[^] | 赋值字符集合。匹配未包含的一个任意字符。例如,“[^abc]”可以匹配“plain”中“plin”中的任何一个字母 |
[n1-n2] | 字符范围。匹配指定范围内的任意一个字符。例如,“[a-z]”可以匹配“a”到“z”范围内的任意一个小写字母字符。注意:只有连字符(-)在字符组内部,并且出现在两个字符之间时,才能表示字符的范围;如果出现在字符组的开头,则只能表示连字符本身 |
{n} | n 是一个非负整数,匹配确定的 n 次。例如,“o{2}”不能匹配“Bob”中的“o”,但是能匹配“food”中的两个 o |
{n,} | n 是一个非负整数,至少匹配 n 次。例如,“o{2,}”不能匹配“Bob”中的“o”,但能匹配“foooood”中的所有 o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*” |
{n,m} | m 和n 均为非负整数,其中 n<=m,最少匹配 n 次且最多匹配 m 次 |
二、扩展正则表达式
grep 命令仅支持基础正则表达式,如果使用扩展正则表达式,需要使用 egrep 或 awk 命令。这里我们直接使用 egrep 命令。egrep 命令与 grep 命令的用法基本相似。egrep 命令是一个搜索文件获得模式,使用该命令可以搜索文件中的任意字符串和符号,也可以搜索一个或多个文件的字符串,一个提示符可以是单个字符、一个字符串、一个字或一个句子。与基础正则表达式类型相同,扩展正则表达式也包含多个元字符。
扩展正则表达式常见元字符:
元字符 | 作用 |
---|---|
+ | 匹配前面的子表达式1次以上,如:go+d,将匹配至少一个o 示例:执行“egrep -n ‘wo+d’ test.txt”命令,即可查询"wood" “woood” "woooooood"等字符串 |
? | 匹配前面的子表达式0次或者1次,如go?d,将匹配gd或者god |
| | 以或的方式匹配字符串,如:good|great,将匹配good或者great 字符串 |
() | 作用:查找“组”字符串;将()中的字符串作为一个整体 示例:“egrep -n ‘t(a|e)st’ test.txt”。“tast”与“test”因为这两个单词的“t”与“st”是重复的,所以将“a”与“e”列于“()”符号当中,并以“|”分隔,即可查询"tast"或者"test"字符串 |
()+ | 作用:辨别多个重复的组,如(xyz)+,将匹配xyz整体一次及以上 示例:“egrep -n ‘A(xyz)+C’ test.txt”。该命令是查询开头的“A”结尾是“C”,中间有一个以上的“xyz”字符串的意思 |
- egrep -n ‘wo+d’ yum.conf //查询"wood" “woood” "woooooood"等字符串
- egrep -n ‘wo?d’ yum.conf //匹配前面的子表达式0次或者1次,如wo?d,将匹配wd或者wod
- egrep -n waad|wood’’ yum.conf //以或的方式匹配字符串
- egrep -n ‘w(a|o)d’ yum.conf // 两个单词的“w”与“d”是重复的,所以将“a”与“o”列于“()”符号当中,并以“|”分隔,即可查询"wad"或者"wod"字符串
- egrep -n ‘A(xyz)+C’ yum.conf //辨别多个重复的组,如(xyz)+,将匹配xyz整体一次及以上
三、sed工具
sed(Stream EDitor)是一个强大而简单的文本解析转换工具,可以读取文本,并根据指定的条件对文本内容进行编辑(删除、替换、添加、移动等),最后输出所有行或者仅输出处理的某些行。sed 也可以在无交互的情况下实现相当复杂的文本处理操作,被广泛应用于 Shell 脚本中,用以完成各种自动化处理任务。
sed 的工作流程主要包括读取、执行和显示三个过程。
-
读取:sed 从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间,pattern space)。
-
执行:默认情况下,所有的 sed 命令都在模式空间中顺序地执行,除非指定了行的地址,否则 sed 命令将会在所有的行上依次执行。
-
显示:发送修改后的内容到输出流。再发送数据后,模式空间将会被清空。在所有的文件内容都被处理完成之前,上述过程将重复执行,直至所有内容被处理完。
注意:默认情况下,所有的 sed 命令都是在模式空间内执行的,因此输入的文件并不会发生任何变化,除非是用重定向存储输出。
sed 命令常见用法:
通常情况下调用 sed 命令有两种格式,“参数”是指操作的目标文件,当存在多个操作对象时用,文件之间用逗号“,”分隔;而 scriptfile 表示脚本文件,需要用“-f”选项指定,当脚本文件出现在目标文件之前时,表示通过指定的脚本文件来处理输入的目标文件
sed[选项] '操作' 参数
sed [选项] -f scriptfile 参数
常见的 sed 命令选项主要包含以下几种:
-
-e 或–expression=:表示用指定命令或者脚本来处理输入的文本文件
-
-f 或–file=:表示用指定的脚本文件来处理输入的文本文件
-
-h 或–help:显示帮助
-
-n、–quiet 或 silent:表示仅显示处理后的结果
-
-i:直接编辑文本文件 -i 直接编辑的时源文件,更改后不可逆,要注意
“操作”用于指定对文件操作的动作行为,也就是 sed 的命令。通常情况下是采用的“[n1[,n2]]”操作参数的格式。n1、n2 是可选的,不一定会存在,代表选择进行操作的行数,如操作需要在 5~20 行之间进行,则表示为“5,20 动作行为”。
常见的操作包括以下几种:
- a:追加,在当前行下面增加一行指定内容。
- d:删除,删除选定的行。
- i:插入,在选定行上面插入一行指定内容。
- p:打印,如果同时指定行,表示打印指定行;如果不指定行,则表示打印所有内容;如果有非打印字符,则以 ASCII 码输出。其通常与“-n”选项一起使用。
- c:替换,将选定行替换为指定内容。
- s:替换,替换指定字符。
- y:字符转换。
- r:读取指定文件
- w:保存为文件
- g:代表只要符合条件,全部都进行处理
c 替换行 ,s 替换字符,使用 s替换居多
用法示例:
1、输出符合条件的文本(p表示正常输出)
- 输出所有内容,等同于cat yum.conf : sed -n ‘p’ yum.conf
- 输出第3行 : sed -n ‘3p’ yum.conf
- 输出3-5行: sed -n ‘3,5p’ yum.conf
- 输出所有奇数行,n表示读入下一行资料:sed -n ‘p;n’ yum.conf
- 输出所有偶数行,n表示读入下一行资料: sed -n ‘n;p’ yum.conf
- 输出2-6行之间的奇数行:sed -n ‘2,6{p;n}’ yum.conf
- 输出2-6行之间的偶数行: sed -n ‘2,6{n;p}’ yum.conf
’ p;n ‘ 先p 打印第一行; no 不打印第二行 打印奇数行
’ n;p ‘ no 不打印第一行; p 打印第二行 打印偶数行
奇/偶数打印是相对的,按照规定的范围来进行打印,例如:打印2-6行的偶数行,读取第一行是文件的第2行,所以2行属于奇数行,不打印,读取第二行时文件的3行,属于偶数行,以此类推打印。
n和p是一个组合,执行了n,p也是会执行
- 输出第6行至文件末尾之间的偶数行:sed -n ‘6,${n;p}’ yum.conf
sed 命令结合正则表达式时,格式略有不同,正则表达式以“/”包围。
示例:
- 输出包含the的行: sed -n ‘/the/p’ yum.conf
- 输出从第4行至第一个包含the 的行: sed -n ‘7,/the/p’ yum.conf
-
输出包含the的行所在的行号,等号(=)用来输出行号 (只获取行号)
sed -n ‘/the/=’ yum.conf
- 输出以w开头的行 : sed -n ‘/^w/p’ yum.conf
- 输出以数字结尾的行 : sed -n ‘/[0-9]$/p’ yum.conf
-
输出包含单次wood的行,\ < 。。 \ > 代表单词边界
sed -n ‘/<wood>/p’ yum.conf
2、删除符合条件的文本(d)
nl命令用于计算文件的行数
- 删除第3行 : nl yum.conf | sed ‘3d’
- 删除第3-5行 : nl yum.conf | sed ‘3,5d’
- 删除包含main的行,原本的第一行被删除 : nl yum.conf | sed ‘/main/d’
- 删除不包含main的行: nl yum.conf | sed ‘/main/!d’
-
删除以数字为开头的行 : sed ‘/^ [0-9]/d’ yum.conf
删除以小写字母为开头的行: sed ‘/^ [a-z]/d’ yum.conf
- 删除以 “ . ” 结尾的行 : sed ‘/ \ .$/d’ yum.conf
-
删除所有空行 : sed ‘/^$/d’ yum.conf
注意:若是删除重复的空行,即连续的空行只保留一个, 执行“ sed –e ‘/^KaTeX parse error: Expected group after '^' at position 6: /{n;/^̲/d}’ yum.conf”命令即可实现。其效果与“cat -s yum.conf”相同,n 表示读下一行数据
-
将包含数字的行另存为文件 num.txt
sed ‘/[0-9]/w num.txt’ yum.conf
3、替换符合条件的文本
使用 sed 命令进行替换操作时需要用到 s(字符串替换)、c(整行/整块替换)、y(字符转换)命令选项
- sed ‘s/the/THE/’ yum.conf //将每行中的第一个the 替换为 THE
- sed ‘s/l/L/2’ yum.conf //将每行中的第 2 个l 替换为L
-
sed ‘s/the/THE/g’ yum.conf //将文件中的所有the 替换为THE
-
sed ‘s/o//g’ yum.conf //将文件中的所有o 删除(替换为空串)
- sed ‘s/^/#/’ yum.conf //在每行行首插入#号
- sed ‘/the/s/^/#/’ yum.conf //在包含the 的每行行首插入#号
- sed ‘s/$/EOF/’ yum.conf //在每行行尾插入字符串EOF
- sed ‘3,9s/the/THE/g’ yum.conf //将第 3~9 行中的所有the 替换为 THE
- sed ‘/the/s/o/O/g’ yum.conf //将包含the 的所有行中的o 都替换为 O
4、迁移(剪切)符合条件的文本
H : 复制到剪贴板;
g、G : 将剪贴板中的数据覆盖/追加至指定行;
w : 保存为文件;
r : 读取指定文件;
a : 追加指定内容
- sed ‘/the/{H;d};$G’ yum.conf //将包含the 的行迁移至文件末尾,{;}用于多个操作
- sed ‘1,3{H;d};10G’ yum.conf //将第 1~3 行内容转移至第 10 行后
- sed ‘/[0-9]/w num.txt’ yum.conf //将包含数字的行另存为文件num.txt
- sed ‘/the/r /opt/111’ yum.conf //将文件/opt/111 的内容添加到包含the 的每行以后
- sed ‘3aNew’ yum.conf //在第 3 行后插入一个新行,内容为 New
- sed ‘/the/aNew’ yum.conf //在包含the 的每行后插入一个新行,内容为 New
- sed ‘3aNew1\nNew2’ yum.conf //在第 3 行后插入多行内容,中间的\n 表示换行
- sed ‘$aNew1\nNew2’ yum.conf //在文本末行后插入多行
5、使用脚本编辑文件
使用 sed 脚本,将多个编辑指令存放到文件中(每行一条编辑指令),通过“-f”选项来调用
- sed ‘1,3{H;d};10G’ test.txt //将第 1~3 行内容转移至第 10 行后