Linux 文本处理三剑客之 Sed

Sed 全称是:Stream EDitor,是一项Linux指令,功能同awk类似,差别在于,sed简单,对列处理的功能要差一些,awk的功能复杂,对列处理的功能比较强大。

调用sed命令有两种形式:

  • sed [options] 'command' file(s)
  • sed [options] -f scriptfile file(s)
  • a\在当前行后面加入一行文本。
  • b label分支到脚本中带有标记的地方,如果分支不存在则分支到脚本的末尾。
  • c\用新的文本改变本行的文本。
  • d从模板块(Pattern space)位置删除行。
  • D删除模板块的第一行。
  • i\在当前行上面插入文本。
  • h拷贝模板块的内容到内存中的缓冲区。
  • H追加模板块的内容到内存中的缓冲区
  • g获得内存缓冲区的内容,并替代当前模板块中的文本。
  • G获得内存缓冲区的内容,并追加到当前模板块文本的后面。
  • l列表不能打印字符的清单。
  • n读取下一个输入行,用下一个命令处理新的行而不是用第一个命令。
  • N追加下一个输入行到模板块后面并在二者间嵌入一个新行,改变当前行号码。
  • p打印模板块的行。
  • P(大写)打印模板块的第一行。
  • q退出Sed。
  • r file从file中读行。
  • t labelif分支,从最后一行开始,条件一旦满足或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。
  • T label错误分支,从最后一行开始,一旦发生错误或者T,t命令,将导致分支到带有标号的命令处,或者到脚本的末尾。
  • w file写并追加模板块到file末尾。
  • W file写并追加模板块的第一行到file末尾。
  • !表示后面的命令对所有没有被选定的行发生作用。
  • s/re/string用string替换正则表达式re。
  • =打印当前行号码。
  • #把注释扩展到下一个换行符以前。
  • 以下的是替换标记g表示行内全面替换。
  • p表示打印行。
  • w表示把行写入一个文件。
  • x表示互换模板块中的文本和缓冲区中的文本。
  • y表示把一个字符翻译为另外的字符(但是不用于正则表达式)

Sed常见命令参数

  • p==print 打印 
  • d:delete 删除
  • =:打印匹配行的行号
  • -n 取消默认的完整输出,只显示匹配 
  • -e 允许多项编辑
  • -i 修改文件内容
  • -r 不需要转义
  • 注意:& 符号在sed命令中代表上次匹配的结果
  • sed正则表达式
    \     不转义,即元字符照常打印
    ^    以字符串开头,如/^My/以My开头的行
    $   以字符串结尾,如/My$/以My结尾的行
    .    匹配一字符,如/M..y/M和y间有俩字符
    *   匹配0个或多个前面的字符
    []   匹配里面的单字符,如/[Mh]y/匹配My和hy
    [^]  匹配不在里面的字符
          如/[^Mh]y/匹配不是My和hy
    \(..\) 保存已经匹配的字符,用\n来呼出
         如1,20s/\(you\)self/\1r/用\1呼出you,最多保存9个,从左边开始标记
    &    保存查找串,如s/My/you&you/,&表示My
    \< 词首定位符,和^类似,如/\<My/
    \> 词尾定位符,和$类似,如/My\>/
    x\{m\} 连续m个x,如/a\{5\}/查找连续5个a
    x\{m,\} 至少m个x,如/a\{5,\}/至少5个a
    x\{m,n\} 至少m个x,最多n个x
    \w   匹配每个字母和数字
    \w\+  匹配每一个单词
    \s  匹配每个空格
    \x\+  x表示一个字符or一个单词,当匹配到一个或者多个时操作

  • 显示文件的某一行
  • 显示 /etc/passwd 文件的第5行 sed -n '5p' /etc/passwd
  • 显示文件的3~5行 sed -n '3,5p' /etc/passwd

  • 过滤指定的字符串,显示正行内容  

  • 显示包含"root"的行到包含"ftp"的行之间的行

  • 打印 1-8 行,并显示行号

  • 只打印出行号

  • 只打印出匹配到的行和行号

  • 常用查找和替换

  • 查找用 toor 替换 /tmp/passwd 文件中的 root

sed 's@root@toor@g' /tmp/passwd    #匹配分隔符可以自定, /   @  # 均可
==>sed 's#root#toor#g'  /tmp/passwd    与上同
              s==search  查找
              g==global  全局替换
              -i: implace  直接写入文件(慎用)

  • sed -i 's@root@toor@g' /tmp/passwd  #将 /tmp/passwd 文件中的 root 替换为 toor,并写入文件

  • sed -r 's@[0-9]+@ @g' /tmp/passwd  # -r 使用扩展正则表达式,不需要转义,将 /tmp/passwd 中的数字都替换为 空格

  • sed -ri.bak 's@[0-9]+@ @g' /tmp/passwd # i.bak 为写入文件时自动备份文件为 :[文件名].bak

  • 增加文件内容
  • i  :  inset 在匹配到的行的上一行增加内容

  • :  after 在匹配到的行的下一行增加内容

  • sed '2a test' /tmp/passwd    在 /tmp/passwd 中的第2行面添加一行

  • sed '2i test' /tmp/passwd    在 /tmp/passwd 中的第2行面添加一行

  • 添加多行 使用 \n 换行符

  • sed '2i test\nzhangsan' /tmp/passwd 

  • 在不同的行添加内容

  • sed -e '2i test' -e '5a zhangsan' /tmp/passwd 

  • 在第2行的前面和第5行的后面各添加一条信息

  • 删除行

  • sed '2d' /tmp/passwd  #删除第2行

  • sed '2,4d' /tmp/passwd #删除2~4行

  • sed -e{2,4,8}d /tmp/passwd  #删除不连续的行,注意这里没有分号 ' '

  • sed -nr '/root|nologin/!p' /tmp/passwd  #删除包含 root 和 nologin 的行,!为取反

  • sed '/toor/ w /tmp/test.txt' /tmp/passwd # w 将匹配到的内容,写入一个文件 加 -n 为静默模式

  • find /tmp -name test.txt | xargs sed 's@gf@root@g'   #和 find 命令结合使用

  • 使用 Sed 获取本机的 IP 地址

  • ifconfig | sed -n '2p' | sed -r 's#.*r:(.*) B.*k:(.*)#\1#g‘
  • ifconfig | sed -nr 's#.*r:(.*) B.*k:(.*)#\1#p'
  • (.*)  表示保留匹配的项,之后可以用\1取出第一个括号内匹配的内容,\2取出第二个括号内匹配的内容

  • 删除重复的行
  • sed '$!N; /^\(.*\)\n\1$/!P; D' $FILE   #删除相邻的重复行,只保留第一行
  • 指定对
    ‘$' 文件最后一行,
    ’!' 不进行
    ’N‘ 读入下一行并加入缓存尾;
    ’;‘ (语句分隔)

    指定对
    ’/‘ 查找(起始)
    ’\n' 换行符(转意写法)
    \1$(字符序列)
    ’/‘ (查找结束)
    ’!‘ 不进行
    ’P‘ 输出缓存中顺序第一字符到’\n'之间的字符序列
    ‘;’
    ‘D’ 删除缓存中顺序第一字符到’\n'之间的字符序列
  • sort -n /tmp/test.txt | sed '$!N; /^\(.*\)\n\1$/!P; D'

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章