Linux 文本處理三劍客之 Sed

Sed 全稱是:Stream EDitor,是一項Linux指令,功能同awk類似,差別在於,sed簡單,對列處理的功能要差一些,awk的功能複雜,對列處理的功能比較強大。

調用sed命令有兩種形式:

  • sed [options] 'command' file(s)
  • sed [options] -f scriptfile file(s)
  • a\在當前行後面加入一行文本。
  • b label分支到腳本中帶有標記的地方,如果分支不存在則分支到腳本的末尾。
  • c\用新的文本改變本行的文本。
  • d從模板塊(Pattern space)位置刪除行。
  • D刪除模板塊的第一行。
  • i\在當前行上面插入文本。
  • h拷貝模板塊的內容到內存中的緩衝區。
  • H追加模板塊的內容到內存中的緩衝區
  • g獲得內存緩衝區的內容,並替代當前模板塊中的文本。
  • G獲得內存緩衝區的內容,並追加到當前模板塊文本的後面。
  • l列表不能打印字符的清單。
  • n讀取下一個輸入行,用下一個命令處理新的行而不是用第一個命令。
  • N追加下一個輸入行到模板塊後面並在二者間嵌入一個新行,改變當前行號碼。
  • p打印模板塊的行。
  • P(大寫)打印模板塊的第一行。
  • q退出Sed。
  • r file從file中讀行。
  • t labelif分支,從最後一行開始,條件一旦滿足或者T,t命令,將導致分支到帶有標號的命令處,或者到腳本的末尾。
  • T label錯誤分支,從最後一行開始,一旦發生錯誤或者T,t命令,將導致分支到帶有標號的命令處,或者到腳本的末尾。
  • w file寫並追加模板塊到file末尾。
  • W file寫並追加模板塊的第一行到file末尾。
  • !表示後面的命令對所有沒有被選定的行發生作用。
  • s/re/string用string替換正則表達式re。
  • =打印當前行號碼。
  • #把註釋擴展到下一個換行符以前。
  • 以下的是替換標記g表示行內全面替換。
  • p表示打印行。
  • w表示把行寫入一個文件。
  • x表示互換模板塊中的文本和緩衝區中的文本。
  • y表示把一個字符翻譯爲另外的字符(但是不用於正則表達式)

Sed常見命令參數

  • p==print 打印 
  • d:delete 刪除
  • =:打印匹配行的行號
  • -n 取消默認的完整輸出,只顯示匹配 
  • -e 允許多項編輯
  • -i 修改文件內容
  • -r 不需要轉義
  • 注意:& 符號在sed命令中代表上次匹配的結果
  • sed正則表達式
    \     不轉義,即元字符照常打印
    ^    以字符串開頭,如/^My/以My開頭的行
    $   以字符串結尾,如/My$/以My結尾的行
    .    匹配一字符,如/M..y/M和y間有倆字符
    *   匹配0個或多個前面的字符
    []   匹配裏面的單字符,如/[Mh]y/匹配My和hy
    [^]  匹配不在裏面的字符
          如/[^Mh]y/匹配不是My和hy
    \(..\) 保存已經匹配的字符,用\n來呼出
         如1,20s/\(you\)self/\1r/用\1呼出you,最多保存9個,從左邊開始標記
    &    保存查找串,如s/My/you&you/,&表示My
    \< 詞首定位符,和^類似,如/\<My/
    \> 詞尾定位符,和$類似,如/My\>/
    x\{m\} 連續m個x,如/a\{5\}/查找連續5個a
    x\{m,\} 至少m個x,如/a\{5,\}/至少5個a
    x\{m,n\} 至少m個x,最多n個x
    \w   匹配每個字母和數字
    \w\+  匹配每一個單詞
    \s  匹配每個空格
    \x\+  x表示一個字符or一個單詞,當匹配到一個或者多個時操作

  • 顯示文件的某一行
  • 顯示 /etc/passwd 文件的第5行 sed -n '5p' /etc/passwd
  • 顯示文件的3~5行 sed -n '3,5p' /etc/passwd

  • 過濾指定的字符串,顯示正行內容  

  • 顯示包含"root"的行到包含"ftp"的行之間的行

  • 打印 1-8 行,並顯示行號

  • 只打印出行號

  • 只打印出匹配到的行和行號

  • 常用查找和替換

  • 查找用 toor 替換 /tmp/passwd 文件中的 root

sed 's@root@toor@g' /tmp/passwd    #匹配分隔符可以自定, /   @  # 均可
==>sed 's#root#toor#g'  /tmp/passwd    與上同
              s==search  查找
              g==global  全局替換
              -i: implace  直接寫入文件(慎用)

  • sed -i 's@root@toor@g' /tmp/passwd  #將 /tmp/passwd 文件中的 root 替換爲 toor,並寫入文件

  • sed -r 's@[0-9]+@ @g' /tmp/passwd  # -r 使用擴展正則表達式,不需要轉義,將 /tmp/passwd 中的數字都替換爲 空格

  • sed -ri.bak 's@[0-9]+@ @g' /tmp/passwd # i.bak 爲寫入文件時自動備份文件爲 :[文件名].bak

  • 增加文件內容
  • i  :  inset 在匹配到的行的上一行增加內容

  • :  after 在匹配到的行的下一行增加內容

  • sed '2a test' /tmp/passwd    在 /tmp/passwd 中的第2行面添加一行

  • sed '2i test' /tmp/passwd    在 /tmp/passwd 中的第2行面添加一行

  • 添加多行 使用 \n 換行符

  • sed '2i test\nzhangsan' /tmp/passwd 

  • 在不同的行添加內容

  • sed -e '2i test' -e '5a zhangsan' /tmp/passwd 

  • 在第2行的前面和第5行的後面各添加一條信息

  • 刪除行

  • sed '2d' /tmp/passwd  #刪除第2行

  • sed '2,4d' /tmp/passwd #刪除2~4行

  • sed -e{2,4,8}d /tmp/passwd  #刪除不連續的行,注意這裏沒有分號 ' '

  • sed -nr '/root|nologin/!p' /tmp/passwd  #刪除包含 root 和 nologin 的行,!爲取反

  • sed '/toor/ w /tmp/test.txt' /tmp/passwd # w 將匹配到的內容,寫入一個文件 加 -n 爲靜默模式

  • find /tmp -name test.txt | xargs sed 's@gf@root@g'   #和 find 命令結合使用

  • 使用 Sed 獲取本機的 IP 地址

  • ifconfig | sed -n '2p' | sed -r 's#.*r:(.*) B.*k:(.*)#\1#g‘
  • ifconfig | sed -nr 's#.*r:(.*) B.*k:(.*)#\1#p'
  • (.*)  表示保留匹配的項,之後可以用\1取出第一個括號內匹配的內容,\2取出第二個括號內匹配的內容

  • 刪除重複的行
  • sed '$!N; /^\(.*\)\n\1$/!P; D' $FILE   #刪除相鄰的重複行,只保留第一行
  • 指定對
    ‘$' 文件最後一行,
    ’!' 不進行
    ’N‘ 讀入下一行並加入緩存尾;
    ’;‘ (語句分隔)

    指定對
    ’/‘ 查找(起始)
    ’\n' 換行符(轉意寫法)
    \1$(字符序列)
    ’/‘ (查找結束)
    ’!‘ 不進行
    ’P‘ 輸出緩存中順序第一字符到’\n'之間的字符序列
    ‘;’
    ‘D’ 刪除緩存中順序第一字符到’\n'之間的字符序列
  • sort -n /tmp/test.txt | sed '$!N; /^\(.*\)\n\1$/!P; D'

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章