Linux之Sed工具的使用詳解

Sed工具工作原理及特性

• 1. sed是流編輯器，每一次讀取一行到內存中，即稱之爲模式空間(pattern space)

• 2. 默認不修改原文件，如果需要修改需加-i參數

• 3. sed有模式空間及保持空間(hold sapce)，默認打印模式空間中的內容到標準輸出

• 4. 默認情況下，模式空間中的內容打印一次，被模式匹配到的內容被命令動作處理過，一般情況下會再次打印 到標準輸出，除非使用d選項。

• 5. sed讀取每行的時候會將內容保存至內存中

• 6. 支持正則和擴展正則表達式，除-y選項

Sed命令

sed - ed - stream editor for filtering and transforming text

• synopsis: sed [OPTION]... {script} [input-file]…

  • 常用格式： sed 選項 地址定界 編輯命令 文件

  • [Options]

    • -n : 不輸出模式空間中的內容至屏幕，即關閉不能被模式匹配到的行到標準輸出中
    • -e : 多項編輯一次執行
    • -f FILE : FILE中每行是一個操作命令
    • -r : 支持擴展正則表達式
    • -i : 直接保存至原文件中

  • 地址定界常規方法

    • 1 空地址：即對全文進行處理

      • sed 's/root/ROOT/' /etc/passwd

    • 2 單地址：

      • # : 指定行
        • sed -n '1,5{/^#/p}' fstab
        • sed '1,+5{/^#/d}' fstab
      • /pattern/ : 被模式匹配到的每一行
        • sed '/^root/p' /etc/passwd

    • 3 地址範圍

      • #,# : 從#號行到#號行
        • sed '2,3d' /etc/fstab : 顯示除2到3行的所有行
      • #,+# : 從#號行向下#行
        • sed '2,+5d' /etc/fstab : 刪除2到5行
      • #,/pattern/ : 從#號行到被模式匹配到的行
        • sed '1,/^UUID/d' fstab1 : 刪除從第1行到被模式匹配到的第一個行的位置，刪除
      • /pattern1/,/pattern2/ : 從模式1匹配到的行到被模式2匹配到的行
        • sed -n '/^[/]/p' fstab1 : 顯示爲/開始的行
        • sed '/^#/d' fstab1 : 顯示開始爲#號的行
      • $ : 表示最後一行
        • sed '$d' fstab1 : 刪除最後一行

    • 4 步進地址表示法：

      • 1~2: 所有奇數行
        • sed -n '1~2p' fstab1
      • 2~2: 所有偶數行
        • sed -n '2~2p' fatab1

  • sed編輯命令

    • d : 刪除模式空間中的內容

      • 示例:
        • sed '1,5d' FILE : 刪除1到5行的內容
        • sed '1~2d' FILE : 刪除奇數行，只顯示偶數行

    • p : 顯示被模式框定的內容

      • 示例：
        • sed '1~2p' FILE : 顯示奇數行，如果只需要顯示一次，需要使用-n關閉默認模式空間的內容
        • sed -n '/./p' a.sh : 顯示非空行，但對製表符無效

    • P : 只顯示模式空間中的第一行

      • 示例：
        • seq 5 | sed -n 'N;P' : 顯示結果爲1、3兩行

    • a \line : 追加line行至匹配到行的後面，如果是多行可使用\n實現多行追加

      • 示例：
        • sed '/^UUID/ a\line1\nline2' fstab :查找匹配到UUID開始的行，並在後面添加line1,line2兩行內容

    • i \line : 添加line行到匹配行的前面，如果是多行可使用\n實現多行添加

      • 示例：
        • sed '/^UUID/i \line1\nline2' fstab :查找匹配到UUID開始的行，並在其前面增加line1,line2兩行內容

    • c \line : 把匹配到的行替換爲line行

      • 示例
        • sed '/^UUID/c \newline' fstab1 : 匹配以UUID開始的行，並把其替換爲newline行

    • w /PATH : 將模式空間匹配到的行，寫入指定文件中

      • 示例
        • sed '/#/!w ./w.txt' fstab : 匹配非#開始的行，並寫入當前目錄下的w.txt文件中

    • r /PATH : 將PATH中指定的文件寫入匹配到的行下方，多用於文件合併。

      • 示例：
        • sed '/^UUID/r ./w.txt' fstab :把當前目錄下的w.txt文件寫入到以UUID開頭的行下

    • q : 退出sed,一般用於打印到第幾行即退出

      • 示例：
        • sed '10q' FILE : 只打印文件中的前10行，等同於sed -n '1,10p' FILE

    • y : 完成大小寫替換（等同於s///,基本不用）

      • sed '1,15y/UUID/uuid/' fstab1 :替換1到15行的內容UUID爲uuid
      • sed 'y/UUID/uuid/' fstab1 : 替換全文每行中的第一個匹配到的

    • = : 匹配到的行，顯示一個行號，默認在其匹配到的行上方顯示對應的行號，如果需要只顯示行號，需要加-n參數，把模式空間中的內容關閉顯示。

      • 示例
        • sed '/^UUID/=' fstab : 在匹配到UUID開頭的行上一行打印其行號
        • sed -n '$=' fstab : 顯示最後一行的行號，一般可用於顯示文本的總行數。
        • sed '/./=' File : 顯示所有行的行號，但空行不顯示行號

    • ! : 條件取反，一般用於模式之後，命令之前

      • 示例
        • sed '/^#/!d' FILE : 只顯示非註釋的行

    • s/// : 字符替換查找，其分隔符可自動指定，常用的有,s@@@、s###。

      • 替換標記操作符
        • g : 全局替換，不加g只能每行開始的第一個匹配操作
          • 如果只想從第幾次開始替換，可使用3g即Ng(N代表一個數值)
        • w /PATH: 將替換成功的結果保存至指定文件中
        • p : 顯示替換成功的行
          • 示例
            • sed 's/UUID/uuid/' fstab : 將UUID替換爲uuid
            • sed 's/love/& you' FILE: 將love替換爲love you,&`表示對前面模式的引用
            • sed 's/^\(UUID\).*/\1 Hello/' fstab1 : 將UUID開頭的行替換爲UUID Hello的內容
            • sed -n '1,15s/^UUID/uuid/gp' fstab : 查找1到15行以UUID開始的行，並將其替換爲uuid，並且只顯示被替換過的行
            • sed 's/.$//' File 將每行中最後一個字符刪除，.$代表每行的最後一個字符

    • h : 把模式空間中的內容覆蓋至保持空間中

    • H : 把模式空間中的內容追加至保持空間中

    • g : 把保持空間中的內容覆蓋至模式空間中

    • G : 把保持空間中的內容追加至模式空間中

    • x : 把模式空間中的內容到保持空間中的內容互換，初始保持空間中爲空

    • n : 讀取下一行覆蓋模式空間中的行

      • seq 11 | sed 'n;d' : 顯示結果爲1、3、5、7、9、11 ，默認動作先輸出模式空間中的行，再覆蓋讀取下一行，再執行d命令
      • seq 10 | sed 'n;d' : 顯示結果爲1、3、5、7、9

    • N : 讀取下一行並追加到模式空間中的行後面，使用\n分隔

      • seq 11 | sed 'N;d' : 顯示結果爲11，默認動作先讀取兩行，然後執行d操作
      • seq 10 | sed 'N;d' :顯示結果爲空

    • D : 刪除模式空間中的多行

      • seq 11 | sed 'N;D' : 顯示結果爲11

    • {} : 多命令同時執行時，需要使用{}括起來

      • sed -n '/^UUID/{N;p}' fstab1 : 讀取UUID開始的行，再讀取下一行並打印模式空間的內容。

應用實例

1. 替換文本中的字符串

   • echo "sksksksksksk" | sed 's/sk/SK/3g
     • 結果：skSKSKSKSKSK

2. 定界符出現在樣式內部時，需要進行轉義,建議更換定界符

   • sed 's/\/bin/\/usr\/local\/bin/g'

3. 刪除指定的行

   • sed '2d' file : 刪除第二行
   • # sed '2,$d' file : 刪除第二行到最後一行
   • sed '$d' file : 刪除最後一行
   • sed '/^test/'d file : 刪除文件中以test開頭的行

4. 正則表達式 \w+ 匹配每一個單詞，使用 [&] 替換它，& 對應於之前所匹配到的單詞

   • echo this is a test line | sed 's/\w\+/[&]/g'
     • 結果：[this] [is] [a] [test] [line]

5. 所有以192.168.0.1開頭的行都會被替換成它自已加localhost

   • sed 's/^192.168.0.1/&localhost/' file
     • 結果：192.168.0.1localhost

6. 替換digit 7的內容替換爲 7

   • echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/'
     • this is 7 in a number

7. love被標記爲1，所有loveable會被替換成lovers，並打印出來

   • sed -n 's/\(love\)able/\1rs/p' file

8. 所有在模板test和check所確定的範圍內的行都被打印

   • sed -n '/test/,/check/p' file

9. 對於模板test和west之間的行，每行加上字符串aaa bbb

   • sed '/test/,/west/s/$/aaa bbb/' file

10. 查找line1 到line2之間的所有aa bbb 替換爲AA BBB

    • sed '/line1/,/line2/s/aa bbb/AA BBB/' test.sh

11. 使用n;p打印奇數行和偶數行

    • sed -n 'p;n' test.txt #奇數行
    • sed -n 'n;p' test.txt #偶數行
    • sed -n '1~2p' test.txt #奇數行
    • sed -n '2~2p' test.txt #偶數行

12. 匹配關鍵字並顯示後幾行

    • sed -n '/3/,$p' a.sh : 顯示第一次匹配到的3，到最後一行輸出
    • sed -n '/3/,+2p' a.sh : 顯示第一次匹配到的3，到向下2行輸出

sed高級說明舉例說明

• seq 4 | sed 'n;d'

    1
    3
  

說明：pattern space先讀入1，然後執行到n，把下一行2讀入pattern space中並覆蓋原本的1。然後pattern space中的內容（2）被刪除（d操作），所以打印出1\n3

• seq 5 | sed 'n;d'

    1
    3
    5
  

• seq 4 | sed 'N;d'

    Nothing
  

  說明：pattern space先讀入1，然後執行到N，把下一行添加到當前的pattern space中，pattern space內容爲1\n2，然後執行d操作被刪除。接下去讀入3（系統讀入總是覆蓋原有內容），執行N，pattern space 內容變爲3\n4，然後再被刪除

• seq 7 | sed ‘N;d’

    7
  

• 理解n 與N

  • seq 4 | sed –n 'n'

      Nothing
    

  • `seq 4 | sed –n ‘N’

      Nothing
    

  以上兩都不會輸出輸入，-n參數把模式空間中的內容關閉顯示了

• `seq 4 | sed –n 'n;p'

    2
    4
  

  說明：-n參數不顯示模式空間的內容，n讀取下一行並覆蓋模式空間的內容，執行p操作

• seq 4 | sed –n 'N;p'

    1
    2
    3
    4
  

  說明：-n不顯示模式空間中的內容，N讀取1\n2行的內容，再p命令顯示模式空間中的內容

• seq 5 | sed –n 'N;p

    1
    2
    3
    4
  

  說明：n首先讀取1\n2 -->打印模式空間 -->讀取3\n4--->打印模式空間--->讀取5行發現沒有第6行--->失敗

• seq 5 | sed -n 'n;p'

    2
    4
  

  說明：模式空間中有1，然後n使用2覆蓋1，再p打印，當執行到第5行時，發現沒有下一行了，就不執行n了

• 理解 x

  • seq 11 | sed -n 'x;p' == seq 11 | sed 'x'

      [sapce line]
      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
    

  說明：模式空間的1<--->保持空間的空白行-->打印模式空間的空行，11並沒有打印出來，因爲他在保持空間中

  • seq 4 | sed '/3/{x;p;x}'
    1
    2

      3
      4
    

  說明：當匹配到3的時候，執行交換，現在模式空間爲空行，保持空間中爲3，執行p命令顯示模式空間中的空行，x再交換兩這空間的內容，此是模式空間爲3,默認模式空間的就會輸出至標準屏幕，故3之前多了一個空行

  • seq 4 | sed '/3/{x;p;x;d}'

      1
      2
      
      4
    

  說明：當第二個x交換回來，直接交給d執行，故3就沒有了，只多了一條空行

• 理解h和H

  • seq 4 | sed 'h;x'

      1
      2
      3
      4
    

  說明：把模式空間中的內容覆蓋到保持空間，再交換，再打印至標準輸出

  • seq 4 | sed 'x;h'

      Nothing
    

  說明：先把模式空間的與保持空間交換，現在模式空間爲空行，保持空間爲1，然後再把模式空間覆蓋保持空間，再輸出至標準輸出，故都爲空行

• 理解G和g

  • seq 4 | sed '/3/g'

    1
    2
    
    4
    

  說明：當匹配到3的時候，把保持空間的空行覆蓋到模式空間，故就輸出了空行

• seq 3 | sed '1!;G'

  1
  2
  NULL
  3
  NULL
  

說明： 不是第1行就執行G操作，G是追加保持空間到模式空間，即爲2+空行

• seq 3 | sed '1!G;h;$!d'

  3
  2
  1

說明：當讀到第一行時G不操作，然後把模式空間的內容覆蓋到保持空間，然後刪除模式空間，此時，保持空間爲1，當讀到第二行時，把保持空間的內容追加到模式空間，此時模式空間爲2\n1,再執行h，把模式空間中的內容再覆蓋到保持空間，此時保持空間爲2\n1,刪除模式空間，讀取第3行時，把保持空間的內容追加到模式空間中，此時模式空間的爲3\n\2\n1,最後一行不執行d操作

• 實例

• sed -n ’n;p’ file : 顯示偶數行

• ed ‘1!G;h;$!d’ ：逆序顯示內容

• sed ‘$!d’ file ：不是最後一行刪除，取出最後一行

• sed ‘$!N;$!D’: 取出文件後兩行

• sed ‘/^$/d;G’ FILE : 刪除原有的所有空白行，而後爲所有的非空白行後添加一個空白行

• sed ’n;d’ FILE：顯示奇數行

• sed ‘G’ /etc/issue: 在原有的每行後方添加一個空白行

本文借用網絡上的文檔編輯而成，感謝原作者，如造成影響請通知將其刪除，此文用於學習sed工具的使用，網絡地址如下：
http://www.1987.name/306.html; http://bbs.chinaunix.net/thread-3763371-1-1.html

作者：魏鎮坪
鏈接：https://www.jianshu.com/p/9d9a34e2b2dd
來源：簡書
著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。