文本三劍客之sed總結

sed命令

sed在處理文本時是逐行讀取文件內容，讀到匹配的行就根據指令做操作，不匹配就跳過。

sed是Linux下一款功能強大的非交互流式文本編輯器，可以對文本文件進行增、刪、改、查等操作，支持按行、按字段、按正則匹配文本內容，靈活方便，特別適合於大文件的編輯。

處理時，把當前處理的行存儲在臨時緩衝區中，稱爲“模式空間”（pattern space），接着用sed命令處理緩衝區中的內容，處理完成後，把緩衝區的內容送往屏幕。接着處理下一行，這樣不斷重複，直到文件末尾。文件內容並沒有 改變，除非你使用重定向存儲輸出。

命令格式

sed [options] 'script' file(s)
sed [options] -f scriptfile file(s)

常用選項

-n  不輸出模式空間內容到屏幕，即不自動打印
-e  多點編輯（對files 執行多個commad）
-f  /PATH/SCRIPT_FILE 從指定文件中讀取編輯腳本
-r  支持使用擴展正則表達式
-i.bak 備份文件並編輯修改原文件

輸出包含字段aaaaa的行，並輸出它的行號
# sed -n -e '/aaaaa/p' -e '/aaaaa/=' aa.txt 
aaaaa
1

從執指定文件中讀取編輯腳本順序執行
# cat c.txt 
/aaaaa/p
s/bbbbb/ffff/pg
# sed -n -f c.txt  aa.txt 
aaaaa
ffff

查找fstab文件中 以UUID開頭的行
# sed -nr '/^UUID/p' /etc/fstab 
UUID=f128825e-e68d-4fc4-ac29-76e5db1764ca /boot                   xfs     defaults        0 0

備份aa.txt原文件，並將aa.txt文件中aaaaaa字符全局替換爲test
# sed -i.bak 's/aaaaa/test/g' aa.txt 
# ll
total 33580
-rw-r-----  1 root root       17 Jan  3 11:28 aa.txt
-rw-r-----  1 root root       18 Jan  3 10:07 aa.txt.bak
# cat a.txt
test
bbbbb
ccccc

script:

‘地址命令’

地址定界：

# cat aa.txt 
aaaaa
bbbbb
ccccc

(1) 不給地址：對全文進行處理

# sed -n 'p' aa.txt 
aaaaa
bbbbb
ccccc

(2) 單地址：
#：指定的行，$：最後一行

# sed -n '1p' aa.txt 
aaaaa
# sed -n '$p' aa.txt 
ccccc

/pattern/：被此處模式所能夠匹配到的每一行

# sed -n '/aaa/p' aa.txt 
aaaaa

(3) 地址範圍：
m,n ：從m行到n行

# sed -n '1,3p' aa.txt 
aaaaa
bbbbb
ccccc

#,+# ： 從#行開始 往下+#行結束

# sed -n '1,+1p' aa.txt 
aaaaa
bbbbb

/pat1/,/pat2/ ： 從第一個被匹配的pat1 行開始，到第一個匹配的part2行爲止

# sed -n '/aa/,/cc/p' aa.txt 
aaaaa
bbbbb
ccccc

#,/pat1/ ： 從#行開始，到第一個被匹配的part1行爲止

# sed -n '1,/cc/p' aa.txt 
aaaaa
bbbbb
ccccc

(4) ~：步進
**1~2 奇數行 **
**2~2 偶數行 **

[root@ansible-client ~]# seq 10 | sed -n '1~2p'
1
3
5
7
9
[root@ansible-client ~]# seq 10 | sed -n '2~2p'
2
4
6
8
10

編輯命令：

d 刪除模式空間匹配的行，並立即啓用下一輪循環
p 打印當前模式空間內容，追加到默認輸出之後
a [\]text 在指定行後面追加文本，支持使用\n實現多行追加
i [\]text 在行前面插入文本
c [\]text 替換行爲單行或多行文本
w /path/file 保存模式匹配的行至指定文件
r /path/file 讀取指定文件的文本至模式空間中匹配到的行後
= 爲模式空間中的行打印行號
! 模式空間中匹配行取反處理

遍歷/etc/passwd文件，在含有root字段的行的下一行添加superman
# sed '/root/a\superman' /etc/passwd
root:x:0:0:root:/root:/bin/bash
superman
...

遍歷/etc/passwd文件，在含有root字段的行的前一行添加superman
# sed '/root/i\superman' /etc/passwd
superman
root:x:0:0:root:/root:/bin/bash

遍歷/etc/passwd文件，將含有root字段的行替換爲superman
# sed '/root/c\superman' /etc/passwd
superman
bin:x:1:1:bin:/bin:/sbin/nologin

反向匹配輸出，含有bbbbb字段的行不輸出
# sed -n '/bbbbb/!p' aa.txt
test
ccccc

s/// 查找替換,支持使用其它分隔符，s@@@，s###

替換標記：
g 行內全局替換
p 顯示替換成功的行
w /PATH/FILE 將替換成功的行保存至文件中

將aa.txt中bbbbb字段全局替換爲aa
# sed 's/bbbbb/aa/g' aa.txt
test
aa
ccccc
只輸出替換成功的行
# sed -n  's/bbbbb/aa/pg' aa.txt
aa

引用變量

# var=root
1、sed引用變量，單引號裏面需要使用''' '''
[root@ansible-client ~]# sed -n '/'''$var'''/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
2、雙引號裏面直接引用即可
# sed -n "s/$var/test/p" /etc/passwd
test:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/test:/sbin/nologin

高級編輯命令

P： 打印模式空間開端至\n內容，並追加到默認輸出之前
h: 把模式空間中的內容覆蓋至保持空間中
H：把模式空間中的內容追加至保持空間中
g: 從保持空間取出數據覆蓋至模式空間
G：從保持空間取出內容追加至模式空間
x: 把模式空間中的內容與保持空間中的內容進行互換
n: 讀取匹配到的行的下一行覆蓋至模式空間
N：讀取匹配到的行的下一行追加至模式空間
d: 刪除模式空間中的行
D：如果模式空間包含換行符，則刪除直到第一個換行符的模式空間中的文本，並不會讀取新的輸入行，而使用合成的模式空間重新啓動循環。如果模式空間不包含換行符，則會像發出d命令那樣啓動正常的新循環

實踐：

1、獲取Centos6或Centos7上的eth0 網卡IP

# ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.177.96.14  netmask 255.255.255.0  broadcast 10.177.96.255
        ....

# ifconfig eth0 | sed -nr '2s/^[^0-9]+([0-9.]+) .*$/\1/p'
10.177.96.14

2、取出路徑父目錄：

# dirname  /etc/sysconfig/network-scripts/ifcfg-eth0 
/etc/sysconfig/network-scripts
[root@ansible-client etc]# echo  /etc/sysconfig/network-scripts |sed -r 's@(^/.*/)([^/]+)/?$@\1@'
/etc/sysconfig/

3、爲/boot/grub2/grub.cfg 內核所在行最後添加 net.infname=0

# sed -rn '/^[[:space:]]+linux16/s#(.*)#\1 net.infname=0#p' /boot/grub2/grub.cfg

4、統計/etc/init.d/functions文件中每個單詞的出現次數，並排序

1、sed實現
# sed -r '/^$/d;s/[^[:alpha:]]+/\n/g'  /etc/init.d/functions |sort | uniq -c | sort -n
      
      1 aA
      1 abnormally
      1 active
      1 ActiveState
      1 adjust
      1 alive
      1 already

.....
2、grep實現
# grep -Eo '[[:alpha:]]+'  /etc/init.d/functions| sort | uniq -c | sort -n

5、將文本文件的n和n+1行合併爲一行，n爲奇數行

[root@ansible-client ~]# cat aa.txt
test
bbbbb
bbbbb
ccccc
sssss
sssss
[root@ansible-client ~]# sed "N; s/\n//" aa.txt
testbbbbb
bbbbbccccc
ssssssssss

---

綜合實戰訓練

1、查找/etc目錄下大於1M且類型爲普通文件的所有文件

Note: find命令總結:

[root@test ~]# find /etc -size +1M -type f|xargs ls -lh
-rw------- 1 root root 3.8M Apr 26  2019 /etc/selinux/targeted/active/policy.kern
-rw-r--r-- 1 root root 1.4M Apr 26  2019 /etc/selinux/targeted/contexts/files/file_contexts.bin
-rw-r--r-- 1 root root 3.8M Apr 26  2019 /etc/selinux/targeted/policy/policy.31
-r--r--r-- 1 root root 7.6M Jul 11  2019 /etc/udev/hwdb.bin

2、打包/etc/目錄下面所有conf結尾的文件，壓縮包名稱爲當天的時間，並拷貝到/usr/local/src目錄備份

[root@test ~]# tar -czvf /usr/local/src/`date +"%F_%T"`.tar.gz  /etc/*.conf
tar: Removing leading `/' from member names
/etc/asound.conf
/etc/chrony.conf
/etc/dracut.conf
/etc/e2fsck.conf
/etc/GeoIP.conf
/etc/host.conf
/etc/kdump.conf
/etc/krb5.conf
/etc/ld.so.conf
/etc/libaudit.conf
/etc/libuser.conf
/etc/locale.conf
/etc/logrotate.conf
/etc/man_db.conf
/etc/mke2fs.conf
/etc/nscd.conf
/etc/nsswitch.conf
/etc/ntp.conf
/etc/resolv.conf
/etc/rsyncd.conf
/etc/rsyslog.conf
/etc/sestatus.conf
/etc/sudo.conf
/etc/sudo-ldap.conf
/etc/sysctl.conf
/etc/vconsole.conf
/etc/yum.conf
[root@test ~]# ll /usr/local/src/
total 16
-rw-r--r-- 1 root root 14822 Mar 22 21:16 2020-03-22_21:16:07.tar.gz

可以看出，上述在備份過程中有報錯信息：tar: Removing leading `/’ from member names 。其原因是tar默認爲相對路徑，使用絕對路徑的話就回報這個錯，可以使用-P參數（注意大寫）解決這個問題

[root@test ~]# tar -czvPf /usr/local/src/`date +"%F_%T"`.tar.gz  /etc/*.conf
/etc/asound.conf
/etc/chrony.conf
/etc/dracut.conf
/etc/e2fsck.conf
/etc/GeoIP.conf
/etc/host.conf
/etc/kdump.conf
/etc/krb5.conf
/etc/ld.so.conf
/etc/libaudit.conf
/etc/libuser.conf
/etc/locale.conf
/etc/logrotate.conf
/etc/man_db.conf
/etc/mke2fs.conf
/etc/nscd.conf
/etc/nsswitch.conf
/etc/ntp.conf
/etc/resolv.conf
/etc/rsyncd.conf
/etc/rsyslog.conf
/etc/sestatus.conf
/etc/sudo.conf
/etc/sudo-ldap.conf
/etc/sysctl.conf
/etc/vconsole.conf
/etc/yum.conf
[root@test ~]# ll /usr/local/src/
total 16
-rw-r--r-- 1 root root 14816 Mar 22 21:18 2020-03-22_21:18:16.tar.gz

3、利用sed 取出ifconfig命令中本機的IPv4地址

[root@test ~]# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.19.160.213  netmask 255.255.240.0  broadcast 172.19.175.255
        ether 00:16:3e:0e:c6:8f  txqueuelen 1000  (Ethernet)
        RX packets 58858  bytes 6099273 (5.8 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 43001  bytes 4568542 (4.3 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@test ~]# ifconfig eth0 | sed -nr '2s/^[^0-9]+([0-9.]+) .*$/\1/p'
172.19.160.213

4、刪除/etc/fstab文件中所有以#開頭，後面至少跟一個空白字符的行的行首的#和空白字符

[root@test ~]# sed -r 's@^#[[:space:]]+@@' /etc/fstab

#
/etc/fstab
Created by anaconda on Thu Jul 11 02:52:01 2019
#
Accessible filesystems, by reference, are maintained under '/dev/disk'
See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=1114fe9e-2309-4580-b183-d778e6d97397 /                       ext4    defaults        1 1

5、處理/etc/fstab路徑,使用sed命令取出其目錄名和基名

[root@test ~]# cat /etc/fstab

#
# /etc/fstab
# Created by anaconda on Thu Jul 11 02:52:01 2019
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=1114fe9e-2309-4580-b183-d778e6d97397 /                       ext4    defaults        1 1

#獲取目錄名
[root@test ~]# echo /etc/fstab | sed -nr 's@^(.*)/([^/]+)/?$@\1@p'
/etc
#獲取基名
[root@test ~]# echo /etc/fstab | sed -nr 's@^(.*)/([^/]+)/?$@\2@p'
fstab