awk工具

awk工具

awk也是流式編輯器,針對文檔中的行來操作,一行一行地執行,awk兼具sed的所有功能,而且更加強大,awk工具其實是很複雜的(有專門的書來介紹它的應用,有興趣的話自己可以去深入瞭解)。



截取文檔中的某個段

# awk -F ':' '{print $1}' test.txt 

root

bin

daemon

adm

lp

sync

...


# awk -F ':' '{print $1,$2,$3}' test.txt 

root x 0

bin x 1

daemon x 2

...


# awk -F ':' '{print $0}' test.txt 

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

...

說明:本例中,-F選項的作用就是指定分隔符,print爲打印的動作,用來打印某個字段。$1爲第1個字段,$2爲第二個字段,以些類推,但$0比較特殊,它表示整行。


注意awk的格式,-F後面緊跟單引號,單引號裏面爲分隔符,print的動作要用{}括起來,否則會報錯,print還可以打印自定義的內容,但是自定義的內容要用雙引號括起來,如下所示:

# awk -F ':' '{print $1"#"$2"#"$3"#"$4}' test.txt 

root#x#0#0

bin#x#1#1

daemon#x#2#2

adm#x#3#4

...



匹配字符或者字符串

# awk '/00/' test.txt 

games:x:12:100:games:/usr/games:/sbin/nologin

aming:x:1000:1005::/home/aming:/bin/bash

user1:x:1001:1001::/home/user1:/bin/bash

aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

user2:x:1003:1003::/home/user2:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user4:x:1006:1005::/home/aming111:/sbin/nologin

user5:x:1007:1007::/home/user5:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash

說明:這跟sed的用法類似,能實現grep的功能,但沒有顏色顯示,肯定沒有grep用起來方便,不過awk還有比sed更強大的匹配,如下所示:

# awk -F ':' '$1 ~ /oo/' test.txt 

root:x:0:0:root:/root:/bin/bash


它可以讓某個段匹配,這裏的~就是匹配的意思,awk還可以多次匹配,如下所示:

# awk -F ':' '/root/ {print $1,$3} /user/ {print $1,$3,$4}' test.txt

root 0

operator 11

tss 59 59

user1 1001 1001

user2 1003 1003

user3 1004 1005

user4 1006 1005

user5 1007 1007

user6 1008 1010

上例中awk匹配完root,再匹配user,它還可以只打印所匹配的段。



awk也支持正則表達式,示例如下:

# awk -F ':' '$1 ~ /o+/' test.txt 

root:x:0:0:root:/root:/bin/bash

daemon:x:2:2:daemon:/sbin:/sbin/nologin

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

operator:x:11:0:operator:/root:/sbin/nologin

nobody:x:99:99:Nobody:/:/sbin/nologin

systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin

systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

polkitd:x:998:996:User for polkitd:/:/sbin/nologin

postfix:x:89:89::/var/spool/postfix:/sbin/nologin

chrony:x:997:995::/var/lib/chrony:/sbin/nologin

# awk -F ':' '$1 ~ /oo+/' test.txt 

root:x:0:0:root:/root:/bin/bash



條件操作符

# awk -F ':' '$3==0' test.txt 

root:x:0:0:root:/root:/bin/bash

awk可以用邏輯符號進行判斷,比如==就是等於,也可以理解爲精確匹配,另外還有>、>=、<、<=、!=等,值得注意的是,在和數字比較時,若把比較的數字用雙引號引起來,那麼awk不會認爲是數字,而會認爲是字符,不加雙引號則會認爲是數字。


# awk -F ':' '$3>="1000" {print $0}' test.txt 

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

nobody:x:99:99:Nobody:/:/sbin/nologin

systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin

systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

dbus:x:81:81:System message bus:/:/sbin/nologin

polkitd:x:998:996:User for polkitd:/:/sbin/nologin

tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

postfix:x:89:89::/var/spool/postfix:/sbin/nologin

sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

chrony:x:997:995::/var/lib/chrony:/sbin/nologin

aming:x:1000:1005::/home/aming:/bin/bash

user1:x:1001:1001::/home/user1:/bin/bash

aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

user2:x:1003:1003::/home/user2:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user4:x:1006:1005::/home/aming111:/sbin/nologin

user5:x:1007:1007::/home/user5:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash


上例中,目的是想把uid大於等於1000的行打印出來,但是結果並不理想,這是因爲awk把所有的數字當作字符了,就跟上一章中提到的sort排序原理一樣,但如果不加雙引號就得到了想要的結果,示例如下:

# awk -F ':' '$3>=1000 {print $0}' test.txt 

aming:x:1000:1005::/home/aming:/bin/bash

user1:x:1001:1001::/home/user1:/bin/bash

aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

user2:x:1003:1003::/home/user2:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user4:x:1006:1005::/home/aming111:/sbin/nologin

user5:x:1007:1007::/home/user5:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash


下例中,!=表示不匹配,它除了針對某一個段的字符進行邏輯比較外,還可以在兩個段之前進行邏輯比較,如下所示:

# awk -F ':' '$7!="/sbin/nologin" {print $0}' test.txt 

root:x:0:0:root:/root:/bin/bash

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

aming:x:1000:1005::/home/aming:/bin/bash

user1:x:1001:1001::/home/user1:/bin/bash

aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

user2:x:1003:1003::/home/user2:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user5:x:1007:1007::/home/user5:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash

# awk -F ':' '$3<$4 {print $0}' test.txt 

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

aming:x:1000:1005::/home/aming:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash


另外還可以使用&&和||,它們分別表示:“並且”和“或者”

&&用法如下:

# awk -F ':' '$3>"5" && $3<"7"' test.txt 

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin



||用法如下:

# awk -F ':' '$3>1000 || $7=="/sbin/nologin"' test.txt 

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

nobody:x:99:99:Nobody:/:/sbin/nologin

systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin

systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

dbus:x:81:81:System message bus:/:/sbin/nologin

polkitd:x:998:996:User for polkitd:/:/sbin/nologin

tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

postfix:x:89:89::/var/spool/postfix:/sbin/nologin

sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

chrony:x:997:995::/var/lib/chrony:/sbin/nologin

user1:x:1001:1001::/home/user1:/bin/bash

aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

user2:x:1003:1003::/home/user2:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user4:x:1006:1005::/home/aming111:/sbin/nologin

user5:x:1007:1007::/home/user5:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash


# awk -F ':' '$3>1000 || $7 ~ /bash/' test.txt 

root:x:0:0:root:/root:/bin/bash

aming:x:1000:1005::/home/aming:/bin/bash

user1:x:1001:1001::/home/user1:/bin/bash

aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

user2:x:1003:1003::/home/user2:/bin/bash

user3:x:1004:1005::/home/user3:/bin/bash

user4:x:1006:1005::/home/aming111:/sbin/nologin

user5:x:1007:1007::/home/user5:/bin/bash

user6:x:1008:1010::/home/user6:/bin/bash


awk的內置變量

awk常用的變量有OFS、NF、NR,OFS和-F選項有類似的功能,也是和來定義分隔符的,但是它是在輸出的時候定義,NF表示用分隔符分隔後一共有多少段,NR表示行號。


OFS的用法示例如下:

# awk -F ':' '{OFS="#"} {if ($3>1000) {print $1,$2,$3,$4}}' test.txt 

user1#x#1001#1001

aminglinux#x#1002#1002

user2#x#1003#1003

user3#x#1004#1005

user4#x#1006#1005

user5#x#1007#1007

user6#x#1008#1010


Nf的用法,表示多少段,$NF是最後一段的值,用法如下:

# awk -F ':' '{print NF":"$0}' test.txt 

7:root:x:0:0:root:/root:/bin/bash

7:bin:x:1:1:bin:/bin:/sbin/nologin

7:daemon:x:2:2:daemon:/sbin:/sbin/nologin

7:adm:x:3:4:adm:/var/adm:/sbin/nologin

7:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

7:sync:x:5:0:sync:/sbin:/bin/sync

7:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

7:halt:x:7:0:halt:/sbin:/sbin/halt

7:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

7:operator:x:11:0:operator:/root:/sbin/nologin

7:games:x:12:100:games:/usr/games:/sbin/nologin

7:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

7:nobody:x:99:99:Nobody:/:/sbin/nologin

7:systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin

7:systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

7:dbus:x:81:81:System message bus:/:/sbin/nologin

7:polkitd:x:998:996:User for polkitd:/:/sbin/nologin

7:tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

7:postfix:x:89:89::/var/spool/postfix:/sbin/nologin

7:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

7:chrony:x:997:995::/var/lib/chrony:/sbin/nologin

7:aming:x:1000:1005::/home/aming:/bin/bash

7:user1:x:1001:1001::/home/user1:/bin/bash

7:aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

7:user2:x:1003:1003::/home/user2:/bin/bash

7:user3:x:1004:1005::/home/user3:/bin/bash

7:user4:x:1006:1005::/home/aming111:/sbin/nologin

7:user5:x:1007:1007::/home/user5:/bin/bash

7:user6:x:1008:1010::/home/user6:/bin/bash


NR的用法,表示多少行,用法如下:

# awk -F ':' '{print NR":"$0}' test.txt 

1:root:x:0:0:root:/root:/bin/bash

2:bin:x:1:1:bin:/bin:/sbin/nologin

3:daemon:x:2:2:daemon:/sbin:/sbin/nologin

4:adm:x:3:4:adm:/var/adm:/sbin/nologin

5:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

6:sync:x:5:0:sync:/sbin:/bin/sync

7:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

8:halt:x:7:0:halt:/sbin:/sbin/halt

9:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

10:operator:x:11:0:operator:/root:/sbin/nologin

11:games:x:12:100:games:/usr/games:/sbin/nologin

12:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

13:nobody:x:99:99:Nobody:/:/sbin/nologin

14:systemd-bus-proxy:x:999:997:systemd Bus Proxy:/:/sbin/nologin

15:systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

16:dbus:x:81:81:System message bus:/:/sbin/nologin

17:polkitd:x:998:996:User for polkitd:/:/sbin/nologin

18:tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

19:postfix:x:89:89::/var/spool/postfix:/sbin/nologin

20:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

21:chrony:x:997:995::/var/lib/chrony:/sbin/nologin

22:aming:x:1000:1005::/home/aming:/bin/bash

23:user1:x:1001:1001::/home/user1:/bin/bash

24:aminglinux:x:1002:1002::/home/aminglinux:/bin/bash

25:user2:x:1003:1003::/home/user2:/bin/bash

26:user3:x:1004:1005::/home/user3:/bin/bash

27:user4:x:1006:1005::/home/aming111:/sbin/nologin

28:user5:x:1007:1007::/home/user5:/bin/bash

29:user6:x:1008:1010::/home/user6:/bin/bash


還可以使用NR作爲判斷條件,如下所示:

# awk -F ':' 'NR<=10' test.txt 

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

[root@aminglinux-01 awk]# awk -F ':' 'NR<=10 && $1 ~ /root|sync/' test.txt 

root:x:0:0:root:/root:/bin/bash

sync:x:5:0:sync:/sbin:/bin/sync

[root@aminglinux-01 awk]# awk -F ':' 'NF==7 && $1 ~ /root|sync/' test.txt 

root:x:0:0:root:/root:/bin/bash

sync:x:5:0:sync:/sbin:/bin/sync


awk中的數學運算

awk可以更改段值,示例如下:

# head -n 3 test.txt |awk -F ':' '$1="root"'

root x 0 0 root /root /bin/bash

root x 1 1 bin /bin /sbin/nologin

root x 2 2 daemon /sbin /sbin/nologin


awk也可以對各個段的值進行數學運算,示例如下:

# head -n2 test.txt 

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

# head -n2 test.txt |awk -F ':' '{$7=$4+$3}'

# head -n2 test.txt |awk -F ':' '{$7=$4+$3; print $o}'

root x 0 0 root /root 0

bin x 1 1 bin /bin 2


awk還可以計算某個段的總和,示例如下:

# awk -F ':' '{(tot=tot+$3)}; END {print tot}' test.txt 

11692

這裏的END是awk特有的語法,表示所有的行都已經執行,其實awk連同sed都可以寫成一個腳本文件,而且有它們特有的語法,在awk中使用if判斷、for都可以。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章