核心:文本過濾
查看/過濾文件
與sed一樣,逐行處理
awk :過濾數據時支持僅打印某一列;若有多條編輯指令,可用分號分隔。
【print 是最常用的編輯指令】
格式:
awk [選項] '[條件] {指令}' 文件
例:
實驗文本:
[root@server0 ~]# cat tmp.txt
hello wolrd
ni hao
wo shi
查看文本第一列:
[root@server0 ~]# awk '{print $1}' tmp.txt
hello
ni
wo
查看多列:
[root@server0 ~]# awk '{print $1,$2}' tmp.txt
hello wolrd
ni hao
wo shi
實用:【可管道給其他命令】
查看可用容量:
[root@server0 ~]# df -h | awk '{print $4}'
可用
7.1G
906M
921M
904M
921M
二)選項的使用:
-F :可指定分隔符
-F[:/] :可識別多種單個字符【可指定】
例:【-F】
查看/etc/passswd的第一列【以冒號爲分隔符】
[root@server0 ~]# awk -F: '{print $1}' /etc/passwd
root
bin
daemon
adm
lp
...
【-F[:/]】
[root@server0 ~]# awk -F[:/] '{print $1,$7}' /etc/passwd
root root
bin bin
daemon sbin
adm var
lp var
sync sbin
shutdown sbin
...
三)可與變量和常量結合使用
常見變量:
NR 文件當前行的行號
NF 文件當前行的列數(有幾列)
例:
【NR】
[root@server0 ~]# awk -F: '{print NR}' tmp.txt
1
2
3
【NF】
[root@server0 ~]# awk -F: '{print NF}' tmp.txt
1
1
1
常量的使用【需加雙引號】
例:
[root@server0 ~]# awk -F: '{print $1,"的解釋器爲",$7}' /etc/passwd
root 的解釋器爲 /bin/bash
bin 的解釋器爲 /sbin/nologin
daemon 的解釋器爲 /sbin/nologin
adm 的解釋器爲 /sbin/nologin
...
四)與正則的使用:
[root@server0 ~]# cat tmp.txt
hello wolrd
ni hao
wo shi
【查看包含ni的行的第2列】
[root@server0 ~]# awk /ni/'{print $2}' tmp.txt
hao
【查看遠程登陸失敗的ip】
[root@server0 ~]# awk /Failed/'{print $11}' /var/log/secure
172.25.0.10
172.25.0.10
五)awk處理時機
格式:
awk [選項] 'BEGIN{指令} {指令}END{指令}' 文件
BEGIN{ } 行前處理,讀取文件內容前執行,指令執行1次
{ } 逐行處理,讀取文件過程中執行,指令執行n次
END{ } 行後處理,讀取文件結束後執行,指令執行1次
【先爲x賦值爲0,然後進行++最後輸出x】
[root@desktop0 ~]# awk 'BEGIN{x=0} /bash$/{x++}END{print x}' /etc/passwd
2
[root@desktop0 ~]# awk '/bash$/{x++}END{print x}' /etc/passwd 【默認0開始】
4
【按順序列出用戶名,uid,家目錄,總和】
[root@desktop0 ~]# awk -F: 'BEGIN{print "yong" "UID" "jia" "zong" } {print $1,$3,$6}END{print "zong"NR }' /etc/passwd |column -t
column -t 【自動對齊】
六)awk處理條件
1.使用正則設置條件 【模糊匹配】
/正則/ 在一整行裏匹配
$n~/正則/ $1~/正則/ $2~/正則/ 【第一列包括和第二列包括。。。】
$n!~/正則/ 取反
[root@desktop0 ~]# awk -F: '$7!~/nologin$/' /etc/passwd
2.字符和數字的比較
== != > >= < <= 【精準匹配】
【打印出第1行的第一列】
awk -F: 'NR==1{print $1}' /etc/passwd
【打印UID大於等於1000的第1和第3列】
[root@desktop0 ~]# awk -F: '$3>=1000{print $1,$3}' /etc/passwd
nfsnobody 65534
student 1000
jiajia 1001
【精確查找第一列是root的行】
[root@desktop0 ~]# awk -F: '$1=="root"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
【300中能被3整除的數】
[root@desktop0 ~]# seq 300 | awk '$3%==0'
【300中能被3整除幷包含3的數】
[root@desktop0 ~]# seq 300 | awk '$1%3==0&&$1~/3/'
3.邏輯測試條件:
&& 和 ||
【打印UID大於10小於20的行】
[root@desktop0 ~]# awk -F: '$3>10&&$3<20' /etc/passwd
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
【打印UID等於10的行若沒有則打印UID等於1000的行】
[root@desktop0 ~]# awk -F: '$3==10||$3==1000' /etc/passwd
student:x:1000:1000:Student User:/home/student:/bin/bash
4.單雙分支
awk [選項] '[條件]{指令}' 文件
if語句
if(判斷){指令}
if(判斷){指令}else{指令}
單分支
[root@desktop0 ~]# awk -F: '{if($3>1000){x++}} END{print x}' /etc/passwd
雙分支
[root@desktop0 ~]# awk -F: '{if($3>1000){x++}else{y++}} END{print x,y}' /etc/passwd
3 38
5.數組:一個可以存儲多個值的變量
[root@desktop0 ~]# x=(11 22 33)
[root@desktop0 ~]# y[0]=11
[root@desktop0 ~]# y[1]=22
[root@desktop0 ~]# y[2]=33
[root@desktop0 ~]# echo ${x}
11
[root@desktop0 ~]# echo ${x[1]}
22
[root@desktop0 ~]# echo ${y}
11
awk 數組:
[root@desktop0 ~]# awk 'BEGIN{x[0]=11;x[2]=22;print x[2],x[0]}'
22 11
【當數組多時,利用for循環讀出】
[root@desktop0 ~]# awk 'BEGIN{x[0]=12;x[1]=35;x[2]=45;x[3]=456;for(i in x){print x[i]}}'
12
35
45
456
擴展:常見的低成本***
【DOS*** deny of service】
ab -c 100 -n 100000 http://172.25.0.10/
模擬有100人上網,訪問網站10w次
應對方法:
【查看異常:列出IP的訪問次數】
[root@desktop0 ~]# awk '{a[$1]++}END{for(i in a){print a[i],i}}' /var/log/httpd/access_log | sort -n
10 ::1
26141 172.25.0.250
sort -n 排序