swk的認識與使用【shell第五天】

核心:文本過濾
查看/過濾文件
與sed一樣,逐行處理

awk :過濾數據時支持僅打印某一列;若有多條編輯指令,可用分號分隔。
【print 是最常用的編輯指令】

格式:
awk [選項] '[條件] {指令}' 文件

例:
實驗文本:
[root@server0 ~]# cat tmp.txt
hello wolrd
ni hao
wo shi

      查看文本第一列:

[root@server0 ~]# awk '{print $1}' tmp.txt
hello
ni
wo

   查看多列:

[root@server0 ~]# awk '{print $1,$2}' tmp.txt
hello wolrd
ni hao
wo shi

  實用:【可管道給其他命令】

     查看可用容量:

[root@server0 ~]# df -h | awk '{print $4}'
可用
7.1G
906M
921M
904M
921M

二)選項的使用:

-F :可指定分隔符
-F[:/] :可識別多種單個字符【可指定】

例:【-F】
查看/etc/passswd的第一列【以冒號爲分隔符】
[root@server0 ~]# awk -F: '{print $1}' /etc/passwd
root
bin
daemon
adm
lp
...

        【-F[:/]】

[root@server0 ~]# awk -F[:/] '{print $1,$7}' /etc/passwd
root root
bin bin
daemon sbin
adm var
lp var
sync sbin
shutdown sbin
...

三)可與變量和常量結合使用

常見變量:
NR 文件當前行的行號
NF 文件當前行的列數(有幾列)

例:
【NR】
[root@server0 ~]# awk -F: '{print NR}' tmp.txt
1
2
3

【NF】
[root@server0 ~]# awk -F: '{print NF}' tmp.txt
1
1
1

       常量的使用【需加雙引號】

例:
[root@server0 ~]# awk -F: '{print $1,"的解釋器爲",$7}' /etc/passwd
root 的解釋器爲 /bin/bash
bin 的解釋器爲 /sbin/nologin
daemon 的解釋器爲 /sbin/nologin
adm 的解釋器爲 /sbin/nologin
...

四)與正則的使用:

[root@server0 ~]# cat tmp.txt
hello wolrd
ni hao
wo shi

   【查看包含ni的行的第2列】

[root@server0 ~]# awk /ni/'{print $2}' tmp.txt
hao

   【查看遠程登陸失敗的ip】

[root@server0 ~]# awk /Failed/'{print $11}' /var/log/secure
172.25.0.10
172.25.0.10

五)awk處理時機

格式:

awk [選項] 'BEGIN{指令} {指令}END{指令}' 文件

BEGIN{ } 行前處理,讀取文件內容前執行,指令執行1次
{ } 逐行處理,讀取文件過程中執行,指令執行n次
END{ } 行後處理,讀取文件結束後執行,指令執行1次

      【先爲x賦值爲0,然後進行++最後輸出x】

[root@desktop0 ~]# awk 'BEGIN{x=0} /bash$/{x++}END{print x}' /etc/passwd
2
[root@desktop0 ~]# awk '/bash$/{x++}END{print x}' /etc/passwd 【默認0開始】
4

       【按順序列出用戶名,uid,家目錄,總和】

[root@desktop0 ~]# awk -F: 'BEGIN{print "yong" "UID" "jia" "zong" } {print $1,$3,$6}END{print "zong"NR }' /etc/passwd |column -t

column -t 【自動對齊】

六)awk處理條件

1.使用正則設置條件 【模糊匹配】
/正則/ 在一整行裏匹配
$n~/正則/ $1~/正則/ $2~/正則/ 【第一列包括和第二列包括。。。】
$n!~/正則/ 取反
[root@desktop0 ~]# awk -F: '$7!~/nologin$/' /etc/passwd

2.字符和數字的比較
== != > >= < <= 【精準匹配】

   【打印出第1行的第一列】

awk -F: 'NR==1{print $1}' /etc/passwd

   【打印UID大於等於1000的第1和第3列】

[root@desktop0 ~]# awk -F: '$3>=1000{print $1,$3}' /etc/passwd
nfsnobody 65534
student 1000
jiajia 1001

     【精確查找第一列是root的行】

[root@desktop0 ~]# awk -F: '$1=="root"' /etc/passwd
root:x:0:0:root:/root:/bin/bash

      【300中能被3整除的數】

[root@desktop0 ~]# seq 300 | awk '$3%==0'

      【300中能被3整除幷包含3的數】

[root@desktop0 ~]# seq 300 | awk '$1%3==0&&$1~/3/'

3.邏輯測試條件:
&& 和 ||

        【打印UID大於10小於20的行】

[root@desktop0 ~]# awk -F: '$3>10&&$3<20' /etc/passwd
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

         【打印UID等於10的行若沒有則打印UID等於1000的行】

[root@desktop0 ~]# awk -F: '$3==10||$3==1000' /etc/passwd
student:x:1000:1000:Student User:/home/student:/bin/bash

4.單雙分支
awk [選項] '[條件]{指令}' 文件
if語句
if(判斷){指令}
if(判斷){指令}else{指令}

單分支
[root@desktop0 ~]# awk -F: '{if($3>1000){x++}} END{print x}' /etc/passwd

雙分支
[root@desktop0 ~]# awk -F: '{if($3>1000){x++}else{y++}} END{print x,y}' /etc/passwd
3 38

5.數組:一個可以存儲多個值的變量

[root@desktop0 ~]# x=(11 22 33)
[root@desktop0 ~]# y[0]=11
[root@desktop0 ~]# y[1]=22
[root@desktop0 ~]# y[2]=33
[root@desktop0 ~]# echo ${x}
11
[root@desktop0 ~]# echo ${x[1]}
22

[root@desktop0 ~]# echo ${y}
11

awk 數組:

[root@desktop0 ~]# awk 'BEGIN{x[0]=11;x[2]=22;print x[2],x[0]}'
22 11

    【當數組多時,利用for循環讀出】

[root@desktop0 ~]# awk 'BEGIN{x[0]=12;x[1]=35;x[2]=45;x[3]=456;for(i in x){print x[i]}}'
12
35
45
456

擴展:常見的低成本***
【DOS*** deny of service】
ab -c 100 -n 100000 http://172.25.0.10/
模擬有100人上網,訪問網站10w次

應對方法:

     【查看異常:列出IP的訪問次數】

[root@desktop0 ~]# awk '{a[$1]++}END{for(i in a){print a[i],i}}' /var/log/httpd/access_log | sort -n
10 ::1
26141 172.25.0.250

sort -n 排序

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章