正文
【參考文章】:linux awk命令詳解
【參考文章】:awk 入門教程——阮一峯的網絡日誌
【參考文章】:awk substr()函數
【傳送門】:awk命令系列學習
1. 簡介
awk 是一種處理文本文件的語言,是一個強大的文本分析工具。
awk 其實不僅僅是工具軟件,還是一種編程語言。
awk 是以文件的一行內容爲處理單位的。awk讀取一行內容,然後根據指定條件判斷是否處理此行內容,若此行文本符合條件,則按照動作處理文本,否則跳過此行文本,讀取下一行進行判斷。
2. 基本用法
condition:條件。若此行文本符合該條件,則按照 action 處理此行文本。不添加條件時則處理每一行文本;
action:動作。按照動作處理符合要求的內容。一般用於打印指定的內容信息;
注意下面的引號爲英文的單引號
2.1 處理指定文件的內容
awk 'condition { action }' filename
2.2 處理某個命令的執行結果
command | awk ' condition { action }'
2.3 常用參數
2.3.1 F(指定字段分隔符)
默認使用空格作爲分隔符。
[root@localhost awk]# echo "aa bb cc dd ee ff" | awk '{print $1}'
aa
[root@localhost awk]# echo "aa bb l cc dd l ee ff" | awk -F 'l' '{print $1}'
aa bb
[root@localhost awk]# echo "aa bb cc : dd ee ff" | awk -F ':' '{print $1}'
aa bb cc
3. 變量
3.1 FS(字段分隔符)
默認是空格和製表符。
$0 表示當前整行內容,$1,$2 表示第一個字段,第二個字段
[root@localhost zabbix_agentd.d]# echo "aa bb cc dd" | awk '{ print $0}'
aa bb cc dd
[root@localhost zabbix_agentd.d]# echo "aa bb cc dd" | awk '{ print $1}'
aa
[root@localhost zabbix_agentd.d]# echo "aa bb cc dd" | awk '{ print $2}'
bb
3.2 NF(當前行的字段個數)
$NF就代表最後一個字段,$(NF-1)代表倒數第二個字段
[root@localhost zabbix_agentd.d]# echo "aa bb cc dd" | awk '{ print $NF}'
dd
[root@localhost zabbix_agentd.d]# echo "aa bb cc dd" | awk '{ print $(NF-1)}'
cc
3.3 NR (當前處理的是第幾行)
打印當前行號和當前文本內容
[root@localhost awk]# cat test.txt
aa ss
dd ff
gg hh
[root@localhost awk]# cat test.txt | awk '{print NR")", $0}'
1) aa ss
2) dd ff
3) gg hh
逗號表示輸出的變量之間用空格分隔;
右括號必需使用 雙引號 纔可以原樣輸出
打印指定行內容:
[root@localhost S17]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
[root@localhost S17]# java -version 2>&1 | awk 'NR==1 {print $0}'
java version "1.8.0_131"
[root@localhost S17]#
[root@localhost awk]# awk '{print FILENAME, NR")", $0}' test.txt
test.txt 1) aa ss
test.txt 2) dd ff
test.txt 3) gg hh
[root@localhost awk]# cat test.txt | awk '{print FILENAME, NR")", $0}'
- 1) aa ss
- 2) dd ff
- 3) gg hh
awk '{ condition action }' filename 這種形式時可以打印文件名;
通過 |(管道符)讀取內容時打印的是 -
3.5 其他變量
- RS:行分隔符,用於分割每一行,默認是換行符。
- OFS:輸出字段的分隔符,用於打印時分隔字段,默認爲空格。
- ORS:輸出記錄的分隔符,用於打印時分隔記錄,默認爲換行符。
- OFMT:數字輸出的格式,默認爲%.6g。
4. 函數
4.1 print 和 printf
awk中同時提供了print和printf兩種打印輸出的函數。
print函數,參數可以是變量、數值或者字符串。字符串必須用雙引號引用,參數用逗號分隔。如果沒有逗號,參數就串聯在一起而無法區分。這裏,逗號的作用與輸出文件的分隔符的作用是一樣的,只是後者是空格而已。
printf函數,其用法和c語言中printf基本相似,可以格式化字符串,輸出複雜時,printf更加好用,代碼更易懂。
4.2 其他函數
- toupper():字符轉爲大寫。
- tolower():字符轉爲小寫。
- length():返回字符串長度。
- substr():返回子字符串。
- substr($1,2):返回第一個字段,從第2個字符開始一直到結束。
- substr($1,2,3):返回第一個字段,從第2個字符開始開始後的3個字符。
- sin():正弦。
- cos():餘弦。
- sqrt():平方根。
- rand():隨機數。
4.2.1 示例
[root@localhost awk]# echo "aa bb cc dd ee ff" | awk '{print toupper($1)}'
AA
[root@localhost awk]# echo "aa BB cc dd ee ff" | awk '{print tolower($2)}'
bb
[root@localhost awk]# echo "aa BB cc dd ee ff" | awk '{print length($2)}'
2
[root@localhost awk]# echo "asdfghj" | awk '{print substr($1,2,3)}'
sdf
5. 條件
awk 允許指定輸出條件,只輸出符合條件的行。
awk ' 條件 {動作 }' 文件名
條件有以下幾種:
5.1 正則表達式
特殊字符需要轉義
[root@localhost awk]# cat exp.txt
/stsvc/fms/conf/application.yml
/stsvc/sms/conf/application.yml
/stsvc/tms/conf/application.yml
/root/home/chenfan
/root/home/jhhuang
[root@localhost awk]# cat exp.txt | awk '/stsvc/ {print $0}' 包含 stsvc 的行
/stsvc/fms/conf/application.yml
/stsvc/sms/conf/application.yml
/stsvc/tms/conf/application.yml
[root@localhost awk]# cat exp.txt | awk '/stsvc\/fms/ {print $0}' 包含 stsvc/fms 的行
/stsvc/fms/conf/application.yml
5.2 布爾值判斷
[root@localhost awk]# cat exp.txt | awk 'NR==2 {print $0}' 等於第二行
/stsvc/sms/conf/application.yml
[root@localhost awk]# cat exp.txt | awk 'NR>4 {print $0}' 大於第四行
/root/home/jhhuang
[root@localhost awk]# cat exp.txt | awk 'NR%2==1 {print $0}' 奇數行
/stsvc/fms/conf/application.yml
/stsvc/tms/conf/application.yml
/root/home/jhhuang
某個字段等於具體值
[root@localhost awk]# cat test.txt
aa ss
dd ff
gg hh
[root@localhost awk]# cat test.txt | awk ' $2=="ff" {print $0}'
dd ff
5.3 if 語句
[root@localhost awk]# echo "aa ss dd" | awk '{ if($3 == "dd") print $0; else print "nothing"}'
aa ss dd
[root@localhost awk]# echo "aa ss dds" | awk '{ if($3 == "dd") print $0; else print "nothing"}'
nothing