Linux awk命令詳解

原文鏈接：https://www.cnblogs.com/ftl1012/p/9250541.html

awk是一個強大的文本分析工具，相對於grep的查找，sed的編輯，awk在其對數據分析並生成報告時，顯得尤爲強大。簡單來說awk就是把文件逐行的讀入，以空格爲默認分隔符將每行切片，切開的部分再進行各種分析處理。

使用方法   ： awk '{pattern + action}' {filenames}

儘管操作可能會很複雜，但語法總是這樣，其中 pattern 表示 AWK 在數據中查找的內容，而 action 是在找到匹配內容時所執行的一系列命令。花括號（{}）不需要在程序中始終出現，但它們用於根據特定的模式對一系列指令進行分組。 pattern就是要表示的正則表達式，用斜槓括起來。

awk語言的最基本功能是在文件或者字符串中基於指定規則瀏覽和抽取信息，awk抽取信息後，才能進行其他文本操作。完整的awk腳本通常用來格式化文本文件中的信息。通常，awk是以文件的一行爲處理單位的。awk每接收文件的一行，然後執行相應的命令，來處理文本。

awk內置變量

1 2 3 4 5 6 7 8 9 10 11 12

ARGC               命令行參數個數 ARGV               命令行參數排列 ENVIRON            支持隊列中系統環境變量的使用 FILENAME           awk瀏覽的文件名 FNR                瀏覽文件的記錄數 FS                 設置輸入域分隔符，等價於命令行 -F選項 NF                 瀏覽記錄的域的個數 NR                 已讀的記錄數 OFS                輸出域分隔符 ORS                輸出記錄分隔符 RS                 控制記錄分隔符 $0變量是指整條記錄。$1表示當前行的第一個域,$2表示當前行的第二個域,......以此類推。

1	$NF是number finally,表示最後一列的信息，跟變量NF是有區別的，變量NF統計的是每行列的總數

 

常用的命令展示

awk擅長列輸出

搜索/etc/passwd有root關鍵字的所有行

1	awk  '/root/' /etc/passwd 【這種是pattern的使用，匹配了pattern(這裏是root)的行纔會執行action(沒有指定action，默認輸出每行的內容)】

搜索/etc/passwd有root關鍵字的所有行，並顯示對應的shell

1	awk -F: '/root/ {print $7}' /etc/passwd

 

統計/etc/passwd:文件名，每行的行號，每行的列數，對應的完整行內容:

1	awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd

使用printf替代print,可以讓代碼更加簡潔，易讀

1	awk -F: '{printf ("filename:%10s, linenumber:%3s,column:%3s,content:%3f\n",FILENAME,NR,NF,$0)}' /etc/passwd

打印/etc/passwd/的第二行信息

1	awk -F: 'NR==2{print "filename: "FILENAME, $0}' /etc/passwd

 

awk的過濾使用方法

1	ls -lF | awk '/^d/'

指定特定的分隔符，查詢第一列

1	awk -F ":" '{print $1}' /etc/passwd

指定特定的分隔符，查詢最後一列

1	awk -F ":" '{print $NF}' /etc/passwd

指定特定的分隔符，查詢倒數第二列

1	awk -F ":" '{print $NF-1}' /etc/passwd

獲取第12到31行的第一列的信息

1	awk -F ":"  '{if(NR<31 && NR >12) print $1}' /etc/passwd

多分隔符的使用：

1 2	[root@localhost ftl]# awk -F "[/]" 'NR == 4 {print $0,"\n",$1}' /etc/passwd 這裏以/爲分隔符，多個分隔符利用[]然後在裏面寫分隔符即可

添加了BEGIN和END

1	[root@localhost ftl]# cat /etc/passwd | awk -F: 'BEGIN{print "name, shell"} {print $1,$NF} END{print "hello  world"}'

查看最近登錄最多的IP信息

1	[root@localhost ftl]# last | awk '{S[$3]++} END{for(a in S ) {print S[a],a}}' |uniq| sort -rh

 利用正則過濾多個空格

1	[root@localhost ~]# ifconfig |grep eth* | awk -F '[ ]+' '{print $1}'<br><br>

 

awk編程--變量和賦值

除了awk的內置變量，awk還可以自定義變量, awk中的循環語句同樣借鑑於C語言，支持while、do/while、for、break、continue，這些關鍵字的語義和C語言中的語義完全相同。

統計某個文件夾下的大於100k文件的數量和總和

1 2	ls -l|awk '{if($5>100){count++; sum+=$5}} {print "Count:" count,"Sum: " sum}'  【因爲awk會輪詢統計，所以會顯示整個過程】 ls -l|awk '{if($5>100){count++; sum+=$5}} END{print "Count:" count,"Sum: " sum}' 【天界END後只顯示最後的結果】

1	<strong>備註：</strong>count是自定義變量。之前的action{}裏都是隻有一個print,其實print只是一個語句，而action{}可以有多個語句，以;號隔開

統計顯示/etc/passwd的賬戶

1 2 3

awk -F: '{count++;} END{print count}' /etc/passwd         cat /etc/passwd|wc -l awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd

作者：小a玖拾柒

出處：http://www.cnblogs.com/ftl1012/

-------------------------------------------

個性簽名: 所有的事情到最後都是好的，如果不好，那說明事情還沒有到最後～

本文版權歸作者【小a玖拾柒】和【博客園】共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連接，否則保留追究法律責任的權利！