Linux文本處理三劍客之awk詳解

前言

awk是一款強大的報告生成器,不同於sed和grep,它的側重點是如何把文本信息更好的展示出來,常用與統計和格式化輸出。awk相當於微型的shell,有着自己一套語法結構,例如:循環結構,數組,條件判斷,函數,內置變量等功能。處理對象一般純文本文件或純文本信息。

用法詳解

基本語法

awk [options] 'program' file file ...
awk [options] 'PATTERN{action}' file file ...

-F CHAR:輸入分隔符

awk的輸出

print item1, item2,...

① 各項目之間使用逗號分隔,而輸出時則使用輸出分隔符分隔

② 輸出的各item可以字符串或數值、當前記錄的字段、變量或awk的表達式,數值會被隱式轉換爲字符串後輸出

③ print後面item如果省略,相當於print $0,若輸出空白,使用pirnt ""

wKiom1U_UF6C225dAADyOytP9sg195.jpg

wKioL1U_UiHiji1HAAAvfNIw4nU492.jpg

模式

① Regexp: 格式爲/PATTERN/,僅處理被/PATTERN/匹配到的行

② Expression: 表達式,其結果爲非0或非空字符串時滿足條件,僅處理滿足條件的行

③ Ranges: 行範圍,此前地址定界,startline, endline,僅處理範圍內的行

④ BEGIN/END: 特殊模式,僅在awk命令的program運行之前(BEGIN)或運行之後(END)執行一次

⑤ Empty:空模式,匹配任意行

awk的變量

內置變量

FS:Field Seperator, 輸入時的字段分隔符
RS:Record Seperator, 輸出行分隔符
OFS: Output Field Seperator, 輸出時的字段分隔符;
ORS: Outpput Row Seperator, 輸出時的行分隔符;

wKiom1U_g7HxfP9xAAEhkRr3gbc649.jpg

NR:Numbers of Record, 行數;所有文件的一併計數

wKioL1U_hUyDIjBkAAISe6e2Rp8586.jpg

NF:Numbers of Field,字段數

wKiom1U_hOuwxJBtAAILKk_cxQ0764.jpg

FNR:行數;各文件分別計數;

wKioL1U_h2aipO-nAAII0RfwZxQ302.jpg

ARGV:數組,保存命令本身這個字符,awk '{print $0}' 1.txt 2.txt,意味着ARGV[0]保存awk
ARGC: 保存awk命令中參數的個數
FILENAME: awk正在處理的當前文件的名稱

wKioL1U_iTKB85BIAADEDhXwBGI806.jpg

可自定義變量

-v var_name=VALUE       #變量名區分字符大小寫

①可以program中定義變量

② 可以命令行中通過-v選項自定義變量

wKiom1U_itSDYtJ9AABZSxKbw7M357.jpg

awk的printf命令

命令使用格式:printf format, item1, item2,...

① 要指定format

②不會自動換行;如需換行則需要給出\n

③format用於爲後面的每個item指定其輸出格式

format格式的指示符都%開頭,後跟一個字符:
		%c: 顯示字符的ASCII碼;
		%d, %i: 十進制整數;
		%e, %E: 科學計數法顯示數值;
		%f: 顯示浮點數;
		%g, %G: 以科學計數法格式或浮點數格式顯示數值;
		%s: 顯示字符串;
		%u: 顯示無符號整數;
		%%: 顯示%自身;
修飾符:
		#:顯示寬度
		-:左對齊
		+:顯示數值的符號
		.#: 取值精度

wKioL1U_klzy_4E9AADKmR_vpkA142.jpg

awk輸出重定向

print items > output-file     #保存到某文件
print items >> output-file    #追加到某文件
print items | command         #使用管道交給某些命令處理

特殊文件描述符:
	/dev/stdin: 標準輸入
	/dev/stdout: 標準輸出
	/dev/stderr: 錯誤輸出

wKioL1U_lxfALFa0AABmtinGWro867.jpg

awk的操作符

算術操作符:
	x+y
	x-y
	x*y
	x/y
	x**y, x^y
	x%y
	-x:負值
	+x:轉換爲數值

	字符串操作符:連接

賦值操作符:
	=
	+=
	-=
	*=
	/=
	%=
	^=
	**=
        ++
	--
        如果模式自身是=號,要寫爲/=/

比較操作符:
	<
	<=
	>
	>=
	==
	!=
	~:模式匹配,左邊的字符串能夠被右邊的模式所匹配爲真,否則爲假;
	!~:不匹配爲真,匹配爲假

邏輯操作符:
	&&: 與
	||:或

條件表達式:
	selector?if-true-expression:if-false-expression

函數調用:
	function_name(argu1,argu2)

例:判斷UID是否大於等於500,如果爲真就顯示爲普通用戶,如果爲假就顯示爲系統或管理用戶

wKiom1U_l2jxNGekAAFXmSMCCvY816.jpg

常用的action

①Expressions:表達式 賦值等

② Control statements:條件語句,控制語句if while...

③Compound statements:組合語句

④ input statements:輸入語句

⑤ output statements:輸出語句

控制語句

if-else

格式:if (condition) {then body} else {else body}

例:uid>=500的用戶顯示爲普通用戶,否則顯示爲管理用戶

wKioL1U_mneBbwgJAAFuEbGQPlk709.jpg

例:顯示文件中字段數大於等於8的行

wKioL1U_nBmBybE_AAGX1Y4j-3o403.jpg

while

格式:while (condition) {while body}

例:只顯示奇數行

wKiom1U_m3HCW_3hAAGunkdiHr4780.jpg

例:只輸出每行大於6的字段

wKioL1U_ngrhErNFAACwP2SDpXk687.jpg

do-while循環

格式:do {do-while body} while (condition)

例:輸出1到100之和

wKiom1U_nh-i4KQDAABFr2K9FPA256.jpg

for循環

格式:for (variable assignment; condition; iteration process) {for body}

例:顯示奇數行

wKioL1U_obKDIK_wAAGuKDKTozk701.jpg

例:輸出每行大於6的字段

wKiom1U_oLGTFpyoAACtQZhmz7I661.jpg

for循環可用來遍歷數組元素

語法:for (i in array) {for body}

例:A中保存數組,B中保存數組下標

wKiom1U_o26DyjOKAABO_L2KV80236.jpg

case語句

語法:switch (expression) {case VALUE or /RGEEXP/: statement1;... default: stementN}

 循環控制

break    #退出當前循環
continue #提前結束本輪循環,直接進入下輪循環

next

提前結束對本行的處理進而進入下一行的處理

例:顯示用戶id爲奇數的用戶

wKioL1VAL6iw5igUAACrCT5GwaY852.jpg

例:輸出奇數行的用戶

wKiom1VALsLSwdz8AADDihktHA0063.jpg

數組

關聯數組

array[index-expression]
index-expression: 可以使用任意字符串; 如果某數組元素事先不存在,那麼在引用時,awk會自動創
建此元素並將其初始化爲空串;因此,要判斷某數組是否存在某元素,必須使用“index in array”
這種格式

要遍歷數組中的每一個元素,需要使用如下特殊結構

for (var in array) {for body}   #其var會遍歷array的索引

例:統計每一種網絡連接出現的次數

wKioL1VANB7iriwnAABjVRdXEvI414.jpg

例:統計web服務訪問日誌中的ip訪問量

wKioL1VANaGQQlKKAAB2dDiTFMY916.jpg

刪除數組元素

關係數組中刪除數組索引需要使用delete命令

格式:delete array[index]

awk的內置函數

split(string,array[,fieldsep[,seps]])
功能:將string表示的字符串以fieldsep爲分隔符進行切片,並切片後的結果保存至array爲名的數組中;數組下標從1開始
此函數有返回值,返回值爲切片後的元素的個數

例:統計連接請求的ip

wKiom1VAN_GASkFRAABsAW8UHyI744.jpg

length(string)
功能:返回給定字串的長度
substr(string,start[,length])
功能:從string中取子串,從start爲起始位置爲取length長度的子串
system(command)
功能:執行系統command並將結果返回至awk命令
systime()
功能:systime函數返回從1970年1月1日開始到當前時間(不計閏年)的整秒數
tolower(s)
功能:將s中的所有字母轉爲小寫
toupper(s)
功能:將s中的所有字母轉爲大寫

The end

好了,awk的用法就先說到這裏了,awk不僅強大,而且看的我頭大,有興趣的可以深入研究,此篇就不繼續深入了。以上僅爲個人學習整理,如有錯漏,大神勿噴~~~

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章