一 、 AWK基本句法使用
awk [options] 'BEGIN{ action;… } pattern{ action;… } END{action;… }' file ...
- awk 基本語法
awk 選項 ‘program’ filename
- awk 程序通常由：BEGIN語句塊、能夠使用模式匹配的通用語句塊、END語句塊，共3部分組成
- program通常是被單引號或雙引號中 'print "11111",$1'
- program--->pattern--->{action statements;..}
- pattern 決定動作語句什麼時候觸發 BEGIN END
- action 對數據進行處理 放在 { } 內部指明
- print printf 輸入後面指定的內容
- $0 表示所有域 表示整行 每個 表示 $1 $2 $3 ....$n
- 文件的每一行爲一條記錄 ; 分號 也可以分成記錄
- action 省略 默認 print $0 打印整行
選項
-F 指明輸入時用到的字段分隔符 "[ %]+"
-v 自定義變量
-f 引用文件裏寫的變量，屬性或參數 programfile
FS 輸入字段的分隔符 列的分隔符
field 域，字段；列 column
行recout
OFS 輸出字段風格符 默認,號 爲空白字符
-v OFS=“--->”
RS 輸入記錄分隔符 指定輸入時的換行符
-v RS=“;”
ORS 輸出記錄的分隔符 指定符號代替換行符
-v ORS=“---->”
NF 字段個數
NR 記錄號
FNR 各文件分別計數，記錄號
FILENAME 當前文件名
ARGC 命令行中的參數個數 awk 也算一個參數
ARGV 數組，保存的是命令行所給定的各參數 從0 開始計數 0爲awk
自定義變量 區分字符大小寫 -v var=value
2 . printf命令
格式化輸出：printf “FORMAT”, item1, item2, ...
(1) 必須定FORMAT
(2) 不會自動換行，需要顯式給出換行控制符，\n
(3) FORMAT中需要分別爲後面每個item指定格式符
格式符：與item一一對應
%c: 顯示字符的ASCII碼
%d, %i: 顯示十進制整數
%e, %E:顯示科學計數法數值
%f：顯示爲浮點數
%g, %G：以科學計數法或浮點形式顯示數值
%s：顯示字符串
%u：無符號整數
%%: 顯示%自身
修飾符：
#[.#]：第一個數字控制顯示的寬度；第二個#表示小數點後精度，%3.1f
-: 左對齊（默認右對齊） %-15s
+：顯示數值的正負符號 %+d
操作符
-
算術操作符：
x+y, x-y, x*y, x/y, x^y, x%y
-x: 轉換爲負數
+x: 轉換爲數值
字符串操作符：沒有符號的操作符，字符串連接 -
賦值操作符：
=, +=, -=, *=, /=, %=, ^=++, --
下面兩語句有何不同
awk ‘BEGIN{i=0;print ++i,i}’ 1 1
awk ‘BEGIN{i=0;print i++,i}’ 0 1 -
比較操作符：
==, !=, >, >=, <, <=
模式匹配符：
~：左邊是否和右邊匹配包含 !~：是否不匹配
正則表達式，使用的擴展的正則表達式
示例：
awk –F: '$0 ~ /root/{print $1}‘ /etc/passwd
awk '$0~“^root"' /etc/passwd
awk '$0 !~ /root/‘ /etc/passwd
awk –F: ‘$3==0’ /etc/passwd -
邏輯操作符：
與&&，或||，非! 【！！！不是短路與 短路或】
示例：
awk –F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd
awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd
awk -F: ‘!($3==0) {print $1}' /etc/passwd
awk -F: ‘!($3>=500) {print $3}’ /etc/passwd - 函數調用：
function_name(argu1, argu2, ...)
條件表達式（三目表達式）：
selector?if-true-expression:if-false-expression
awk -F: '{$3>=1000?usertype="common user":usertype="sysuser";printf "%-15s:%-30s %d \n",usertype,$1,$3}' /etc/passwd
示例：
awk -F: '{$3>=1000?usertype="Common User":usertype="Sysadmin
or SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd
- PATTERN:根據pattern條件，過濾匹配的行，再做處理
(1)如果未指定：空模式，匹配每一行
(2) /regular expression/：僅處理能夠模式匹配到的行，需要用//括起來
awk '/^UUID/{print $1}' /etc/fstab
awk '!/^UUID/{print $1}' /etc/fstab
(3) relational expression: 關係表達式，結果爲“真”纔會被處理
真：結果爲非0值，非空字符串
假：結果爲空字符串或0值
示例：
• awk -F: 'i=1;j=1{print i,j}' /etc/passwd
• awk ‘!0’ /etc/passwd ; awk ‘!1’ /etc/passwd
• awk –F: '$3>=1000{print $1,$3}' /etc/passwd
• awk -F: '$3<1000{print $1,$3}' /etc/passwd
• awk -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd
• awk -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd
(4) line ranges：行範圍
startline,endline：/pat1/,/pat2/ 不支持直接給出數字格式
awk -F: ‘/^root\>/,/^nobody\>/{print $1}' /etc/passwd
awk -F: ‘(NR>=10&&NR<=20){print NR,$1}' /etc/passwd -
awk action
常用的action分類
算數，比較表達式
if while
組合語句 ； 隔開
print printf3 . awk 控制語句
-
awk if-else
語法：if(condition){statement;…}[else statement]
if(condition1){statement1}else if(condition2}{statement2}
else{statement3}
使用場景：對awk取得的整行或某個字段做條件判斷
length($1) -
while 循環
語法：while(condition【表達式，真|假】){statement;...}
表達式條件爲真，進入循環，假，退出循環
使用場景：
對一行內的多個字段逐一類似處理時使用
對數組中的各元素逐一處理時使用 -
do-while循環
語法 do {statement;...}while(condition)
意義：無論真假，至少執行一次循環體 -
for循環
語法 for(expr1;expr2;expr3){statement;...}
常見用法：
for(variable assignment;condition;iteration process){for-body}
特殊用法 能夠遍歷數組中的元素
time cmdmon 查看運行用時多久 性能比較 -
switch語句
語法：switch(expression) {case VALUE1 or /REGEXP/:statement1; case VALUE2 or /REGEXP2/:statement2;...; default: statementn}
- break與continue 同shell用法一樣
-
next:提前結束對本行處理而直接進入下一行處理（awk自身循環）
awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd
- 關聯數組：array[index-expression]
index-expression:
• (1) 可使用任意字符串；字符串要使用雙引號括起來
• (2) 如果某數組元素事先不存在，在引用時，awk會自動創建
此元素，並將其值初始化爲“空串”
• 若要判斷數組中是否存在某元素，要使用“index in array”格
式進行遍歷
示例：
• weekdays[“mon”]="Monday“
• awk 'BEGIN{weekdays["mon"]="Monday";
weekdays["tue"]="Tuesday";print weekdays["mon"]}‘
• awk ‘!arr[$0]++’ dupfile
• awk '{!arr[$0]++;print $0, arr[$0]}' dupfile
若要遍歷數組中的每個元素，要使用for循環
for(var in array) {for-body}
注意：var會遍歷array的每個索引
4 . awk文本處理
-
數值處理：
rand()：返回0和1之間一個隨機數
awk 'BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }' - 字符串處理：
length([s])：返回指定字符串的長度
- sub(r,s,[t])：對t字符串進行搜索r表示的模式匹配的內容，並將第一個匹配的內容替換爲s
echo "2008:08:08 08:08:08" | awk 'sub(/:/,“-",$1)' - gsub(r,s,[t])：對t字符串進行搜索r表示的模式匹配的內容，並全部替換爲s所表示的內容
echo "2008:08:08 08:08:08" | awk ‘gsub(/:/,“-",$0)' - split(s,array,[r])：以r爲分隔符，切割字符串s，並將切割後的結果保存至array所表示的數組中，第一個索引值爲1,第二個索引值爲2,…
netstat -tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for (i in count) {print i,count[i]}}'
- sub(r,s,[t])：對t字符串進行搜索r表示的模式匹配的內容，並將第一個匹配的內容替換爲s
5 . awk 函數
-
自定義函數
function name ( parameter, parameter, ... ) {
statements
return expression
}
示例：
cat fun.awk
function max(v1,v2) {
v1>v2?var=v1:var=v2
return var
}
BEGIN{a=3;b=2;print max(a,b)}
awk –f fun.awk
寫腳本 #!/bin/awk #-f 引入腳本 - awk中引用shell命令
system命令
用法：system( )
空格是awk中的字符串連接符，如果system中需要使用awk中的變量可以使用空格分隔，或者說除了awk的變量外其他一律用""引用起來。
awk BEGIN'{system("hostname") }'
awk 'BEGIN{score=100; system("echo your scoreis " score) }'