awk基礎小結

awk：報告生成器，格式化文本輸出；

1、介紹

awk：aho，Weinberger，Kernighan
多種版本：--> New AWK，NAWK
             GPU awk，gawk  gawk：模式掃描和處理語言
             gawk-pattren scanning and processing language
             基本用法：gawk [options] 'program' FILE ...
        program：PATTREN{ACTION STATEMENTS}
            語句之間用分號分隔

2、基本用法：

awk [options] 'program' var=value file…
awk [options] -f programfile var=value file…
awk [options] 'BEGIN{action;… }pattern{action;… }END{action;… }' file ...
awk 程序可由：BEGIN語句塊、能夠使用模式匹配的通用語句塊、END語句塊，共3部分組成
program 通常是被放在單引號中
    選項：
        -F "分隔符"：指明輸入時用到的字段分隔符；
        -v var=value：自定義變量；變量賦值
基本格式：awk [options] 'program' file…
    Program：pattern{action statements;..}
    pattern和action
        •pattern部分決定動作語句何時觸發及觸發事件
            BEGIN,END
        •action statements對數據進行處理，放在{}內指明
            print, printf
    分割符、域和記錄
        •awk執行時，由分隔符分隔的字段（域）標記$1,$2...$n稱爲域標識。$0爲所有域，注意：此時和shell中變量$符含義不同
        •文件的每一行稱爲記錄
        •省略action，則默認執行 print $0 的操作

3、工作原理：

    第一步：執行BEGIN{action;… }語句塊中的語句
    第二步：從文件或標準輸入(stdin)讀取一行，然後執行pattern{ action;… }語句塊，它逐行掃描文件，從第一行到最後一行重複這個過程，直到文件全部被讀取完畢。
    第三步：當讀至輸入流末尾時，執行END{action;…}語句塊
    BEGIN語句塊在awk開始從輸入流中讀取行之前被執行，這是一個可選的語句塊，比如變量初始化、打印輸出表格的表頭等語句通常可以寫在BEGIN語句塊中
    END語句塊在awk從輸入流中讀取完所有的行之後即被執行，比如打印所有行的分析結果這類信息彙總都是在END語句塊中完成，它也是一個可選語句塊
    pattern語句塊中的通用命令是最重要的部分，也是可選的。如果沒有提供pattern語句塊，則默認執行{ print }，即打印每一個讀取到的行，awk讀取的每一行都會執行該語句塊

4、print

print格式：print item1, item2, ...
    要點：
    (1) 逗號分隔符
    (2) 輸出item可以字符串，也可是數值；當前記錄的字段、變量或awk的表達式
    (3) 如省略item，相當於print $0
    示例：
        awk '{print "hello,awk"}'
        awk –F: '{print}' /etc/passwd
        awk –F: ‘{print “wang”}’ /etc/passwd
        awk –F: ‘{print $1}’ /etc/passwd
        awk –F: ‘{print $0}’ /etc/passwd
        awk –F: ‘{print $1”\t”$3}’ /etc/passwd
        grep “^UUID”/etc/fstab | awk ‘{print $2,$4}’

5、變量：內置和自定義變量

    內建變量
        FS：input filed seperator，輸入字段分隔符，默認爲空白字符；
            awk -v FS=':' '{print $1}' /etc/passwd
            awk -v FS=':' '{print $1,FS,$3}' /etc/passwd
            awk –F: '{print $1,$3,$7}' /etc/passwd
        OFS：output filed seperator，輸出字段分隔符，默認爲空白字符；
            awk -v FS=':' -v OFS='&&&' '{print $1,$3,$7}' /etc/passwd
        RS：input record seperator，輸入記錄分隔符，指定輸入時的換行符；
            awk -v RS=' ' '{print}' /etc/passwd
        ORS：output recor seperator，輸出記錄分隔符，輸出時用指定符號代替換行符；
            awk -v RS=' ' -v ORS='#' '{print}' /etc/passwd
        NF：number of filed，字段數量；
            awk '{print NF}' /etc/fstab 引用變量時，變量前不需加$，注意不能加$
            注意：{print NF}  {print $NF}
            awk -F：'{print $(NF-1)}' /etc/passwd
        NR:number of record，記錄號，行數；
            awk '{print NR}' /etc/fstab
        FNR：file number ofrecord 各文件分別計數；行數，記錄號；
            awk '{print FNR}' /etc/fstab /etc/issue
        FILENAME：當前文件名；
            awk '{print FILENAME}' /etc/fstab /etc/issue
        ARGC：命令行參數的個數；
            awk 'BEGIN{print ARGC}' /etc/fstab /etc/issue
            awk '{print ARGC}' /etc/fstab /etc/inittab
        ARGV：數組，保存的是命令行所給定的各參數；
            awk 'BEGIN{print ARGV[1]}' /etc/fstab /etc/issue
            awk 'BEGIN{print ARGV[0//]}' /etc/fstab /etc/issue

    自定義變量：變量名區分字符大小寫；
        -v var=value
        在program中直接定義
            awk -v test='hello awk' 'BEGIN{print test}' /etc/fstab
            awk 'BEGIN{test="hello awk";print test}'    注意要使用雙引號

        示例：[root@centos610 20:30 awk]# awk -v title="CEO" -F ":" '{NUM="cto";print $1":"title,NUM,XX;XX="WNAGBIN"}' /etc/passwd
            root:CEO cto
            bin:CEO cto WNAGBIN
            daemon:CEO cto WNAGBIN
            adm:CEO cto WNAGBIN
        注意：title、NUM、XX三個變量定義的位置，變量後的定義內容必須添加雙引號引起來，XX變量放在最後導致了第一行讀取時未能找到變量，所以不顯示WANGBIN
            df -T| awk -F "[[:space:]]+|%" '{print $6}'  正則表達式

6、printf命令

    格式化輸出：printf "FORMAT",item1,item2,...
        FORMAT必須給出；
        不會自動換行，需要顯式給出換行控制符；\n
        FORMAT中需要分別爲後面的每個item指定一個格式化符號；
        格式符：
            %c：顯示字符的ASCII碼；
            %d，%i：顯示十進制整數；
            %e，%E：科學計數法數值顯示；
            %f：顯示爲浮點數；
            %g，%G：以科學計數法或浮點形式顯示數值；
            %s：顯示字符串；
            %u：無符號整數；
            %%：顯示%自身；
        awk -F : '{printf "Username:%s, UID:%d\n",$1,$3}' /etc/passwd

        修飾符：
            #[.#]：第一個數字控制顯示的寬度：第二個數字表示小數點後的精度；  %3.1f
                -：左對齊（默認右對齊） %-15s
                    awk -F : '{printf "Username:%-15s, UID:%d\n",$1,$3}' /etc/passwd
                +：顯示數值的正負符號 %+d
        示例：wk -F: 'BEGIN{print "——————————————————————————————————\n| username            |     uid  |\n——————————————————————————————————"}{printf "| %-20s| %6d   |\n——————————————————————————————————\n",$1,$3}' /etc/passwd

7、操作符

    算術操作符：x+y，x-y，x*y，x/y，x^y，x%y    
        -x：轉換爲負數
        +x：將字符串轉換爲數值
    字符串操作符：沒有符號的操作符，字符串連接
    賦值操作符：=   +=   -=   *=   /=   %=   ^=   ++   -- 
    比較操作符：>   >=   <   <=   !=   ==

• 注意：比較操作符號爲==號
  示例：
  awk -F: '$NF=/bin/bash{print $1,$3,$7,$NF}' /etc/passwd 輸入結果的$7和$NF都爲最後一個元素，因爲前面爲賦值操作，結果導致這兩個元素輸出結果都爲1，暫時還未理解
  awk -F: '$NF="/bin/bash"{print $1,$3,$7,$NF}' /etc/passwd $NF被賦值爲 /bin/bash，輸出的記錄數和源文件記錄數相同，只是最後的元素被賦值爲/bin/bash
  awk -F: '$NF=="/bin/bash"{print $1,$3,$7,$NF}' /etc/passwd $NF作爲文件的最後一個字段和雙引號的字段 /bin/bash 比較，只輸出最後元素爲/bin/bash的字段部分，實現過濾最後字段爲/bin/bash 的行
  awk -F: '$NF==/bin/bash{print $1,$3,$7,$NF}' /etc/passwd 無輸出結果
  模式匹配符：
  ~：左邊是否和右邊匹配，包含
  !~：是否不匹配
  示例：
  awk '!($0 ~ /nologin$/) ' /etc/passwd 注意！的位置
  awk '$0 !~ /nologin$/ ' /etc/passwd 注意！的位置
  df |awk -F " +|%" '$0 ~ /^\/dev\/sd/ && $5>30 {print $1,$5}' 注意分隔符+號前面有空格，表示多個空格的分隔符
  df |awk -F "[ ]+|%" '$0 ~ /^\/dev\/sd/ && $5>30 {print $1,$5}' 注意與上述的區別
  awk -F: '$1 ~ "root"{print $0}' /etc/passwd 注意root前後的是雙引號
  awk -F: '$1 ~ /root/{print $0}' /etc/passwd 注意root前後的斜線

  邏輯操作符：
      &&
      ||
      ！
  函數調用：
      function_name(argu1,argu2,...)
  條件表達式：（三目表達式）
      selector?if-true-expression:if-false-expression
      awk -F : '{$3>=1000?usertype="Common User":usertype="Sysadmin SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd

8、pattern：根據pattern條件，過濾匹配的行，再做處理

    （1）mpty：如果未指定：空模式，匹配每一行；
    （2）/regular expression/：僅處理能夠被此處模式匹配到的行；需要用//括起來
        awk '/^UUID/' /etc/fstab
        awk '!/^UUID/' /etc/fstab
        示例：
            awk -F : '$3<1000{print $1,$3}' /etc/passwd
            awk -F : '$NF~/bash$/{print $0}' /etc/passwd
            awk -F : '$NF="/bin/bash"{print $0}' /etc/passwd
            注意：
            awk -F: '!($3>1000){print $1,$3}' /etc/passwd
            awk -F: '!$3>1000{print $1,$3}' /etc/passwd
                如果判斷非條件的話必須將判斷的部分用小括號括住
    （3）relational expression：關係表達式：結果有真有假，結果爲真纔會被處理；

• 真：結果爲非0值，非空字符串；
  假：結果爲空字符串或0值
  示例：
• 注意一下i變量是否包含雙括號，awk中變量必須使用雙引號引用
  [root@centos76 11:13 data]# seq 3|awk 'i'
  [root@centos76 11:25 data]# seq 3|awk '"i"'
  1
  2
  3
  注意結果，第一次執行i爲0,0爲假故而不打印，第一次i++後i爲1，第二次執行開始時候爲1，i++後爲2，故而第二次輸出2，
  [root@centos76 11:25 data]# seq 3|awk 'i++{print i}'
  2
  3

• 下例子中因爲兩個模式之間使用的是 ； 號，因此每次執行時行需要判斷兩次，如果滿足條件需要打印兩次，所以3-10行各自打印了2次
  awk -F: 'NR>=3;NR<=10' /etc/passwd
  下面的例子請深刻體會：
  [root@centos76 11:38 data]# seq 3|awk '{j=!i;print j}'
  1
  1
  1
  [root@centos76 11:39 data]# seq 3|awk -v i=abc '{j=!i;print j}'
  0
  0
  0
  [root@centos76 11:39 data]# seq 10|awk 'i=!i'
  1
  3
  5
  7
  9
  [root@centos76 11:40 data]# seq 10|awk -v i=1 'i=!i'
  2
  4
  6
  8
  10
  [root@centos76 11:42 data]# seq 10|awk '{i=!i;print i}'
  1
  0
  1
  0
  1
  0
  1
  0
  1
  0
  [root@centos76 11:42 data]# seq 10|awk '!(i=!i)'
  2
  4
  6
  8
  10

  （4）line ranges：行範圍，
      startline,endline：/pat1/,/pat2/  不支持直接給出數字格式
      awk -F : '/^bin/,/^user1/{print $0}' /etc/passwd
      awk -F : '(NR>=2&&NR<10){print $0}' /etc/passwd
      注意：不支持直接給出數字的格式
  （5）BEGIN/END模式
      BEGIN{}：僅在開始處理文件中的文本之前執行一次；
      END{}：僅在文本處理完成之後執行一次；