shell中色彩處理和awk使用技巧（學神IT教育筆記）

本節所講內容：

• 24.1 shell中的色彩處理
• 24.2 awk基本應用
• 24.3 awk高級應用
• 24.4 實戰-shell腳本實戰

24.1 Shell中的色彩處理

shell腳本中echo顯示內容帶顏色顯示,echo顯示帶顏色，需要使用參數-e

• 格式1： echo -e “\033[背景顏色;文字顏色m 要輸出的字符 \033[0m”
• 格式2：echo -e “\e[背景顏色;文字顏色m要輸出的字符\e[0m”

例：綠底藍字

[root@xuegod63 ~]# echo -e "\033[42;34m hello world\033[0m"
[root@xuegod63 ~]# echo -e "\e[42;34m hello world\e[0m"

如圖：

注:其中42的位置代表底色，34的位置代表的是字的顏色，0m是清除所有格式

• 1、字背景顏色和文字顏色之間是英文的分號";"
• 2、文字顏色後面有個m
• 3、字符串前後可以沒有空格，如果有的話，輸出也是同樣有空格
• 4、echo顯示帶顏色，需要使用參數-e ,-e 允許對下面列出的加反斜線轉義的字符進行解釋.

控制選項：

\033[0m 關閉所有屬性 
\033[1m 設置高亮度，加粗
\033[5m 閃爍
[root@xuegod63 ~]# echo -e "\e[42;34m hello world\e[5m"  #執行後，發現後期所有輸出都閃爍狀態，如何關閉？



[root@xuegod63 ~]# echo -e "\e[42;34m hello world\e[0m"   #可以使用\033[0m 關閉所有屬性

常見shell輸入帶顏色文字：  3x代表字的顏色，4x代表背景色
echo -e "\033[30m 黑色字 \033[0m"
echo -e "\033[31m 紅色字 \033[0m"
echo -e "\033[32m 綠色字 \033[0m"
echo -e "\033[33m 黃色字 \033[0m"
echo -e "\033[34m 藍色字 \033[0m"
echo -e "\033[35m 紫色字 \033[0m"
echo -e "\033[36m 天藍字 \033[0m"
echo -e "\033[37m 白色字 \033[0m"
 
echo -e "\033[40;37m 黑底白字 \033[0m"
echo -e "\033[41;37m 紅底白字 \033[0m"
echo -e "\033[42;37m 綠底白字 \033[0m"
echo -e "\033[43;37m 黃底白字 \033[0m"
echo -e "\033[44;37m 藍底白字 \033[0m"
echo -e "\033[45;37m 紫底白字 \033[0m"
echo -e "\033[46;37m 天藍底白字 \033[0m"
echo -e "\033[47;30m 白底黑字 \033[0m"

Linux架構師高薪入口：
1.學神IT教育官方網站： http://xuegod.ke.qq.com，騰訊課堂免費學習鏈接：https://ke.qq.com/course/package/19404?flowToken=1012333
2.10年行業資深老鳥MK：QQ2659153446
3.加入Linux技術交流QQ羣：702618557，即可獲得以下福利：
①定期分享免費學習資料與視頻（工具+筆記+拓展實戰）
②10年行業資深老鳥在線答疑：技能+實戰+項目分享+高薪就業
③有機會免費領取Linux雲計算集羣架構師4冊書籍

24.2 awk基本應用

grep和egrep：文本過濾的
sed：流編輯器，實現編輯的
awk：文本報告生成器，實現格式化文本輸出

24.2.1 概念

AWK是一種優良的文本處理工具，Linux及Unix環境中現有的功能最強大的數據處理引擎之一。這種編程及數據操作語言的最大功能取決於一個人所擁有的知識。awk命名:Alfred Aho Peter 、Weinberger和brian kernighan三個人的姓的縮寫。

• awk---->gawk 即： gun awk

在linux上常用的是gawk,awk是gawk的鏈接文件
man gawk----》pattern scanning and processing language 模式掃描和處理語言。
pattern [ˈpætn] 模式 ； process [ˈprəʊses] 處理
任何awk語句都是由模式和動作組成，一個awk腳本可以有多個語句。模式決定動作語句的觸發條件和觸發時間。
模式：

正則表達式 :  	/root/ 匹配含有root的行     	/*.root/
關係表達式：   <  >  &&  ||   +  *
匹配表達式：   ~  ！~

動作：

變量  命令  內置函數  流控制語句
它的語法結構如下：
awk [options] 'BEGIN{ print "start" } ‘pattern{ commands }’ END{ print "end" }' file
其中：BEGIN  END是AWK的關鍵字部，因此必須大寫；這兩個部分開始塊和結束塊是可選的

特殊模塊：

BEGIN語句設置計數和打印頭部信息，在任何動作之前進行
END語句輸出統計結果，在完成動作之後執行

通過上面我們可以知道;AWK它工作通過三個步驟

1、讀：從文件、管道或標準輸入中讀入一行然後把它存放到內存中
2、執行：對每一行數據，根據AWK命令按順序執行。默認情況是處理每一行數據，也可以指定模式
3、重複：一直重複上述兩個過程直到文件結束
AWK支持兩種不同類型的變量：內建變量，自定義變量
awk內置變量（預定義變量）
	$n 當前記錄的第n個字段，比如: $1表示第一個字段，$2表示第二個字段 
	$0 這個變量包含執行過程中當前行的文本內容
	FILENAME 當前輸入文件的名
	FS 字段分隔符（默認是空格） 
	NF 表示字段數，在執行過程中對應於當前的字段數，NF：列的個數
	FNR  各文件分別計數的行號
	NR 表示記錄數，在執行過程中對應於當前的行號
	OFS 輸出字段分隔符（默認值是一個空格）
	ORS 輸出記錄分隔符（默認值是一個換行符）
	RS 記錄分隔符（默認是一個換行符）

24.2.2 實例演示

常用的命令選項：

-F fs指定分隔符
-v 賦值一個用戶自定義變量
-f 指定腳本文件,從腳本中讀取awk命令

（1）分隔符的使用

用法：-Ffs 其中fs是指定輸入分隔符，fs可以是字符串或正則表達式;分隔符默認是空格
常見寫法：-F:   -F,  -F[Aa]

例1：

[root@xuegod63 ~]# echo "AA BB CC DD"|awk '{print $2}'
BB
[root@xuegod63 ~]# echo "AA|BB|CC|DD"|awk -F"|" '{print $2}'
BB
[root@xuegod63 ~]# echo "AA,BB,CC,DD"|awk -F"," '{print $2}'
BB
[root@xuegod63 ~]# echo "AA,BB,CC,DD"|awk -F, '{print $2}'
BB
[root@xuegod63 ~]# awk -F: '{print $1}' /etc/passwd  #以：分隔，打印第1列用戶名

例2：指定多個分隔符

[root@xuegod63 ~]# echo "12AxAbADXaAD52" | awk -F"[aA]" '{print $6}'
D52

例3：使用FS指定分隔符

[root@xuegod63 ~]# echo "12AxAbADXaAD52" | awk 'BEGIN {FS="aA"} {print $2}'
D52

例4：過濾出本系統的IP地址

[root@xuegod63 ~]# ifconfig ens33 | grep netmask
        inet 192.168.1.63  netmask 255.255.255.0  broadcast 192.168.1.255
[root@xuegod63 ~]# ifconfig ens33 | grep netmask | awk '{print $2}'
192.168.1.63

（2）關係運算符的使用
例1：

[root@xuegod63 ~]# echo "3 2 3 4 5" > a.txt
[root@xuegod63 ~]# awk '{print $1+10}'  a.txt 

13
例2：

[root@xuegod63 ~]# echo "one two three four" | awk '{print $4}'
four
[root@xuegod63 ~]# echo "one two three four" | awk '{print $NF}'
four
[root@xuegod63 ~]# echo "one two three four" | awk '{print $(NF-2)}'  #打印倒數第3列
two
[root@xuegod63 ~]# echo "one two three four" | awk '{print $(NF/2-1)}'
one

例2：打印出passwd文件中用戶UID小於10的用戶名和它登錄使用的shell
參數： $NF 最後一列

[root@xuegod63 ~]# awk -F: '$3<10{print $1 $NF}' /etc/passwd  #直接輸出格式太亂
root/bin/bash
bin/sbin/nologin
daemon/sbin/nologin
adm/sbin/nologin
lp/sbin/nologin
sync/bin/sync
shutdown/sbin/shutdown
halt/sbin/halt
mail/sbin/nologin
[root@xuegod63 ~]# awk -F: '$3<10{print $1 "<======>" $NF}' /etc/passwd #awk格式化輸出
root<======>/bin/bash
bin<======>/sbin/nologin
daemon<======>/sbin/nologin
在$1和$NF之間加一下\t tab
[root@xuegod63 ~]# awk -F: '$3<10{print $1"\t"$NF}' /etc/passwd  

注：awk 最外面使用了單引號’’ ,裏面都使用雙引號“”
.輸出多個列時，可以加，分隔一下.

[root@xuegod63 ~]# awk -F: '$3<10{print $1,$NF}' /etc/passwd

例2：打印出系統中UID大於1000且登錄shell是/bin/bash的用戶

[root@xuegod63 ~]#  awk -F: '$3>=1000 && $NF=="/bin/bash"{print $1"\t"$NF}' /etc/passwd
mk	/bin/bash

（3）在腳本中的一些應用
例：統計當前內存的使用率

[root@xuegod63 ~]# 
[root@xuegod63 ~]# cat user_cache.sh 
#!/bin/bash
echo "當前系統內存使用百分比爲："
USEFREE=`free -m | grep -i mem | awk '{print $3/$2*100"%"}'`
echo -e "內存使用百分比： \e[31m${USEFREE}\e[0m"

[root@xuegod63 ~]# bash user_cache.sh 

Linux架構師高薪入口：
1.學神IT教育官方網站： http://xuegod.ke.qq.com
2.10年行業資深老鳥MK：QQ2659153446
3.加入Linux技術交流QQ羣：722287089，即可獲得以下福利：
①定期分享免費學習資料與視頻（工具+筆記+拓展實戰）
②10年行業資深老鳥在線答疑：技能+實戰+項目分享+高薪就業
③有機會免費領取Linux雲計算集羣架構師4冊書籍

24.3 awk高級應用

命令格式：

awk  [-F | -f | -v ] ‘BEGIN {} / / {command1;command2} END {}’file
	-F		指定分隔符
	-f		調用腳本
	-v		定義變量
	‘{}’	引用代碼塊
     {…}		命令代碼塊，包含一條或多條命令
	BEGIN	初始化代碼塊
	/ str /		匹配代碼塊，可以是字符串或正則表達式
	{print A；print B}		多條命令使用分號分隔
	END		結尾代碼塊

在awk中，pattern有以下幾種：

• 1） empty空模式，這個也是我們常用的
• 2） /regular expression/ 僅處理能夠被這個模式匹配到的行

例:打印以root開頭的行

[root@xuegod63 ~]# awk -F: '/^root/{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash

3) 行範圍匹配 startline,endline
例1：輸出行號大於等於3且行號小於等於6的行

[root@xuegod63 ~]# awk -F: '(NR>=3&&NR<=6){print NR,$0}' /etc/passwd
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6 sync:x:5:0:sync:/sbin:/bin/sync
內置變量的特殊用法：
	$0       表示整個當前行
	NF     字段數量    NF(Number 數量 ;  field 字段)
	NR      每行的記錄號，多文件記錄遞增   Record [ˈrekɔ:d]
	\t        製表符
	\n      換行符
	~        匹配
	!~      不匹配
	-F'[:#/]+'  定義三個分隔符

例1：使用NR行號來定位，然後提取IP地址
注：這個思路很好，之前都是通過 過濾關鍵字來定位，這次是通過行號，多了一種思路

[root@xuegod63 ~]# ifconfig ens33 | awk -F " " 'NR==2{print $2} '
192.168.1.63

注：NR==2表示行號
例2：NR與FNR的區別

[root@xuegod63 ~]# awk '{print NR"\t" $0}' /etc/hosts /etc/hostname 
1	127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
2	::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
3	192.168.1.63   xuegod63.cn
4	192.168.1.64   xuegod64.cn
5	192.168.1.64   xuegod62.cn
6	
7	xuegod63.cn
[root@xuegod63 ~]# awk '{print FNR"\t" $0}' /etc/hosts /etc/hostname 
1	127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
2	::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
3	192.168.1.63   xuegod63.cn
4	192.168.1.64   xuegod64.cn
5	192.168.1.64   xuegod62.cn
6	
1	xuegod63.cn

注：對於NR來說，在讀取不同的文件時，NR是一直加的 ；
對於FNR來說，在讀取不同的文件時，它讀取下一個文件時，FNR會從1開始重新計算的

例3：使用3種方法去除首行
方法1：[root@xuegod63 ~]# route -n | grep -v ^Kernel

Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.1.1     0.0.0.0         UG    100    0        0 ens33
192.168.1.0     0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.122.0   0.0.0.0         255.255.255.0   U     0      0        0 virbr0

方法2：sed 1d #刪除第1行的內容

[root@xuegod63 ~]# route -n | sed 1d

方法3： awk

[root@xuegod63 ~]# route -n | awk 'NR!=1 {print $0}'

例4：匹配，使用awk查出以包括root字符的行 ， 有以下3種方法

[root@xuegod63 ~]# awk -F: "/root/{print}" /etc/passwd
[root@xuegod63 ~]# awk -F: "/root/" /etc/passwd
[root@xuegod63 ~]# awk -F: '/root/{print $0}' /etc/passwd
做一個不匹配root行：
[root@xuegod63 ~]# awk -F: '!/root/{print $0}' /etc/passwd
以root開頭的行：
[root@xuegod63 ~]# awk -F: '/^root/{print $0}' /etc/passwd
以bash結尾的行：
[root@xuegod63 ~]# awk -F: '/bash$/{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
mk:x:1000:1000:mk:/home/mk:/bin/bash

=以下知識，大家瞭解一下==
例5：條件表達式
表達式?if-true:if-false 問號前面是條件，如果條件爲真執行if-true,爲假執行if-false
例1：如果passwd中UID小於10，則給變量USER賦值成aaa，否則賦值成bbb

[root@xuegod63 ~]# awk -F: '{$3<10? USER="aaa":USER="bbb";print $1,USER}' /etc/passwd 
root aaa
bin aaa
daemon aaa
adm aaa
lp aaa
sync aaa
shutdown aaa
halt aaa
mail aaa
operator bbb
。。。

用if(條件){命令1；命令2}elif(條件){命令；}else{命令}中，在比較條件中用( )擴起來，在AWK中，如果條件爲1爲真，0爲假
例：如果UID大於10 ，則輸出user=>用戶名，否則輸出pass=>用戶名

[root@xuegod63 ~]# awk -F: '{if($3<10){print "user=>"$1}else{print "pass=>"$1}}' /etc/passwd
user=>root
user=>bin
user=>daemon
user=>adm
user=>lp
user=>sync
user=>shutdown
user=>halt
user=>mail
pass=>operator 

~        匹配 
!~      不匹配

例：查出行號小於等於5且包括bin/bash的行

[root@xuegod63 ~]#  awk -F: '{if($3<=5 && $NF ~ "bin/bash"){print $1,$NF}}' /etc/passwd
root /bin/bash

例6：變量

1）	用-v指定  var=value 變量名區分大小寫的
2）	在程序中直接定義
3）	在awk裏，使用變量不用加$符號。
[root@xuegod63 ~]# var="test" 
[root@xuegod63 ~]# awk 'BEGIN{print "'$var'"}'  #引用變量時，使用單引號+雙引號括起來
test

例7：格式化輸出

printf命令：格式化輸出  printf “FORMAT”,item1,item2.......
format使用注意事項：
1、其與print命令的最大不同是，printf需要指定format樣式
2、format用於指定後面的每個item的輸出格式
3、printf語句不會自動打印換行符；\n
4、format格式的指示符都以%開頭，後跟一個字符；如下：
%c: 顯示字符的ASCII碼
%d, %i：十進制整數
%e, %E：科學計數法顯示數值
%f: 顯示浮點數
%g, %G: 以科學計數法的格式或浮點數的格式顯示數值；
%s: 顯示字符串
%u: 無符號整數
%%: 顯示%自身

例1：輸入passwd文件中的第1列內容，輸出時不會換行

[root@xuegod63 ~]#  awk -F: '{printf "%s",$1}' /etc/passwd  ##不會自動換行
rootrootbindaemonadmlpsyncshutdownhaltmailoperatorgamesftpnobodysystemd-networkdbuspolkitdabrtlibstoragemgmtrpccolordsaslauthrtkitchronyqemutssusbmuxdgeocluerpcusernfsnobodyradvdsetroubleshootpulsegdmgnome-initial-setupsshdavahipostfixntptcpdumpmk[root@xuegod63 ~]#

例2：換行輸出

[root@xuegod63 ~]# awk -F: '{printf "%s\n",$1}' /etc/passwd 

例3：在輸出的字母前面添加自定義字符串USERNAME:

[root@xuegod63 ~]# awk -F: '{printf "USERNAME: %s\n",$1}' /etc/passwd  
USERNAME: root
USERNAME: bin
USERNAME: daemon
USERNAME: adm

例4：對$1和$NF都做格式化輸出

[root@xuegod63 ~]# awk -F: '{printf "USERNAME: %s %s\n",$1,$NF}' /etc/passwd 
USERNAME: root /bin/bash
USERNAME: bin /sbin/nologin
USERNAME: daemon /sbin/nologin

*例5：對$1和$NF都做格式化輸出，在$1和$NF兩者之間添加一串====字符進行輸入*

[root@xuegod63 ~]# awk -F: '{printf "USERNAME: %s=========%s\n",$1,$NF}' /etc/passwdUSERNAME: root=========/bin/bash
USERNAME: bin=========/sbin/nologin

awk修飾符：
N: 顯示寬度；
-: 左對齊；
一個字母佔一個寬度。默認是右對齊

例1：顯示時用10個字符串右對齊顯示。如果要顯示的字符串不夠10個寬度，以字符串的左邊自動添加。一個字母佔一個寬度。默認是右對齊

[root@xuegod63 ~]# awk -F":" '{printf "%10s\n",$1}'  /etc/passwd

例2：使用10個寬度，左對齊顯示

[root@xuegod63 ~]# awk -F":" '{printf "%-10s\n",$1}'  /etc/passwd
root      
bin       
daemon    
adm       
lp   

例3：第1列使用15個字符寬度左對齊輸出，最後一列使用15個字符寬度右對齊輸出

[root@xuegod63 ~]# awk -F: '{printf "USERNAME: %-15s %15s\n",$1,$NF}' /etc/passwd
USERNAME: root                  /bin/bash
USERNAME: bin               /sbin/nologin

例4：使用開始和結束模塊來格式化輸出

[root@xuegod63 ~]# cat test.awk 
BEGIN{
	print "UserId\t\t\tShell"
	print "-------------------------------"
	FS=":"
	}
$3>=500 && $NF=="/sbin/nologin"{
	printf "%-20s %-20s\n", $1,$NF	
	}
END{
	print "--------------------------------"
	}
[root@xuegod63 ~]# awk -f test.awk /etc/passwd
UserId			Shell
-------------------------------
polkitd              /sbin/nologin       
libstoragemgmt       /sbin/nologin       
colord               /sbin/nologin       
saslauth             /sbin/nologin       
chrony               /sbin/nologin       
geoclue              /sbin/nologin       
nfsnobody            /sbin/nologin       
setroubleshoot       /sbin/nologin       
gnome-initial-setup  /sbin/nologin       
--------------------------------

Linux架構師高薪入口：
1.學神IT教育官方網站： http://xuegod.ke.qq.com
2.10年行業資深老鳥MK：QQ2659153446
3.加入Linux技術交流QQ羣：722287089，即可獲得以下福利：
①定期分享免費學習資料與視頻（工具+筆記+拓展實戰）
②10年行業資深老鳥在線答疑：技能+實戰+項目分享+高薪就業
③有機會免費領取Linux雲計算集羣架構師4冊書籍

24.4 實戰-shell腳本實戰
24.4.1 檢查服務器是否受到DDOS攻擊腳本

思路：通過：netstat 查看網絡連接數。如果一個IP地址對服務器建立很多連接數（比如一分鐘產生了100個連接），就認爲發生了DDOS
搭建環境：

[root@xuegod63 ~]# yum install httpd -y  #安裝apache
[root@xuegod63 ~]# systemctl start httpd  #啓動服務
[root@xuegod63 ~]# echo "xuegod" > /var/www/html/index.html  #創建apache默認網站首頁

[root@xuegod63 ~]# vim  ddos-test.sh   #寫入以下內容
#!/bin/bash
netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n

註釋：

netstat -ntu | awk '{print $5}' | cut -d: -f1    | sort | uniq -c | sort -n
            
              截取外網IP和端口     截取外網的IP以：爲分隔符  ｜排序 ｜ 排除相同的記錄  ｜ 排序並統計

測試，模擬DDOS
ab命令：做壓力測試的工具和性能的監控工具
語法： ab  -n 要產生的鏈接數總和   -c 同時打開的客戶端數量  http：//鏈接

安裝ab命令：

[root@xuegod63 ~]# rpm -qf `which  ab `  #這個安裝apache時，會自動安裝上
httpd-tools-2.2.15-15.el6.x86_64
模擬DDOS： 啓動10個客戶端對網站首頁發起1000次訪問
[root@xuegod64 ~]# ab -n 1000 -c 10 http://192.168.1.63/index.html  

互動： 如果你要對方發生DDOS攻擊，你會攻擊什麼樣的頁面？

#訪問一個頁面比較大，頁面越大，消耗服務器帶寬就越大，攻擊效果越明顯
[root@xuegod63 ~]# ./ddos-test.sh    #檢查DDOS
      1 Address
      1 servers)
      2 192.168.1.6
   1003 192.168.1.63

Linux架構師高薪入口：
1.學神IT教育官方網站： http://xuegod.ke.qq.com
2.10年行業資深老鳥MK：QQ2659153446
3.加入Linux技術交流QQ羣：722287089，即可獲得以下福利：
①定期分享免費學習資料與視頻（工具+筆記+拓展實戰）
②10年行業資深老鳥在線答疑：技能+實戰+項目分享+高薪就業
③有機會免費領取Linux雲計算集羣架構師4冊書籍

微信公衆號：

MK老師微信號：

總結：

• 24.1 shell中的色彩處理
• 24.2 awk基本應用
• 24.3 awk高級應用
• 24.4 實戰-shell腳本實戰