視頻地址：https://www.bilibili.com/video/av33607474?from=search&seid=5154656399870843571
目錄
筆記摘要：
grep、sed、awk介紹；正則表達式的字符、次數、錨定 、分組的用法及實例；拓展正則表達式。
正則表達式匹配圖詳見 https://blog.csdn.net/qq_40993864/article/details/104486953
1 gerp
1.1語法
grep [-abcEFGhHilLnqrsvVwxy][-A<顯示列數>][-B<顯示列數>][-C<顯示列數>][-d<進行動作>][-e<範本樣式>][-f<範本文件>][--help][範本樣式][文件或目錄...]
1.2參數：
常用：
完整：
-a 或 --text : 不要忽略二進制的數據。
-A<顯示行數> 或 --after-context=<顯示行數> : 除了顯示符合範本樣式的那一列之外，並顯示該行之後的內容。
-b 或 --byte-offset : 在顯示符合樣式的那一行之前，標示出該行第一個字符的編號。
-B<顯示行數> 或 --before-context=<顯示行數> : 除了顯示符合樣式的那一行之外，並顯示該行之前的內容。
-c 或 --count : 計算符合樣式的列數。
-C<顯示行數> 或 --context=<顯示行數>或-<顯示行數> : 除了顯示符合樣式的那一行之外，並顯示該行之前後的內容。
-d <動作> 或 --directories=<動作> : 當指定要查找的是目錄而非文件時，必須使用這項參數，否則grep指令將回報信息並停止動作。
-e<範本樣式> 或 --regexp=<範本樣式> : 指定字符串做爲查找文件內容的樣式。
-E 或 --extended-regexp : 將樣式爲延伸的正則表達式來使用。
-f<規則文件> 或 --file=<規則文件> : 指定規則文件，其內容含有一個或多個規則樣式，讓grep查找符合規則條件的文件內容，格式爲每行一個規則樣式。
-F 或 --fixed-regexp : 將樣式視爲固定字符串的列表。
-G 或 --basic-regexp : 將樣式視爲普通的表示法來使用。
-h 或 --no-filename : 在顯示符合樣式的那一行之前，不標示該行所屬的文件名稱。
-H 或 --with-filename : 在顯示符合樣式的那一行之前，表示該行所屬的文件名稱。
-i 或 --ignore-case : 忽略字符大小寫的差別。
-l 或 --file-with-matches : 列出文件內容符合指定的樣式的文件名稱。
-L 或 --files-without-match : 列出文件內容不符合指定的樣式的文件名稱。
-n 或 --line-number : 在顯示符合樣式的那一行之前，標示出該行的列數編號。
-o 或 --only-matching : 只顯示匹配PATTERN 部分。
-q 或 --quiet或--silent : 不顯示任何信息。
-r 或 --recursive : 此參數的效果和指定"-d recurse"參數相同。
-s 或 --no-messages : 不顯示錯誤信息。
-v 或 --revert-match : 顯示不包含匹配文本的所有行。
-V 或 --version : 顯示版本信息。
-w 或 --word-regexp : 只顯示全字符合的列。
-x --line-regexp : 只顯示全列符合的列。
-y : 此參數的效果和指定"-i"參數相同。
1.3實例
理論：
| 用途 | 指令 |
|---|---|
| 從文件內容查找匹配指定字符串的行 | $ grep “被查找的字符串” 文件名 |
| 從文件內容查找與正則表達式匹配的行 | $ grep –e “正則表達式” 文件名 |
| 查找時不區分大小寫 | $ grep –i “被查找的字符串” 文件名 |
| 查找匹配的行數 | $ grep -c “被查找的字符串” 文件名 |
| 從文件內容查找不匹配指定字符串的行 | $ grep –v “被查找的字符串” 文件名 |
| 從根目錄開始查找所有擴展名爲 .log 的文本文件，並找出包含 “ERROR” 的行 | $ find / -type f -name “*.log” |
| 例子：從當前目錄開始查找所有擴展名爲 .in 的文本文件，並找出包含 “thermcontact” 的行 | find . -name “*.in” rgs 管道符grep “thermcontact” |
實例：
grep -q “root” /etc/passwd
echo $? #-q靜默無輸出，使用echo $?，爲0表示有輸出
#上述的代餐，常用來判斷命令執行成功與否：
grep -q "root" /etc/passwd &> /dev/null
nmap：網絡掃描工具
搜尋網段內存活的主機思路：
#1 nmap搜尋網段
nmap -V -sP ip網段
#2 過濾host is up 的上一行得到ip地址
nmap -V -sP ip網段 | grep -B1 "Host is up"
# 3 八過濾的結果寫在自定義文件裏，沒有這步也ok
nmap -V -sP ip網段 | grep -B1 "Host is up" > nmap.log
# 4 截取第五列
cat nmap.log | grep report | cut -d " " -f5
過濾：
#且：
grep root /etc/passwd | grep bash
#二者都支持的多個過濾 語法相同
# 或：
grep -e root -e bash -e shutdown /etc/passwd
# grep -f 相當於grep -e
比如 h.txt裏有 root bash 兩個關鍵字，執行
grep -f h.txt /etc/passwd
效果就是過濾出/etc/passwd裏有root或bash的字段
2 sed
語法
sed [-hnV][-e<script>][-f<script文件>][文本文件]
參數說明：
-e<script>或--expression=<script> 以選項中指定的script來處理輸入的文本文件。
-f<script文件>或--file=<script文件> 以選項中指定的script文件來處理輸入的文本文件。
-h或--help 顯示幫助。
-n或--quiet或--silent 僅顯示script處理後的結果。
-V或--version 顯示版本信息。
動作說明：
a ：新增， a 的後面可以接字串，而這些字串會在新的一行出現(目前的下一行)～
c ：取代， c 的後面可以接字串，這些字串可以取代 n1,n2 之間的行！
d ：刪除，因爲是刪除啊，所以 d 後面通常不接任何咚咚；
i ：插入， i 的後面可以接字串，而這些字串會在新的一行出現(目前的上一行)；
p ：打印，亦即將某個選擇的數據印出。通常 p 會與參數 sed -n 一起運行～
s ：取代，可以直接進行取代的工作哩！通常這個 s 的動作可以搭配正規表示法！例如 1,20s/old/new/g 就是啦！
詳情:https://blog.csdn.net/qq_40993864/article/details/104661496
3 awk
語法
awk [選項參數] 'script' var=value file(s)
或
awk [選項參數] -f scriptfile var=value file(s)
選項參數說明：
-F fs or --field-separator fs
指定輸入文件折分隔符，fs是一個字符串或者是一個正則表達式，如-F:。
-v var=value or --asign var=value
賦值一個用戶定義變量。
-f scripfile or --file scriptfile
從腳本文件中讀取awk命令。
-mf nnn and -mr nnn
對nnn值設置內在限制，-mf選項限制分配給nnn的最大塊數目；-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能，在標準awk中不適用。
-W compact or --compat, -W traditional or --traditional
在兼容模式下運行awk。所以gawk的行爲和標準的awk完全一樣，所有的awk擴展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright
打印簡短的版權信息。
-W help or --help, -W usage or --usage
打印全部awk選項和每個選項的簡短說明。
-W lint or --lint
打印不能向傳統unix平臺移植的結構的警告。
-W lint-old or --lint-old
打印關於不能向傳統unix平臺移植的結構的警告。
-W posix
打開兼容模式。但有以下限制，不識別：/x、函數關鍵字、func、換碼序列以及當fs是一個空格時，將新行作爲一個域分隔符；操作符**和**=不能代替^和^=；fflush無效。
-W re-interval or --re-inerval
允許間隔正則表達式的使用，參考(grep中的Posix字符類)，如括號表達式[[:alpha:]]。
-W source program-text or --source program-text
使用program-text作爲源代碼，可與-f命令混用。
-W version or --version
打印bug報告信息的版本。
詳情: https://www.runoob.com/linux/linux-comm-awk.html
4 正則表達式
4.1定義及名詞解釋
4.2字符匹配
# 過濾三個字符的文件 .表示任意一個字符
ls | grep -w "..."
# 過濾三個字符的文件，整行只有三個字符
# 過濾三個字符的文件,中間是. 要用轉義字符\
ls | grep -w ".\.."
4.3 次數匹配
# 匹配a開頭 c結尾 中間爲a-z的任意字符
grep "a[a-z]c"
# 儘可能多的匹配
grep "a[a-z]*c"
#一旦匹配則不繼續，只出現一次，非貪婪模式或懶惰模式
grep "a[a-z]\?c"
# 過濾ip地址
grep "[0-9.]\{7,\}"
grep "[0-9.]\{7,\}" | head -n1
grep -o "[[:digit]]\{1,3\}[.] 再重複三次"
#進階寫法 （考慮合法地址）
grep "inet [0-9.]\+"
grep "inet [0-9.]\+" | cut -d" " -f2 #只截取ip地址
# 過濾分區利用率
df | grep "/dev/sd" |grep -o "[0-9]\{1,3\}%"
df | grep "/dev/sd" |grep -o "[0-9]\{1,3\}%"|grep -o "[0-9]\+" #只要數字
df | grep "/dev/sd" |grep -o "[0-9]\{1,3\}%"|grep -o "[0-9]\+"| sort -nr | head -n1 #數字排序後截取第一個
4.4 位置錨定
#行首
grep "^root" /etc/passwd #root開頭的行
grep -v "^root" /etc/passwd #非root開頭的行
grep -v "^root" /etc/passwd |grep -v "^$" #非root開頭的行且開頭不爲空 $表空行
#行尾
grep "^bash" /etc/passwd #bash結尾的行
#空行
grep -v "^[[:space:]]*$" #過濾空格或tab鍵開頭的行
#單詞
grep -w "\<root" #過濾root爲詞首的字符
grep -w "root\>" #過濾root爲詞尾的字符
grep -w "\<root\>" #過濾root這整個單詞
4.5 分組
#字符捆綁整體處理
grep "\(root\)\{3\}" #過濾出現了3次的root
grep "\(hhh\)\{3\}.*\(zzz\)\+\1.*\2" #\1 和\2分別表示第一、第二個（），同理多個小括號按順序排序就可以 \1 \2 \3 \4 ......
#分組可嵌套
#後向引用：引用前面的分組括號中的模式所匹配的字符，而非模式本身
eg:
echo roothhrbbt | grep '\(r..t\).*\1'
#無輸出結果,因爲後向引用
echo roothhroot | grep '\(r..t\).*\1'
有輸出結果爲:roothhroot
#前後必須是相同的字符
grep "^\(.*\).*\1$" /etc/passwd
grep "^\(.*\):.*/\1$"/etc/passwd #:後開頭 和\後結尾的字符相同
針對類似於bash:x:506:508::home/bash:/bin/bash
grep "^a\|^b.*" #表a開頭後面不管或b開頭後面隨意,輸出的是a,bxxxxxxx
grep "^\(a\|b\).*" #輸出的是a或b開頭的行
grep "^[ab]"#輸出的是a或b開頭的行
5 擴展正則表達式
5.1egrep及擴展正則表達式
5.2擴展正則表達式次數匹配
5.3位置錨定
5.4 分組
6練習題(無答案)
#1
#2
#3
echo /etc/rc.d/init.d/functions |grep -Eo "[^/]*$"
echo /etc/rc.d/init.d/functions |grep -Eo "[^/]*/?$" #/?表/可有可無