正則表達式(Regular Expression)是一種字符串處理的標準,對於系統管理員來說,正則是一門必修技。例如:系統產生數據量太大,身爲系統管理員每天去看這麼多的信息數據, 從千百行的數據裏面找出一行有問題的信息,怎麼辦? 這個時候,我們就可以透過正則表達式的功能,將這些登錄的資訊進行處理, 僅取出有問題的資訊來進行分析,如此一來,你的系統管理工作將會更加直觀,簡便!
正則表達式中我們常使用的命令,三劍客:grep、sed、awk。通常使用三劍客結合正則的特殊字符,來完成我們需要的操作。
grep命令:
選項與參數: -A :後面可加數字,爲 after 的意思,除了列出該行外,後續的 n 行也列出來; -B :後面可加數字,爲 befer 的意思,除了列出該行外,前面的 n 行也列出來; -C :類似-A -B ,接數字,前後的n行打印; --color=auto 可將正確的那個擷取數據列出顏色;(使用alias grep='grep --color=auto' ,添加到~/.bashrc永久生效) -i :忽略匹配字符的大小寫; -v :將未被匹配的行打印; -n :輸出行號; -o :僅打印匹配的字段而不是行,用來統計匹配到多少次 -E :此時相當於egrep,使用擴展的正則表達式
介紹玩grep常用選項後,結合grep來看看基礎正則常用的特殊字符。
正則表達式特殊字符歸納
^word 意義:待搜尋的字串(word)在行首!
範例:搜尋行首爲 # 開始的那一行,並列出行號
grep -n '^#' filename
word$ 意義:待搜尋的字串(word)在行尾!
範例:將行尾爲 ! 的那一行列印出來,並列出行號
grep -n '!$' filename
^$ 意義:空白行,開頭之後就是結尾當然是空行了!
. 意義:代表『一定有一個任意字節』的字符!
範例:搜尋的字串可以是 (eve) (eae) (eee) (e e), 但不能僅有 (ee) !亦即 e 與 e 中間『一定』僅有一個字節,而空白字節也是字節!
grep -n 'e.e' filename
\ 意義:跳脫字符,將特殊符號的特殊意義去除!
範例:搜尋含有單引號 ' 的那一行!
grep -n \' filename
* 意義:重複零個到無窮多個的前一個 RE 字符
範例:找出含有 (es) (ess) (esss) 等等的字串,注意,因爲 * 可以是 0 個,所以 es 也是符合帶搜尋字串。另外,因爲 * 爲重複『前一個 RE 字符』的符號, 因此,在 * 之前必須要緊接著一個 RE 字符喔!例如任意字節則爲 『.*』 !
grep -n 'ess*' filename
[list] 意義:字節集合的 RE 字符,裏面列出想要擷取的字節!
範例:搜尋含有 (gl) 或 (gd) 的那一行,需要特別留意的是,在 [] 當中『謹代表一個待搜尋的字節』, 例如『 a[afl]y 』代表搜尋的字串可以是 aay, afy, aly 即 [afl] 代表 a 或 f 或 l 的意思!
grep -n 'g[ld]' filename
[n1-n2] 意義:字節集合的 RE 字符,裏面列出想要擷取的字節範圍!
範例:搜尋含有任意數字的那一行!需特別留意,在字節集合 [] 中的減號 - 是有特殊意義的,他代表兩個字節之間的所有連續字節!但這個連續與否與 ASCII 編碼有關,因此,你的編碼需要配置正確(在 bash 當中,需要確定 LANG 與 LANGUAGE 的變量是否正確!) 例如所有大寫字節則爲 [A-Z]
grep -n '[A-Z]' filename
[^list] 意義:字節集合的 RE 字符,裏面列出不要的字串或範圍!
範例:搜尋的字串可以是 (oog) (ood) 但不能是 (oot) ,那個 ^ 在 [] 內時,代表的意義是『反向選擇』的意思。 例如,我不要大寫字節,則爲 [^A-Z]。但是,需要特別注意的是,如果以 grep -n [^A-Z] regular_express.txt 來搜尋,卻發現該文件內的所有行都被列出,爲什麼?因爲這個 [^A-Z] 是『非大寫字節』的意思, 因爲每一行均有非大寫字節,例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小寫字
grep -n 'oo[^t]' filename
\{n,m\} 意義:連續 n 到 m 個的『前一個 RE 字符』
意義:若爲 \{n\} 則是連續 n 個的前一個 RE 字符,
意義:若是 \{n,\} 則是連續 n 個以上的前一個 RE 字符! 範例:在 g 與 g 之間有 2 個到 3 個的 o 存在的字串,亦即 (goog)(gooog)
grep -n 'go\{2,3\}g' filename
\<和\> 意義:
\<後面接的字符必須是一個單詞最前部分;
\>前面接的字符必須是一個單詞的最後部分;
注意:一個單詞定義的是:字母、數字、下劃線的組合
所以\<word\>必須是單獨的word單詞纔會匹配,其他符號如: ()/等都會視爲單詞分割號
分組\( \) 意義:
小括號的內容作爲整體,如\(ab\)* 匹配0個到無窮個ab
範例:test文件內容如下:
love:lover
love:liker
like:lover
like:liker
如何取出1和4行?
第1,4行,特點前後文有一致的字符串,可以使用引用上文的功能
在使用分組功能時,我們可以通過\1 \2 \3 ...來引用,所以:
grep '\(.*\):\1r' test