grep與正則表達式

grep與正則表達式

首先要記住的是: 正則表達式與通配符不一樣,它們表示的含義並不相同!

正則表達式只是一種表示法,只要工具支持這種表示法, 那麼該工具就可以處理正則表達式的字符串。vim、grep、awk 、sed 都支持正則表達式,也正是因爲由於它們支持正則,才顯得它們強大;


1基礎正則表達式

grep -[acinv]   '搜索內容串'   filename

-a 以文本文件方式搜索

-c 計算找到的符合行的次數

-i 忽略大小寫

-n 順便輸出行號

-v 反向選擇,即顯示不包含匹配文本的所有行

-h 查詢多文件時不顯示文件名。

-l 查詢多文件時只輸出包含匹配字符的文件名。

-s 不顯示不存在或無匹配文本的錯誤信息。

grep命令加- E參數,這一擴展允許使用擴展模式匹配。

其中搜索串可以是正則表達式!


2.先用例子說明問題:

以下爲整理的grep 正則表達式的大部分功能,詳細參見man

grep: 要用好grep這個工具,其實就是要寫好正則表達式,所以這裏不對grep的所有功能進行實例講解,只列幾個例子,講解一個正則表達式的寫法。

$ ls -l | grep '^a' 通過管道過濾ls -l輸出的內容,只顯示以a開頭的行。

$ grep 'test' d* 顯示所有以d開頭的文件中包含test的行。

$ grep 'test' aa bb cc 顯示在aa,bb,cc文件中匹配test的行。

$ grep '[a-z]/{5/}' aa 顯示所有包含每個字符串至少有5個連續小寫字符的字符串的行。

$ grep 'w/(es/)t.*/1' aa 如果west被匹配,則es就被存儲到內存中,並標記爲1,然後搜索任意個字符(.*),這些字符後面緊跟着另外一個es(/1),找到就顯示該行。如果用egrep或grep -E,就不用"/"號進行轉義,直接寫成'w(es)t.*/1'就可以了。


3.grep正則表達式元字符集(基本集)

^ 錨定行的開始 如:'^grep'匹配所有以grep開頭的行。

$ 錨定行的結束 如:'grep$'匹配所有以grep結尾的行。

. 匹配一個非換行符的字符 如:'gr.p'匹配gr後接一個任意字符,然後是p。

* 匹配零個或多個先前字符 如:'*grep'匹配所有一個或多個空格後緊跟grep的行。

.*一起用代表任意字符。

[] 匹配一個指定範圍內的字符,如'[Gg]rep'匹配Grep和grep。

[^] 匹配一個不在指定範圍內的字符,如:'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一個字母開頭,緊跟rep的行。

/(../) 標記匹配字符,如'/(love/)',love被標記爲1。

/< 錨定單詞的開始,

/> 錨定單詞的結束,如'grep/>'匹配包含以grep結尾的單詞的行。

x/{m/} 重複字符x,m次,如:'o/{5/}'匹配包含5個o的行。 x/{m,/} 重複字符x,至少m次,如:'o/{5,/}'匹配至少有5個o的行。

x/{m,n/} 重複字符x,至少m次,不多於n次,如:'o/{5,10/}'匹配5--10個o的行。

/w 匹配文字和數字字符,也就是[A-Za-z0-9_],如:'G/w*p'匹配以G後跟零個或多個文字或數字字符,然後是p。

/W /w的反置形式,匹配一個或多個非單詞字符,如點號句號等。

/b 單詞鎖定符,如: '/bgrep/b'只匹配grep。


4.關於匹配的實例:

grep -c "48" test.txt 統計所有以“48”字符開頭的行有多少

grep -i "May" test.txt 不區分大小寫查找“May”所有的行)

grep -n "48" test.txt 顯示行號;顯示匹配字符“48”的行及行號,相同於 nl test.txt |grep 48)

grep -v "48" test.txt 顯示輸出沒有字符“48”所有的行)

grep "471" test.txt 顯示輸出字符“471”所在的行)

grep "48;" test.txt 顯示輸出以字符“48”開頭,並在字符“48”後是一個tab鍵所在的行

grep "48[34]" test.txt 顯示輸出以字符“48”開頭,第三個字符是“3”或是“4”的所有的行)

grep "^[^48]" test.txt 顯示輸出行首不是字符“48”的行)

grep "[Mm]ay" test.txt 設置大小寫查找:顯示輸出第一個字符以“M”或“m”開頭,以字符“ay”結束的行)

grep "K…D" test.txt 顯示輸出第一個字符是“K”,第二、三、四是任意字符,第五個字符是“D”所在的行)

grep "[A-Z][9]D" test.txt 顯示輸出第一個字符的範圍是“A-D”,第二個字符是“9”,第三個字符的是“D”的所有的行

grep "[35]..1998" test.txt 顯示第一個字符是3或5,第二三個字符是任意,以1998結尾的所有行

grep "4/{2,/}" test.txt 模式出現機率查找:顯示輸出字符“4”至少重複出現兩次的所有行

grep "9/{3,/}" test.txt 模式出現機率查找:顯示輸出字符“9”至少重複出現三次的所有行

grep "9/{2,3/}" test.txt 模式出現機率查找:顯示輸出字符“9”重複出現的次數在一定範圍內,重複出現2次或3次所有行

grep -n "^$" test.txt 顯示輸出空行的行號

ls -l |grep "^d" 如果要查詢目錄列表中的目錄 同:ls -d *

ls -l |grep "^d[d]" 在一個目錄中查詢不包含目錄的所有文件

ls -l |grpe "^d…..x..x" 查詢其他用戶和用戶組成員有可執行權限的目錄集合


更多的例子:

1搜索有the的行,並輸出行號

$grep -n 'the' regular_express.txt

搜 索沒有the的行,並輸出行號

$grep -nv 'the' regular_express.txt


2 利 用[]搜索集合字符

[] 表示其中的某一個字符 ,例如[ade] 表示a或d或e

woody@xiaoc:~/tmp$ grep -n 't[ae]st' regular_express.txt

8:I can't finish the test.

9:Oh! the soup taste good!


可以用^符號做[]內的前綴,表示除[]內的字符之外的字 符。

比如搜索oo前沒有g的字符串所在的行. 使用 '[^g]oo' 作搜索字符串

woody@xiaoc:~/tmp$ grep -n '[^g]oo' regular_express.txt

2:apple is my favorite food.

3:Football game is not use feet only.

18:google is the best tools for search keyword.

19:goooooogle yes!


[] 內可以用範圍表示,比如[a-z] 表示小寫字母,[0-9] 表示0~9的數字, [A-Z] 則是大寫字母們。[a-zA-Z0-9]表示所有數字與英文字符。 當然也可以配合^來排除字符。

搜索包含數字的行

woody@xiaoc:~/tmp$ grep -n '[0-9]' regular_express.txt

5:However ,this dress is about $ 3183 dollars.

15:You are the best is menu you are the no.1.


行首與行尾字符 ^ $. ^ 表示行的開頭,$表示行的結尾( 不是字符,是位置)那麼‘^$’ 就表示空行,因爲只有

行首和行尾。

這裏^與[]裏面使用的^意義不同。它表示^後面的串是在行的開頭。

比如搜索the在開頭的行

woody@xiaoc:~/tmp$ grep -n '^the' regular_express.txt

12:the symbol '*' is represented as star.


搜索以小寫字母開頭的行

woody@xiaoc:~/tmp$ grep -n '^[a-z]' regular_express.txt

2:apple is my favorite food.

4:this dress doesn't fit me.

10:motorcycle is cheap than car.

12:the symbol '*' is represented as star.

18:google is the best tools for search keyword.

19:goooooogle yes!

20:go! go! Let's go.

woody@xiaoc:~/tmp$


搜索開頭不是英文字母的行

woody@xiaoc:~/tmp$ grep -n '^[^a-zA-Z]' regular_express.txt

1:"Open Source" is a good mechanism to develop programs.

21:#I am VBird

woody@xiaoc:~/tmp$


$表示它前面的串是在行的結尾,比如 '/.' 表示 . 在一行的結尾

搜索末尾是.的行

woody@xiaoc:~/tmp$ grep -n '/.$' regular_express.txt //. 是正則表達式的特殊符號,所以要用/轉義

1:"Open Source" is a good mechanism to develop programs.

2:apple is my favorite food.

3:Football game is not use feet only.

4:this dress doesn't fit me.

5:However ,this dress is about $ 3183 dollars.

6:GNU is free air not free beer.

.....


注意在MS的系統下生成的文本文件,換行會加上一個 ^M 字符。所以最後的字符會是隱藏的^M ,在處理Windows

下面的文本時要特別注意!

可以用cat dos_file | tr -d '/r' > unix_file 來刪除^M符號。 ^M==/r


那麼'^$' 就表示只有行首行尾的空行拉!

搜索空行

woody@xiaoc:~/tmp$ grep -n '^$' regular_express.txt

22:

23:

woody@xiaoc:~/tmp$


搜索非空行

woody@xiaoc:~/tmp$ grep -vn '^$' regular_express.txt

1:"Open Source" is a good mechanism to develop programs.

2:apple is my favorite food.

3:Football game is not use feet only.

4:this dress doesn't fit me.


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章