linux命令之grep

相信g r e p是U N I X和L I N U X中使用最廣泛的命令之一。g r e p(全局正則表達式版本)允許對文本文件進行模式查找。如果找到匹配模式, g r e p打印包含模式的所有行。g r e p支持基本正則表達式,也支持其擴展集。g r e p有三種變形,即:
G r e p: 標準g r e p命令,本章大部分篇幅集中討論此格式。
E g r e p: 擴展g r e p,支持基本及擴展的正則表達式,但不支持/ q模式範圍的應用,與之相對應的一些更加規範的模式,這裏也不予討論。
F g r e p: 快速g r e p。允許查找字符串而不是一個模式。不要誤解單詞f a s t,實際上它與g r e p速度相當。

在本章中我們將討論:
•grep(參數)選項。
•匹配g r e p的一般模式。
•只匹配字母或數字,或兩者混用。
•匹配字符串範圍。

實際上應該只有一個g r e p命令,但不幸的是沒有一種簡單形式能夠統一處理g r e p的三種變形,將之合而爲一,並保持g r e p單模式處理時的速度。GNU grep雖然在融合三種變形上邁進了一大步,但仍不能區分元字符的基本集和擴展集。上一章只討論了基本的正則表達式,但在查看g r e p時也涉及到一些擴展模式的匹配操作。然而,首先還是先討論一下在g r e p和f g r e p及e g r e p中均可使用的g r e p模式吧。

開始討論之前,先生成一個文件,插入一段文本,並在每列後加入鍵,g r e p命令示例中絕大多數將以此爲例,其命名爲d a t a . . f。生成一個文件,但不知其含義,將是一件很枯燥的事。那麼先來看看d a t a . f的記錄結構。
第1列:城市位置編號。
第2列:月份。
第3列:存儲代碼及出庫年份。
第4列:產品代號。
第5列:產品統一標價。
第6列:標識號。
第7列:合格數量。

用命令來查看文件內容如下:
hhl:localhost ~/test/shell> more data.f
48 Dec 3BC1997 LPSX 68.00 LVX2A 138
483 Sept 5AP1996 USP 65.00 LVX2C 189
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
219 dec 2CC1999 CAD 23.00 PLV2C 68
484 nov 7PL1996 CAD 49.00 PLV2C 234
483 may 5PA1998 USP 37.00 KVM9D 644
216 sept 3ZL1998 USP 86.00 KVM9E 234

grep
g r e p一般格式爲:
grep [選項]基本正則表達式[文件]
這裏基本正則表達式可爲字符串。

雙引號引用
在g r e p命令中輸入字符串參數時,最好將其用雙引號括起來。例如:“m y s t r i n g”。這樣做有兩個原因,一是以防被誤解爲s h e l l命令,二是可以用來查找多個單詞組成的字符串,例如:“jet plane”,如果不用雙引號將其括起來,那麼單詞p l a n e將被誤認爲是一個文件,查詢結果將返回“文件不存在”的錯誤信息。
在調用變量時,也應該使用雙引號,諸如: g r e p“$ M Y VA R”文件名,如果不這樣,將沒有返回結果。
在調用模式匹配時,應使用單引號。

grep選項
常用的g r e p選項有:
-c 只輸出匹配行的計數。
-i 不區分大小寫(只適用於單字符)。
-h 查詢多文件時不顯示文件名。
-l 查詢多文件時只輸出包含匹配字符的文件名。
-n 顯示匹配行及行號。
-s 不顯示不存在或無匹配文本的錯誤信息。
-v 顯示不包含匹配文本的所有行。

查詢多個文件
如果要在當前目錄下所有. d o c文件中查找字符串“ s o r t”,方法如下:
$ grep “sort”*.doc
或在所有文件中查詢單詞“ sort it”
$ grep “sort it” *
現在講述在文本文件中g r e p選項的用法。

行匹配
$ grep -c “48″data.f
$ 4
g r e p返回數字4,意義是有4行包含字符串“4 8”。
現在顯示包含“4 8”字符串的4行文本:
hhl:localhost ~/test/shell> grep -c “48″ data.f
4
hhl:localhost ~/test/shell> grep “48″ data.f
48 Dec 3BC1997 LPSX 68.00 LVX2A 138
483 Sept 5AP1996 USP 65.00 LVX2C 189
484 nov 7PL1996 CAD 49.00 PLV2C 234
483 may 5PA1998 USP 37.00 KVM9D 644

行數
顯示滿足匹配模式的所有行行數:
行數在輸出第一列,後跟包含4 8的每一匹配行。
hhl:localhost ~/test/shell> grep -n “48″ data.f
1:48 Dec 3BC1997 LPSX 68.00 LVX2A 138
2:483 Sept 5AP1996 USP 65.00 LVX2C 189
5:484 nov 7PL1996 CAD 49.00 PLV2C 234
6:483 may 5PA1998 USP 37.00 KVM9D 644

顯示非匹配行
顯示所有不包含4 8的各行:
hhl:localhost ~/test/shell> grep -v “48″ data.f
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
219 dec 2CC1999 CAD 23.00 PLV2C 68
216 sept 3ZL1998 USP 86.00 KVM9E 234

精確匹配
可能大家已注意到,在上一例中,抽取字符串“ 4 8”,返回結果包含諸如4 8 4和4 8 3等包含“4 8”的其他字符串,實際上應精確抽取只包含4 8的各行。注意在每個匹配模式中抽取字符串後有一個鍵,所以應操作如下:
hhl:localhost ~/test/shell> grep “48″ data.f 經過驗證,該操作在RHEL5平臺的bash下不可用

使用g r e p抽取精確匹配的一種更有效方式是在抽取字符串後加/ >。假定現在精確抽取4 8,方法如下:
hhl:localhost ~/test/shell> grep “48/>” data.f
48 Dec 3BC1997 LPSX 68.00 LVX2A 138

大小寫敏感
缺省情況下, g r e p是大小寫敏感的,如要查詢大小寫不敏感字符串,必須使用- i開關。在d a t a . f文件中有月份字符S e p t,既有大寫也有小寫,要取得此字符串大小寫不敏感查詢,方法如下:
hhl:localhost ~/test/shell> grep -i “sept” data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
216 sept 3ZL1998 USP 86.00 KVM9E 234

grep和正則表達式
使用正則表達式使模式匹配加入一些規則,因此可以在抽取信息中加入更多選擇。使用正則表達式時最好用單引號括起來,這樣可以防止g r e p中使用的專有模式與一些s h e l l命令的特殊方式相混淆。
模式範圍
假定要抽取代碼爲4 8 4和4 8 3的城市位置,上一章中講到可以使用[ ]來指定字符串範圍,這裏用4 8開始,以3或4結尾,這樣抽出4 8 4或4 8 3。
代碼如下:
hhl:localhost ~/test/shell> grep ‘48[34]‘ data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
484 nov 7PL1996 CAD 49.00 PLV2C 234
483 may 5PA1998 USP 37.00 KVM9D 644

不匹配行首
如果要抽出記錄,使其行首不是4 8,可以在方括號中使用^記號,表明查詢在行首開始。
代碼如下:
hhl:localhost ~/test/shell> grep ‘^[^4]‘ data.f
219 dec 2CC1999 CAD 23.00 PLV2C 68
216 sept 3ZL1998 USP 86.00 KVM9E 234

設置大小寫
使用- i開關可以屏蔽月份S e p t的大小寫敏感,也可以用另一種方式。這裏使用[ ]模式抽取各行包含S e p t和s e p t的所有信息。
代碼如下:
hhl:localhost ~/test/shell> grep “[Ss]ept” data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
216 sept 3ZL1998 USP 86.00 KVM9E 234

如果要抽取包含S e p t的所有月份,不管其大小寫,並且此行包含字符串4 8 3,可以使用管道命令,即符號“|”左邊命令的輸出作爲“ |”右邊命令的輸入。
舉例如下:
hhl:localhost ~/test/shell> grep “[Ss]ept” data.f | grep 483
483 Sept 5AP1996 USP 65.00 LVX2C 189

不必將文件名放在第二個g r e p命令中,因爲其輸入信息來自於第一個g r e p命令的輸出。

匹配任意字符
如果抽取以K開頭,以D結尾的所有代碼,可使用下述方法,因爲已知代碼長度爲5個字符:
代碼如下:
hhl:localhost ~/test/shell> grep ‘K…D’ data.f
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
483 may 5PA1998 USP 37.00 KVM9D 644

將上述代碼做輕微改變,頭兩個是大寫字母,中間兩個任意,並以C結尾:
hhl:localhost ~/test/shell> grep ‘[A-Z][A-Z]..C’ data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
219 dec 2CC1999 CAD 23.00 PLV2C 68
484 nov 7PL1996 CAD 49.00 PLV2C 234

日期查詢
一個常用的查詢模式是日期查詢。先查詢所有以5開始以1 9 9 6或1 9 9 8結尾的所有記錄。使用模式5 . . 1 9 9 [ 6 , 8 ]。這意味着第一個字符爲5,後跟兩個點,接着是1 9 9,剩餘兩個數字是6或8。
代碼如下:
hhl:localhost ~/test/shell> grep ‘5..199[68]‘ data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
483 may 5PA1998 USP 37.00 KVM9D 644

查詢包含1 9 9 8的所有記錄的另外一種方法是使用表達式[ 0 - 9 ] / { 3 / } [ 8 ],含義是任意數字重複3次,後跟數字8,雖然這個方法不像上一個方法那麼精確,但也有一定作用。
代碼如下:
hhl:localhost ~/test/shell> grep ‘[0-9]/{3/}8′ data.f
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
483 may 5PA1998 USP 37.00 KVM9D 644
216 sept 3ZL1998 USP 86.00 KVM9E 234

範圍組合
必須學會使用[ ]抽取信息。假定要取得城市代碼,第一個字符爲任意字符,第二個字符在0到5之間,第三個字符在0到6之間,使用下列模式即可實現。
代碼如下:
hhl:localhost ~/test/shell> grep ‘.[0-5][0-6]‘ data.f
48 Dec 3BC1997 LPSX 68.00 LVX2A 138
483 Sept 5AP1996 USP 65.00 LVX2C 189
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
219 dec 2CC1999 CAD 23.00 PLV2C 68
484 nov 7PL1996 CAD 49.00 PLV2C 234
483 may 5PA1998 USP 37.00 KVM9D 644
216 sept 3ZL1998 USP 86.00 KVM9E 234

這裏返回很多信息,有想要的,也有不想要的。參照模式,返回結果是正確的,因此這裏還需要細化模式,可以以行首開始,使用^符號:
代碼如下:
hhl:localhost ~/test/shell> grep ‘^[0-9][0-5][0-6]‘ data.f
216 sept 3ZL1998 USP 86.00 KVM9E 234

這樣可以返回一個預期的正確結果。

模式出現機率
抽取包含數字4至少重複出現兩次的所有行,方法如下:
代碼如下:
hhl:localhost ~/test/shell> grep ‘4/{2,/}’ data.f
483 may 5PA1998 USP 37.00 KVM9D 644

上述語法指明數字4至少重複出現兩次。

同樣,抽取記錄使之包含數字9 9 9(三個9),方法如下:
代碼如下:
hhl:localhost ~/test/shell> grep ‘9/{3/}’ data.f
219 dec 2CC1999 CAD 23.00 PLV2C 68

如果要查詢重複出現次數一定的所有行,語法如下,數字9重複出現兩次:
grep ‘9/{2/}’ data.f

有時要查詢重複出現次數在一定範圍內,比如數字或字母重複出現2到6次,下例匹配數字8重複出現2到6次,並以3結尾:
grep ‘8/{2,6/}3′

使用grep匹配“與”或者“或”模式
g r e p命令加- E參數,這一擴展允許使用擴展模式匹配。例如,要抽取城市代碼爲2 1 9或2 1 6,方法如下:
代碼如下:
hhl:localhost ~/test/shell> grep -E “216|219″ data.f
219 dec 2CC1999 CAD 23.00 PLV2C 68
216 sept 3ZL1998 USP 86.00 KVM9E 234

空行
結合使用^和$可查詢空行。使用- n參數顯示實際行號:
hhl:localhost ~/test/shell> grep -n ‘^$’ data.f
8:

匹配特殊字符
查詢有特殊含義的字符,諸如$ . ‘ ” * [] ^ | / + ? ,必須在特定字符前加/。假設要查詢包含“.”的所有行,腳本如下:
grep ‘/.’ myfile
或者是一個雙引號:
grep ‘/”‘ myfile
以同樣的方式,如要查詢文件名c o n f t r o l l . c o n f(這是一個配置文件),腳本如下:
grep ‘conftroll/.conf’ myfile

查詢格式化文件名
使用正則表達式可匹配任意文件名。系統中對文本文件有其標準的命名格式。一般最多六個小寫字符,後跟句點,接着是兩個大寫字符。例如,要在一個包含各類文件名的文件
f i l e n a m e . d e p o s i t中定位這類文件名,方法如下:
grep ‘[a-z]/{1,6/}/.[A-Z]/{1,2/}’ filename.deposit

查詢IP地址
查詢D N S服務是日常工作之一,這意味着要維護覆蓋不同網絡的大量I P地址。有時地址I P會超過2 0 0 0個。如果要查看n n n . n n n網絡地址,但是卻忘了第二部分中的其餘部分,只知有兩個句點,例如n n n . n n . .。要抽取其中所有nnn.nnn IP地址,使用[ 0 - 9 ] / { 3 / } / . [ 0 - 0 / { 3 / } /。含義是任意數字出現3次,後跟句點,接着是任意數字出現3次,後跟句點。
代碼如下:
grep '[0-9]/{3/}/.[0-9]/{3/}/.’ ipfile

類名
g r e p允許使用國際字符模式匹配或匹配模式的類名形式。
表8-1 類名及其等價的正則表達式
++++++++++++++++++++++++++++++++++++++++++++++
類 等價的正則表達式類
[ [ : u p p e r : ] ] [ A - Z ]
[ [ : a l n u m : ] ] [ 0 - 9 a - zA-Z]
[ [ : l o w e r : ] ] [ a - z ]
[ [ : s p a c e : ] ] 空格或t a b鍵
[ [ : d i g i t : ] ] [ 0 - 9 ]
[ [ : a l p h a : ] ] [ a - z A - Z ]
++++++++++++++++++++++++++++++++++++++++++++++

現舉例說明其使用方式。要抽取產品代碼,該代碼以5開頭,後跟至少兩個大寫字母。使用的腳本如下:
hhl:localhost ~/test/shell> grep ‘5[[:upper:]][[:upper:]]’ data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
483 may 5PA1998 USP 37.00 KVM9D 644

如果要抽取以P或D結尾的所有產品代碼,方法如下:
hhl:localhost ~/test/shell> grep ‘[[:upper:]][[:upper:]][P,D]‘ data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
219 dec 2CC1999 CAD 23.00 PLV2C 68
484 nov 7PL1996 CAD 49.00 PLV2C 234
483 may 5PA1998 USP 37.00 KVM9D 644
216 sept 3ZL1998 USP 86.00 KVM9E 234

使用通配符*的匹配模式 注意:建議在使用通配符時用雙引號括起來,以和正則表達式區別,這樣可讀性好一些。另,建議通配符*不要和.一起使用,只是個人建議,呵呵。
現在講述g r e p中通配符*的使用。現有文件如下:
hhl:localhost ~/test/shell> more testfile
looks
likes
long
looker

下述g r e p模式結果顯示如下:
hhl:localhost ~/test/shell> grep “l*s” testfile
looks
likes

如在行尾查詢某一單詞,試如下模式:
grep ‘device$’ *
這將在所有文件中查詢行尾包含單詞d e v i c e的所有行。

系統grep命令
使用已學過的知識可以很容易通過g r e p命令獲得系統信息。下面幾個例子中,將用到管道命令,即符號|,使用它左邊命令的輸出結果作爲它右邊命令的輸入。

目錄
如果要查詢目錄列表中的目錄,方法如下:
ls -l | grep ‘^d’
如果在一個目錄中查詢不包含目錄的所有文件,方法如下:
ls -l | grep ‘^[^d]‘
要查詢其他用戶和其他用戶組成員有可執行權限的目錄集合,方法如下:
ls -l | grep ‘^d…..x..x’

passwd文件

grep “hhl” /etc/passwd
上述腳本查詢/ e t c / p a s s w d文件是否包含hhl字符串。
使用g r e p命令- s開關,可屏蔽錯誤信息。
grep -s “hhl” /etc/passwd

此命令返回命令提示符,而沒有文件不存在的錯誤提示。

如果g r e p命令不支持- s開關,可替代使用以下命令:
grep “hhl” /etc/passwd >/dev/null 2>&1

腳本含義是匹配命令輸出或錯誤( 2 > $ 1),並將結果輸出到系統池。大多數系統管理員稱/ d e v / n u l l爲比特池,沒關係,可以將之看成一個無底洞,有進沒有出,永遠也不會填滿。

使用ps命令
使用帶有ps x命令的g r e p可查詢系統上運行的進程。ps ax命令意爲顯示系統上運行的所有進程列表。要查看mysql服務器是否正在運行(進程名稱爲mysqld),方法如下:
hhl:localhost ~/test/shell> ps ax | grep mysqld
2358 ? S 0:00 /bin/sh /usr/bin/mysqld_safe –defaults-file=/etc/my.cnf –pid-file=/var/run/mysqld/mysqld.pid –log-error=/var/log/mysqld.log
2394 ? Sl 0:01 /usr/libexec/mysqld –defaults-file=/etc/my.cnf –basedir=/usr –datadir=/var/lib/mysql –user=mysql –pid-file=/var/run/mysqld/mysqld.pid –skip-locking –socket=/var/lib/mysql/mysql.sock
8273 pts/0 R+ 0:00 grep mysqld

輸出也應包含此g r e p命令,因爲g r e p命令創建了相應進程, ps ax將找到它。在g r e p命令中使用- v選項可丟棄p s命令中的g r e p進程。
hhl:localhost ~/test/shell> ps ax | grep mysqld | grep -v “grep”
2358 ? S 0:00 /bin/sh /usr/bin/mysqld_safe –defaults-file=/etc/my.cnf –pid-file=/var/run/mysqld/mysqld.pid –log-error=/var/log/mysqld.log
2394 ? Sl 0:01 /usr/libexec/mysqld –defaults-file=/etc/my.cnf –basedir=/usr –datadir=/var/lib/mysql –user=mysql –pid-file=/var/run/mysqld/mysqld.pid –skip-locking –socket=/var/lib/mysql/mysql.sock

如果ps x不適用於用戶系統,替代使用ps -ef。

對一個字符串使用grep
g r e p不只應用於文件,也可應用於字符串。爲此使用e c h o字符串命令,然後對g r e p命令使用管道輸入。
hhl:localhost ~/test/shell> Str=”this is a string for test”
hhl:localhost ~/test/shell> echo $Str | grep “this”
this is a string for test
匹配成功實現。
hhl:localhost ~/test/shell> echo $Str | grep “thia”
hhl:localhost ~/test/shell>

因爲沒有匹配字符串,所以沒有輸出結果。

egrep
e g r e p代表e x p r e s s i o n或extended grep,適情況而定。e g r e p接受所有的正則表達式, e g r e p的一個顯著特性是可以以一個文件作爲保存的字符串,然後將之傳給e g r e p作爲參數,爲此使用- f開關。如果創建一個名爲g r e p s t r i n g s的文件,並輸入4 8 4和4 7:
hhl:localhost ~/test/shell> more egrep.e
483
21
hhl:localhost ~/test/shell> egrep -f egrep.e data.f
483 Sept 5AP1996 USP 65.00 LVX2C 189
219 dec 2CC1999 CAD 23.00 PLV2C 68
483 may 5PA1998 USP 37.00 KVM9D 644
216 sept 3ZL1998 USP 86.00 KVM9E 234

上述腳本匹配d a t a . f中包含4 8 4或4 7的所有記錄。當匹配大量模式時, – f開關很有用,而在一個命令行中敲入這些模式顯然極爲繁瑣。
如果要查詢存儲代碼3 2 L或2 C C,可以使用(|)符號,意即“|”符號兩邊之一或全部。

hhl:localhost ~/test/shell> egrep ‘(3ZL|2CC)’ data.f
47 Oct 3ZL1998 LPSX 43.00 KVM9D 512
219 dec 2CC1999 CAD 23.00 PLV2C 68
216 sept 3ZL1998 USP 86.00 KVM9E 234

可以使用任意多豎線符“ |”,例如要查看在系統中是否有帳號l o u i s e、m a t t y或pauline ,使用w h o命令並管道輸出至e g r e p。
hhl:localhost ~/test/shell> who | egrep ‘(hhl|oracle|root)’
hhl pts/0 2009-04-01 19:27 (10.10.10.1)
hhl pts/1 2009-04-01 19:34 (10.10.10.1)

還可以使用^符號排除字符串。如果要查看系統上的用戶,但不包括m a t t y和p a u l i n e,方法如下:
hhl:localhost ~/test/shell> who | egrep -v ‘^(oracle|root)’
hhl pts/0 2009-04-01 19:27 (10.10.10.1)
hhl pts/1 2009-04-01 19:34 (10.10.10.1)

如果要查詢一個文件列表,包括s h u t d o w n、s h u t d o w n s、r e b o o t和r e b o o t s,使用e g r e p可容易地實現。

egrep ‘(shutdown|reboot)(s)?’ *

最後這個egrep 我以前沒好好看過,現在看來還不錯。在說明文當中看到這麼一句:`egrep’ means `grep -E’. 明白了吧。

希望大家已經理解了g r e p的靈活性,它是一個很強大而流行的工具,像其他許多U N I X工具一樣,已經被使用在D O S中。如果要通過文件快速查找字符串或模式, g r e p是一個很好的選擇。簡單地說, g r e p是s h e l l編程中很重要的工具,在本書後面部分使用其他U N I X工具和進行變量替換時將發現這一點。

 

文章轉自:http://qa.taobao.com/?cat=74

發佈了33 篇原創文章 · 獲贊 24 · 訪問量 43萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章