每天一個linux命令：grep

每天一個linux命令：grep

更多精彩請關注：www.zicreate.com

1．命令功能

grep 即 global search regular expression，grep 命令是一種強大的文本搜索工具，它能使用正則表達式搜索文本，並把匹配的行打印出來。

該命令組包含：grep，egrep 和 fgrep 命令，還有一個 zgrep 。grep命令一次只能搜索一個指定的模式；egrep命令等同於grep -E，可以使用擴展的字符串模式進行多模式搜索；fgrep命令等同於grep -F，是快速搜索命令，它檢索固定字符串，但不識別正則表達式。

2．命令格式

grep [選項] match_pattern [文件名1，文件名2，…]
grep [選項] [-e match_pattern | -f 文件] [文件名1，文件名2，…]

3．命令參數

-a 不要忽略二進制數據。
-A<顯示列數> 除了顯示符合範本樣式的那一行之外，並顯示該行之後的內容。
-b 在顯示符合範本樣式的那一行之外，並顯示該行之前的內容。
-c 計算符合範本樣式的列數。
-C<顯示列數>或-<顯示列數>  除了顯示符合範本樣式的那一列之外，並顯示該列之前後的內容。
-d<進行動作> 當指定要查找的是目錄而非文件時，必須使用這項參數，否則grep命令將回報信息並停止動作。
-e<範本樣式> 指定字符串作爲查找文件內容的範本樣式。
-E 將範本樣式爲延伸的普通表示法來使用，意味着使用能使用擴展正則表達式。
-f<範本文件> 指定範本文件，其內容有一個或多個範本樣式，讓grep查找符合範本條件的文件內容，格式爲每一列的範本樣式。
-F 將範本樣式視爲固定字符串的列表。
-G 將範本樣式視爲普通的表示法來使用。
-h 在顯示符合範本樣式的那一列之前，不標示該列所屬的文件名稱。
-H 在顯示符合範本樣式的那一列之前，標示該列的文件名稱。
-i 忽略字符大小寫的差別。
-l 列出文件內容符合指定的範本樣式的文件名稱。
-L 列出文件內容不符合指定的範本樣式的文件名稱。
-n 在顯示符合範本樣式的那一列之前，標示出該列的編號。
-q 不顯示任何信息。
-R/-r 此參數的效果和指定“-d recurse”參數相同。
-s 不顯示錯誤信息。
-v 反轉查找。
-w 只顯示全字符合的列。
-x 只顯示全列符合的列。
-y 此參數效果跟“-i”相同。
-o 只輸出文件中匹配到的部分。

pattern正則表達式元字符集(基本集)：

^  錨定行的開始 如：’^grep’匹配所有以grep開頭的行。
$  錨定行的結束 如：’grep$’匹配所有以grep結尾的行。
.   匹配一個非換行符的字符 如：’gr.p’匹配gr後接一個任意字符，然後是p。
*  匹配零個或多個先前字符 如：’ *grep’匹配所有一個或多個空格後緊跟grep的行。 .*一起用代表任意字符。
[] 匹配一個指定範圍內的字符，如'[Gg]rep’匹配Grep和grep。
[^]  匹配一個不在指定範圍內的字符，如：'[^A-FH-Z]rep’匹配不包含A-F和H-Z的一個字母開頭，緊跟rep的行。
(..)  標記匹配字符，如：'(love)’，love被標記爲1。
>  錨定單詞的結束，如’grep>’匹配包含以grep結尾的單詞的行。
x{m} 連續重複字符x，m次，如：’o{5}’匹配包含連續5個o的行。
x{m,} 連續重複字符x,至少m次，如：’o{5,}’匹配至少連續有5個o的行。
x{m,n} 連續重複字符x，至少m次，不多於n次，如：’o{5,10}’匹配連續5–10個o的行。
w  匹配一個文字和數字字符，也就是[A-Za-z0-9]，如：’Gw*p’匹配以G後跟零個或多個文字或數字字符，然後是p。
W  w的反置形式，匹配一個非單詞字符，如點號句號等。W*則可匹配多個。
b  單詞鎖定符，如: ‘bgrepb’只匹配grep，即只能是grep這個單詞，兩邊均爲空格。

4．使用場景

場景1：從管道（|）輸入中搜索

在開發驅動的時候一般都會使用 printk 輸出 debug 信息輔助調試，printk 輸出的信息可以通過 dmesg 命令查看，但是大部分時候驅動輸出信息會淹沒在繁雜的系統log中，爲了提取指定的驅動信息，常採樣的方法如下：

提取 ipmi 相關 log ：

$ dmesg | grep ipmi
[    4.537236] ipmi message handler version 39.2
[    4.542648] ipmi_si: probing via SMBIOS
[    4.542650] ipmi_si: SMBIOS: io 0xca2 regsize 1 spacing 1 irq 0
[    4.542651] ipmi_si: Adding SMBIOS-specified kcs state machine
[    4.542653] ipmi_si: probing via SPMI
[    4.542654] ipmi_si: SPMI: io 0xca2 regsize 1 spacing 1 irq 0

上面命令中間的 “|” 是管道鏈接符，功能是將前一個命令的輸出作爲後一個命令的輸入，後期文章將做更詳細講解。

類似的信息提取常用操作如下：

獲取本機所有IP
$ ifconfig | grep "[0-9]\{1,3\}[.][0-9]\{1,3\}[.][0-9]\{1,3\}[.][0-9]\{1,3\}"
        inet 10.239.85.234  netmask 255.255.255.0  broadcast 10.239.85.255
        inet 10.1.100.190  netmask 255.255.255.0  broadcast 10.1.100.255
        inet 127.0.0.1  netmask 255.0.0.0

上面命令中的正則表達式的意思參考上文“pattern正則表達式元字符集(基本集)”。

查找匹配的進程

$ ps -aux | grep -i "work$"
root     31760  0.0  0.0  19984  1124 pts/14   S+   09:37   0:00 tmux a -t work

從歷史記錄裏查找輸入過的git命令
$ history | grep git
  387  git branch
  388  git status
  389  git log -v

多級匹配，同時匹配多個字符串，“與”匹配
$ cat /etc/yum.conf | grep -v "^#" | grep url
bugtracker_url=http://bugs.centos.org/set_project.php?project_id=23&ref=http://bugs.centos.org/bug_report_page.php?category=yum

場景2：在一堆文件中查找指定字符串

$ ll
drwxrwxr-x.  2 root root     4096 Sep 22 09:50 PCbuild
-rw-r--r--.  1 root root       26 Sep 22 09:53 pybuilddir.txt
-rw-r--r--.  1 root root    43097 Sep 22 09:50 pyconfig.h
-rw-r--r--.  1 root root    41188 Sep 22 09:50 pyconfig.h.in
-rwxr-xr-x.  1 root root 11471600 Sep 22 09:53 python
drwxrwxr-x.  2 root root     4096 Jan  4 14:49 Python
-rw-r--r--.  1 root root     3048 Sep 22 09:50 python-config
-rw-r--r--.  1 root root     2042 Sep 22 09:50 python-config.py
-rw-r--r--.  1 root root    60997 Sep 22 09:50 python-gdb.py

# 查找包含字符串"PyImport_Cleanup"的文件，標示出所屬文件，所在行號，並輸出匹配行前後2行的內容

$ grep "PyImport_Cleanup" -Rnb 
--
Python/pystate.c-324-}
Python/pystate.c-325-
Python/pystate.c:326:/* used by import.c:PyImport_Cleanup */
Python/pystate.c-327-void
Python/pystate.c-328-_PyState_ClearModules(void)
--
Python/import.c-400-
Python/import.c-401-void
Python/import.c:402:PyImport_Cleanup(void)
Python/import.c-403-{
Python/import.c-404-    Py_ssize_t pos;
--
......

多模式匹配，匹配多個字符串中的一個，“或”匹配

$ grep -rnb -e 'PyImport_Cleanup' -e "PyImport_ImportModule"
PC/bdist_wininst/install.c:690:20210:    mod = PyImport_ImportModule("builtins");
PC/python34stub.def:243:4623:PyImport_Cleanup
PC/python34stub.def:253:4860:PyImport_ImportModule
PC/python34stub.def:254:4882:PyImport_ImportModuleLevel
PC/python34stub.def:255:4909:PyImport_ImportModuleNoBlock

或者在當前目錄中創建一個搜索模式文件“grep_pattern”，文件內容如下：

$ cat grep_pattern
    PyImport_Cleanup
    PyImport_ImportModule
$ grep -f grep_pattern *

場景3：-E 擴展匹配模式

例如上文中的多模匹配：

$ grep -rnb -e ‘PyImport_Cleanup’ -e “PyImport_ImportModule”

使用 -E 參數查找多個模式：

$ grep -Ernb “PyImport_Cleanup | PyImport_ImportModule”

或者

$ egrep -rnb “PyImport_Cleanup | PyImport_ImportModule”

egrep = grep -E 可以使用基本的正則表達外，還可以用擴展表達式。
擴展表達式：

• + 匹配一個或者多個先前的字符，至少一個先前字符。如：’[a-z]+able’，匹配一個或多個小寫字母后跟able的串，如loveable,enable,disable等。
• ? 匹配0個或者多個先前字符。
• a|b|c 匹配a或b或c，如：grep|sed匹配grep或sed
• () 字符組，如： love(able|ers) 匹配loveable或lovers。
• (..)(..)\1\2 模板匹配。 \1代表前面第一個模板，\2代第二個括弧裏面的模板。
• x{m},x{m,},x{m,n} 作用同x{m},x{m,},x{m,n} ， x的字符數量在m到n個之間。

常見操作如下：

egrep '^+' file   以一個或者多個空格開頭的行.
grep '^*' file   同上
egrep '(TOM|DAN) SAVAGE' file 包含 TOM SAVAGE 和DAN SAVAGE的行。
egrep '(ab)+' file 包含至少一個ab的行。
egrep 'x[0-9]?' file 包含x或者x後面跟着0個或者多個數字的行。
egrep 'fun\.$' * 所有文件裏面以fun.結尾的行。
egrep '[A-Z]+' file 至少包含一個大寫字母的行。
egrep '[0-9]' file 至少一個數字的行。
egrep '[A-Z]...[0-9]' file 有五個字符， 第一個式大寫, 最後一個是數字的行。
egrep '[tT]est' file 包含單詞test或Test的行。
egrep 'ken sun' file 包含ken sun的行。
egrep -v 'marry' file 不包含marry的行。
egrep -i 'sam' file 不考慮sam的大小寫,含有sam的行。
egrep -l "dear ken" * 包含dear ken的所有文件的清單。
egrep -n tom file 包含tom的行，每行前面追加行號。
egrep -s "$name" file 找到變量名$name的, 不打印而是顯示退出狀態， 0表示找到， 1表示表達式沒找到符合要求的，2表示文件沒找到。

關於上面命令中通配符的講解在前期的文章中已經有所涉及，本文不再詳解。

擴展

（1）zgrep

在gzip壓縮文件中搜索，這個命令支持grep的一部分命令參數，使用起來並不友好，建議還是解壓之後使用grep。

（2）egrep

egrep 代表着“擴展全局正則表達式”。它可以識別更多的正則表達式元字符，可以在 grep 命令中使用選項-E來啓用它。egrep是用extended regular expression語法來解讀的，而grep則用basic regular expression 語法解讀，extended regular expression比basic regular expression的表達更規範。

（3）fgrep

相當於執行grep指令加上參數”-F”，它搜索字符串而不是搜索匹配表達式的模式。fgrep 命令使用快速的壓縮算法。$, *, [, |, (, )和\等字符串被 fgrep 命令按字面意思解釋。

fgrep 很簡單就是固化表達式的搜索。如：

$ fgrep “$name…[a-z]” file

在file裏面找到和字符name...[a−z]一樣的行。其中 和…等沒有轉義的意義。

或者使用 -F 參數

$ grep -Frn "PyImport_Cleanup"
Doc/c-api/import.rst:224:.. c:function:: void PyImport_Cleanup()
Doc/data/refcounts.dat:508:PyImport_Cleanup:void:::
Include/import.h:70:PyAPI_FUNC(void) PyImport_Cleanup(void);