Linux文本處理工具grep

  1. 文件查看工具:cat

    將[文件]或標準輸入組合輸出到標準輸出。

              -A, --show-all                                  等於-vET

              -b, --number-nonblank                           對非空輸出行編號

              -e                                              等於-vE

              -E, --show-ends                                 在每行結束處顯示"$"

              -n, --number                                    對輸出的所有行編號

              -s, --squeeze-blank                             不輸出多行空行

              -t                                              與-vT 等價

              -T, --show-tabs                                 將跳格字符顯示爲^I

              -u                                              (被忽略)

              -v, --show-nonprinting                          使用^ 和M- 引用,除了LFD和 TAB 之外

              --help                                     顯示此幫助信息並退出

             --version                               顯示版本信息並退出

2.分頁查看文件:more

more [OPTIONS...] FILE... -d: 顯示翻頁及退出提示

3.單頁查看文件:less

查看時有用的命令包括: /文本 搜索 文本 n/N 跳到下一個 或 上一個匹配 less 命令是man命令使用的分頁器

4.獲取文本前幾行:head     -n:指定獲取第幾行              -c:指定獲取多少字節

5.獲取文件後幾行:tail     -n:指定獲取第幾行              -c:指定獲取多少字節

6.文件分割工具:cut

        -d DELIMITER: 指明分隔符,默認tab 例如:-d":"

        -f 指定獲取字段: 

                            #: 第#個字段 

                            #,#[,#]:離散的多個字段,例如1,3,6

                            #-#:連續的多個字段, 例如1-6 

                            混合使用:1-3,7 -c 

                            按字符切割 --output-delimiter=STRING指定輸出分隔符

                   例如;我們要獲取/etc/passwd下面的用戶名以及uid和shell類型??

                 [root@localhost ~]# cat /etc/passwd | cut -d: -f1,3,7

7.合併工具:paste 

                            合併兩個文件同行號的列到一行 

                            -d 分隔符:指定分隔符,默認用TAB

                            -s : 所有行合成一行顯示  

            [root@localhost ~]# paste -s luyubo.txt luyubo1.txt

8.文本統計工具:wc

                wc可以用來統計單詞總數,行總數,以及字節總數,字符總數。

                用法:wc [選項]... [文件]...

               或:wc [選項]... --files0-from=F

        輸出每個指定文件的行數、單詞計數和字節數,如果指定了多於一個文件,繼續給出所有相關數據的總計。如果沒有指定文件,或者文件爲"-",則從標準輸入讀取數據。

  -c, --bytes輸出字節數統計

  -m, --chars輸出字符數統計

  -l, --lines輸出行數統計

      --files0-from=文件從指定文件讀取以NUL 終止的名稱,如果該文件被

指定爲"-"則從標準輸入讀文件名

  -L, --max-line-length         顯示最長行的長度

  -w, --words顯示單詞計數

9.文本排序工具:sort

                我們這裏列出幾個常用的幾個選項

                                -r 執行反方向(由上至下)整理

                                -n 執行按數字大小整理 

                                -f 選項忽略(fold)字符串中的字符大小寫

                                -u 選項(獨特,unique)刪除輸出中的重複行

                                -t  c 選項使用c做爲字段界定符

                                -k  X 選項按照使用c字符分隔的X列來整理能夠使用多次

10.統計重複次數:uniq

                                -c: 顯示每行重複出現的次數 

                                -d: 僅顯示重複過的行 

                                -u: 僅顯示不曾重複的行 連續且完全相同方爲重複 

              #一般配合sort使用。soft luyubo.txt | uniq -c

Linux文本處理三劍客之一——grep

                grep就像是一個篩選器一樣。功能有多強大,就看我們怎麼去靈活的使用,結合正則表達式。

用法: grep [選項]... PATTERN [FILE]...

在每個 FILE 或是標準輸入中查找 PATTERN。

默認的 PATTERN 是一個基本正則表達式(縮寫爲 BRE)。

例如: grep -i 'hello world' menu.h main.c


正則表達式選擇與解釋:

                         -E: --extended-regexp     PATTERN 是一個可擴展的正則表達式(縮寫爲 ERE)

                         -F: --fixed-strings       PATTERN 是一組由斷行符分隔的定長字符串。

                         -G: --basic-regexp        PATTERN 是一個基本正則表達式(縮寫爲 BRE)

                         -P: --perl-regexp         PATTERN 是一個 Perl 正則表達式

                         -e: --regexp=PATTERN      用 PATTERN 來進行匹配操作

                         -f: --file=FILE           從 FILE 中取得 PATTERN

                         -i: --ignore-case         忽略大小寫

                         -w: --word-regexp         強制 PATTERN 僅完全匹配字詞

                         -x: --line-regexp         強制 PATTERN 僅完全匹配一行

                         -z: --null-data           一個 0 字節的數據行,但不是空行

                         -v: --invert-match        顯示不能夠被pattern匹配到的行; 

                         -q: --quiet               靜默模式,不輸出任何信息

                         -o: --only-matching       僅顯示匹配到的字符串;

                         -c: --count               統計匹配的行數

                         -n: --line-numbe          顯示匹配的行號

                         -A #:--after-context=NUM   after, 後#行 

                         -B #:--before-context=NUM  before, 前#行

                         -C #:--context=NUM        前後各#行  

輸出控制:

                          -m: --max-count=NUM       NUM 次匹配後停止

                          -b: --byte-offset         輸出的同時打印字節偏移

                          -n: --line-number         輸出的同時打印行號

                              --line-buffered       每行輸出清空

                          -H: --with-filename       爲每一匹配項打印文件名

                          -h: --no-filename         輸出時不顯示文件名前綴

                              --label=LABEL         將LABEL 作爲標準輸入文件名前綴文件控制:

                          -B: --before-context=NUM  打印以文本起始的NUM 行

                          -A: --after-context=NUM   打印以文本結尾的NUM 行

                          -C: --context=NUM         打印輸出文本NUM 行

正則表達式(REGEXP):由一類特殊字符及文本字符所編寫的模式,其中有 些字符(元字符)不表示字符字面意義,而表示控制或通配 的功能 

       正則表達式分爲兩類:

                    基本正則表達式:BRE

                    擴展正常表達式:ERE            grep -E   -egrep

       正則表達式引擎:

                    採用不同算法,檢查處理正則表達式的軟件模塊 PCRE(Perl Compatible Regular Expressions) 

       元字符分類:字符匹配、匹配次數、位置錨定、分組      這裏我理解爲正則裏面功能分支

       基本正則表達式元字符:

                                .   : 匹配任意單個字符; 

                                []  : 匹配指定範圍內的任意單個字符 

                                [^] :匹配指定範圍外的任意單個字符 

                                ^ 行首

                                $ 行尾

                                . 任意單一字符 

                                [] []內任意單一字符 

                                [^] 除[]內任意單一字符 

                                * *前面字符重複不確定次數 

                                \+ \+前面字符重複一次以上不確定次數 

                                \? ?前面字符重複0或1次 

                                \ 轉義符

                                .* 任意長度字符 

                                \{n\} 前面字符重複n次

                                \{n,\} 前面字符重複n次以上 

                                \{m,n\} 前面字符重複m次和n次之間

                                [:alpha:] 所有字母,包括大、小寫 

                                [:alnum:] 所有字母和數字 

                                [:upper:] 所有大寫字母 

                                [:lower:] 所有小寫字母 

                                [:digit:] 所有數字 

                                [:punct:] 所有標點符號 

                                [:space:] 空格和Tab

正則表達式:

            匹配次數:用在要指定次數的字符後面,用於指定前面的字 符要出現的次數 

                                *:匹配前面的字符任意次,包括0次 

                                貪婪模式:儘可能長的匹配

                                .*:任意長度的任意字符 

                                \?:匹配其前面的字符0或1次 

                                \+:匹配其前面的字符至少1次 

                                \{n\}:匹配前面的字符n次 

                                \{m,n\}:匹配前面的字符至少m次,至多n次 

                                \{,n\}:匹配前面的字符至多n次 

                                \{n,\}:匹配前面的字符至少n次

           位置錨定:定位出現的位置 

                                ^:行首錨定,用於模式的最左側

                                 $:行尾錨定,用於模式的最右側 

                                ^PATTERN$: 用於模式匹配整行 

                                ^$: 空行 

                                ^[[:space:]]*$ :空白行 

                                \< 或 \b:詞首錨定,用於單詞模式的左側 

                                \> 或 \b:詞尾錨定;用於單詞模式的右側 

                                \<PATTERN\>:匹配整個單詞

         分組表示:

                                \(\):將一個或多個字符捆綁在一起,當作一個整體進 行處理,如:\(root\)\+ 

                                分組括號中的模式匹配到的內容會被正則表達式引擎記錄 於內部的變量中,這些變量的命名方式爲: \1, \2, \3, ... 

                                \1: 從左側起,第一個左括號以及與之匹配右括號之間 的模式所匹配到的字符 

                                實例:

                                 \(string1\+\(string2\)*\)

                                 \1: string1\+\(string2\)* 

                                 \2: string2 

                                後向引用:引用前面的分組括號中的模式所匹配字符(而 非模式本身)



擴展正則表達式

              #擴展表達式支持一些新的語法。

                egrep = grep -E

                                擴展正則表達式的元字符:        

                             字符匹配:

                                        .  任意單個字符

                                         [] 指定範圍的字符 

                                        [^] 不在指定範圍的字符 

                  次數匹配:

                                        *:匹配前面字符任意次 

                                        ?: 0或1次 

                                        +:1次或多次 

                                        {m}:匹配m次 

                                        {m,n}:至少m,至多n次           

                  位置錨定: 

                                        ^  :行首

                                        $  :行尾 

                                        \<, \b :語首

                                        \>, \b :語尾

                    分組: 

                                        () 後向引用:\1, \2, …

                                        或者: 

                                        a|b 

                                        C|cat: C或cat 

                                        (C|c)at:Cat或cat

案例練習題:

1、找出ifconfig命令結果中本機的所有IPv4地址

[root@localhost ~]# ifconfig | tr -s " " |head -2 | tail -1 |cut -d: -f2 | cut -d" " -f1

2、查出分區空間使用率的最大百分比值

[root@localhost ~]# df -h | tr -s " " |cut -d" " -f5 | sort -n

3、查出用戶UID最大值的用戶名、UID及shell類型 

[root@localhost ~]# cat /etc/passwd | cut -d: -f1,3,7 /etc/passwd |sort -n -t: -k2| tail -1

4、查出/tmp的權限,以數字方式顯示 ?

[root@localhost ~]# stat /tmp/ | tr -s " " |head -4 | tail -1| cut -d/ -f1 | cut -d"(" -f2

5、統計當前連接本機的每個遠程主機IP的連接數,並按從大 到小排序

[root@localhost ~]# netstat -net |tr -s " " | cut -d" " -f5 |cut -d":" -f1 |uniq -c

6、顯示/proc/meminfo文件中以大小s開頭的行;(要求:使 用兩種方式) 

[root@localhost ~]# grep -i ^s /proc/meminfo

[root@localhost ~]# grep  "^[s|S]" /proc/meminfo

7、顯示/etc/passwd文件中不以/bin/bash結尾的行 

[root@localhost ~]# grep -v "/bin/bash" /etc/passwd

8、顯示用戶rpc默認的shell程序 

[root@localhost ~]# grep "\<rpc" /etc/passwd -w |cut -d: -f7

9、找出/etc/passwd中的兩位或三位數 

[root@localhost ~]# grep "[0-9][0-9][0-9]\?" /etc/passwd
[root@localhost ~]#  grep "\<[0-9]\{2,3\}\>" /etc/passwd

10、顯示/etc/grub2.cfg文件中,至少以一個空白字符開頭的 且後面存非空白字符的行 

[root@nzg7 ~]# grep "^[[:space:]]\+[^[:space:]]" /etc/grub2.cfg

11、找出“netstat -tan”命令的結果中以‘LISTEN’後跟任意多 個空白字符結尾的行 

[root@localhost ~]# netstat -tan | grep "LISTEN[[:space:]]*$"

12、添加用戶bash、testbash、basher以及nologin(其shell爲 /sbin/nologin),而後找出/etc/passwd文件中用戶名同shell名 的行

[root@localhost ~]# grep "^\([^:]\+\>\).*\<\1\>$" /etc/passwd

13、顯示三個用戶root、mage、wang的UID和默認shell 

[root@localhost ~]# grep -E "^(root|mage|wang)\b" /etc/passwd |cut -d: -f1,3,7

14、找出/etc/rc.d/init.d/functions文件中行首爲某單詞(包 括下劃線)後面跟一個小括號的行

[root@localhost ~]# grep -E "^[_[:alpha:]]+\(\)" /etc/rc.d/init.d/functions -o

15、使用egrep取出/etc/rc.d/init.d/functions中其基名

[root@localhost ~]# echo "/etc/sysconfig/network-scripts/ifcfg-eth0/" | grep -E "[^/]+/?$" -o |grep -E [^/]+ -o

16、使用egrep取出上面路徑的目錄名 

[root@nzg7 ~]# echo "/etc/sysconfig/network-scripts/ifcfg-eno16777736/" | grep -E -o "^/.*[^/]" |grep -E -o "^/.*/"

17、統計以root身份登錄的每個遠程主機IP地址的登錄次數 

[root@nzg7 ~]# last |tr -s " "|cut -d" " -f1,3 |grep "^root [[:digit:]]" |sort -n|uniq -c

18、利用擴展正則表達式分別表示0-9、10-99、100-199、 200-249、250-255 

[0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5]

19、顯示ifconfig命令結果中所有IPv4地址

[root@localhost ~]# ifconfig |grep -E "(\<([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>\.){3}([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])"


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章