文件查看工具:cat
將[文件]或標準輸入組合輸出到標準輸出。
-A, --show-all 等於-vET
-b, --number-nonblank 對非空輸出行編號
-e 等於-vE
-E, --show-ends 在每行結束處顯示"$"
-n, --number 對輸出的所有行編號
-s, --squeeze-blank 不輸出多行空行
-t 與-vT 等價
-T, --show-tabs 將跳格字符顯示爲^I
-u (被忽略)
-v, --show-nonprinting 使用^ 和M- 引用,除了LFD和 TAB 之外
--help 顯示此幫助信息並退出
--version 顯示版本信息並退出
2.分頁查看文件:more
more [OPTIONS...] FILE... -d: 顯示翻頁及退出提示
3.單頁查看文件:less
查看時有用的命令包括: /文本 搜索 文本 n/N 跳到下一個 或 上一個匹配 less 命令是man命令使用的分頁器
4.獲取文本前幾行:head -n:指定獲取第幾行 -c:指定獲取多少字節
5.獲取文件後幾行:tail -n:指定獲取第幾行 -c:指定獲取多少字節
6.文件分割工具:cut
-d DELIMITER: 指明分隔符,默認tab 例如:-d":"
-f 指定獲取字段:
#: 第#個字段
#,#[,#]:離散的多個字段,例如1,3,6
#-#:連續的多個字段, 例如1-6
混合使用:1-3,7 -c
按字符切割 --output-delimiter=STRING指定輸出分隔符
例如;我們要獲取/etc/passwd下面的用戶名以及uid和shell類型??
[root@localhost ~]# cat /etc/passwd | cut -d: -f1,3,7
7.合併工具:paste
合併兩個文件同行號的列到一行
-d 分隔符:指定分隔符,默認用TAB
-s : 所有行合成一行顯示
[root@localhost ~]# paste -s luyubo.txt luyubo1.txt
8.文本統計工具:wc
wc可以用來統計單詞總數,行總數,以及字節總數,字符總數。
用法:wc [選項]... [文件]...
或:wc [選項]... --files0-from=F
輸出每個指定文件的行數、單詞計數和字節數,如果指定了多於一個文件,繼續給出所有相關數據的總計。如果沒有指定文件,或者文件爲"-",則從標準輸入讀取數據。
-c, --bytes輸出字節數統計
-m, --chars輸出字符數統計
-l, --lines輸出行數統計
--files0-from=文件從指定文件讀取以NUL 終止的名稱,如果該文件被
指定爲"-"則從標準輸入讀文件名
-L, --max-line-length 顯示最長行的長度
-w, --words顯示單詞計數
9.文本排序工具:sort
我們這裏列出幾個常用的幾個選項
-r 執行反方向(由上至下)整理
-n 執行按數字大小整理
-f 選項忽略(fold)字符串中的字符大小寫
-u 選項(獨特,unique)刪除輸出中的重複行
-t c 選項使用c做爲字段界定符
-k X 選項按照使用c字符分隔的X列來整理能夠使用多次
10.統計重複次數:uniq
-c: 顯示每行重複出現的次數
-d: 僅顯示重複過的行
-u: 僅顯示不曾重複的行 連續且完全相同方爲重複
#一般配合sort使用。soft luyubo.txt | uniq -c
Linux文本處理三劍客之一——grep
grep就像是一個篩選器一樣。功能有多強大,就看我們怎麼去靈活的使用,結合正則表達式。
用法: grep [選項]... PATTERN [FILE]...
在每個 FILE 或是標準輸入中查找 PATTERN。
默認的 PATTERN 是一個基本正則表達式(縮寫爲 BRE)。
例如: grep -i 'hello world' menu.h main.c
正則表達式選擇與解釋:
-E: --extended-regexp PATTERN 是一個可擴展的正則表達式(縮寫爲 ERE)
-F: --fixed-strings PATTERN 是一組由斷行符分隔的定長字符串。
-G: --basic-regexp PATTERN 是一個基本正則表達式(縮寫爲 BRE)
-P: --perl-regexp PATTERN 是一個 Perl 正則表達式
-e: --regexp=PATTERN 用 PATTERN 來進行匹配操作
-f: --file=FILE 從 FILE 中取得 PATTERN
-i: --ignore-case 忽略大小寫
-w: --word-regexp 強制 PATTERN 僅完全匹配字詞
-x: --line-regexp 強制 PATTERN 僅完全匹配一行
-z: --null-data 一個 0 字節的數據行,但不是空行
-v: --invert-match 顯示不能夠被pattern匹配到的行;
-q: --quiet 靜默模式,不輸出任何信息
-o: --only-matching 僅顯示匹配到的字符串;
-c: --count 統計匹配的行數
-n: --line-numbe 顯示匹配的行號
-A #:--after-context=NUM after, 後#行
-B #:--before-context=NUM before, 前#行
-C #:--context=NUM 前後各#行
輸出控制:
-m: --max-count=NUM NUM 次匹配後停止
-b: --byte-offset 輸出的同時打印字節偏移
-n: --line-number 輸出的同時打印行號
--line-buffered 每行輸出清空
-H: --with-filename 爲每一匹配項打印文件名
-h: --no-filename 輸出時不顯示文件名前綴
--label=LABEL 將LABEL 作爲標準輸入文件名前綴文件控制:
-B: --before-context=NUM 打印以文本起始的NUM 行
-A: --after-context=NUM 打印以文本結尾的NUM 行
-C: --context=NUM 打印輸出文本NUM 行
正則表達式(REGEXP):由一類特殊字符及文本字符所編寫的模式,其中有 些字符(元字符)不表示字符字面意義,而表示控制或通配 的功能
正則表達式分爲兩類:
基本正則表達式:BRE
擴展正常表達式:ERE grep -E -egrep
正則表達式引擎:
採用不同算法,檢查處理正則表達式的軟件模塊 PCRE(Perl Compatible Regular Expressions)
元字符分類:字符匹配、匹配次數、位置錨定、分組 這裏我理解爲正則裏面功能分支
基本正則表達式元字符:
. : 匹配任意單個字符;
[] : 匹配指定範圍內的任意單個字符
[^] :匹配指定範圍外的任意單個字符
^ 行首
$ 行尾
. 任意單一字符
[] []內任意單一字符
[^] 除[]內任意單一字符
* *前面字符重複不確定次數
\+ \+前面字符重複一次以上不確定次數
\? ?前面字符重複0或1次
\ 轉義符
.* 任意長度字符
\{n\} 前面字符重複n次
\{n,\} 前面字符重複n次以上
\{m,n\} 前面字符重複m次和n次之間
[:alpha:] 所有字母,包括大、小寫
[:alnum:] 所有字母和數字
[:upper:] 所有大寫字母
[:lower:] 所有小寫字母
[:digit:] 所有數字
[:punct:] 所有標點符號
[:space:] 空格和Tab
正則表達式:
匹配次數:用在要指定次數的字符後面,用於指定前面的字 符要出現的次數
*:匹配前面的字符任意次,包括0次
貪婪模式:儘可能長的匹配
.*:任意長度的任意字符
\?:匹配其前面的字符0或1次
\+:匹配其前面的字符至少1次
\{n\}:匹配前面的字符n次
\{m,n\}:匹配前面的字符至少m次,至多n次
\{,n\}:匹配前面的字符至多n次
\{n,\}:匹配前面的字符至少n次
位置錨定:定位出現的位置
^:行首錨定,用於模式的最左側
$:行尾錨定,用於模式的最右側
^PATTERN$: 用於模式匹配整行
^$: 空行
^[[:space:]]*$ :空白行
\< 或 \b:詞首錨定,用於單詞模式的左側
\> 或 \b:詞尾錨定;用於單詞模式的右側
\<PATTERN\>:匹配整個單詞
分組表示:
\(\):將一個或多個字符捆綁在一起,當作一個整體進 行處理,如:\(root\)\+
分組括號中的模式匹配到的內容會被正則表達式引擎記錄 於內部的變量中,這些變量的命名方式爲: \1, \2, \3, ...
\1: 從左側起,第一個左括號以及與之匹配右括號之間 的模式所匹配到的字符
實例:
\(string1\+\(string2\)*\)
\1: string1\+\(string2\)*
\2: string2
後向引用:引用前面的分組括號中的模式所匹配字符(而 非模式本身)
擴展正則表達式
#擴展表達式支持一些新的語法。
egrep = grep -E
擴展正則表達式的元字符:
字符匹配:
. 任意單個字符
[] 指定範圍的字符
[^] 不在指定範圍的字符
次數匹配:
*:匹配前面字符任意次
?: 0或1次
+:1次或多次
{m}:匹配m次
{m,n}:至少m,至多n次
位置錨定:
^ :行首
$ :行尾
\<, \b :語首
\>, \b :語尾
分組:
() 後向引用:\1, \2, …
或者:
a|b
C|cat: C或cat
(C|c)at:Cat或cat
案例練習題:
1、找出ifconfig命令結果中本機的所有IPv4地址
[root@localhost ~]# ifconfig | tr -s " " |head -2 | tail -1 |cut -d: -f2 | cut -d" " -f1
2、查出分區空間使用率的最大百分比值
[root@localhost ~]# df -h | tr -s " " |cut -d" " -f5 | sort -n
3、查出用戶UID最大值的用戶名、UID及shell類型
[root@localhost ~]# cat /etc/passwd | cut -d: -f1,3,7 /etc/passwd |sort -n -t: -k2| tail -1
4、查出/tmp的權限,以數字方式顯示 ?
[root@localhost ~]# stat /tmp/ | tr -s " " |head -4 | tail -1| cut -d/ -f1 | cut -d"(" -f2
5、統計當前連接本機的每個遠程主機IP的連接數,並按從大 到小排序
[root@localhost ~]# netstat -net |tr -s " " | cut -d" " -f5 |cut -d":" -f1 |uniq -c
6、顯示/proc/meminfo文件中以大小s開頭的行;(要求:使 用兩種方式)
[root@localhost ~]# grep -i ^s /proc/meminfo
[root@localhost ~]# grep "^[s|S]" /proc/meminfo
7、顯示/etc/passwd文件中不以/bin/bash結尾的行
[root@localhost ~]# grep -v "/bin/bash" /etc/passwd
8、顯示用戶rpc默認的shell程序
[root@localhost ~]# grep "\<rpc" /etc/passwd -w |cut -d: -f7
9、找出/etc/passwd中的兩位或三位數
[root@localhost ~]# grep "[0-9][0-9][0-9]\?" /etc/passwd
[root@localhost ~]# grep "\<[0-9]\{2,3\}\>" /etc/passwd
10、顯示/etc/grub2.cfg文件中,至少以一個空白字符開頭的 且後面存非空白字符的行
[root@nzg7 ~]# grep "^[[:space:]]\+[^[:space:]]" /etc/grub2.cfg
11、找出“netstat -tan”命令的結果中以‘LISTEN’後跟任意多 個空白字符結尾的行
[root@localhost ~]# netstat -tan | grep "LISTEN[[:space:]]*$"
12、添加用戶bash、testbash、basher以及nologin(其shell爲 /sbin/nologin),而後找出/etc/passwd文件中用戶名同shell名 的行
[root@localhost ~]# grep "^\([^:]\+\>\).*\<\1\>$" /etc/passwd
13、顯示三個用戶root、mage、wang的UID和默認shell
[root@localhost ~]# grep -E "^(root|mage|wang)\b" /etc/passwd |cut -d: -f1,3,7
14、找出/etc/rc.d/init.d/functions文件中行首爲某單詞(包 括下劃線)後面跟一個小括號的行
[root@localhost ~]# grep -E "^[_[:alpha:]]+\(\)" /etc/rc.d/init.d/functions -o
15、使用egrep取出/etc/rc.d/init.d/functions中其基名
[root@localhost ~]# echo "/etc/sysconfig/network-scripts/ifcfg-eth0/" | grep -E "[^/]+/?$" -o |grep -E [^/]+ -o
16、使用egrep取出上面路徑的目錄名
[root@nzg7 ~]# echo "/etc/sysconfig/network-scripts/ifcfg-eno16777736/" | grep -E -o "^/.*[^/]" |grep -E -o "^/.*/"
17、統計以root身份登錄的每個遠程主機IP地址的登錄次數
[root@nzg7 ~]# last |tr -s " "|cut -d" " -f1,3 |grep "^root [[:digit:]]" |sort -n|uniq -c
18、利用擴展正則表達式分別表示0-9、10-99、100-199、 200-249、250-255
[0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5]
19、顯示ifconfig命令結果中所有IPv4地址
[root@localhost ~]# ifconfig |grep -E "(\<([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>\.){3}([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])"