一、文本處理工具
1.文本查看命令
cat [OPTION]… [FILE]…
-n 顯示行號
-b 空格行不加行號，有字符的行才加
-s 相鄰的空行壓縮爲一行，長和-n聯用
-v 處理windows中的^M
-T 可以看到tab\space
-A 顯示所有控制符（包括windows文本中的^M,^T）
-E 顯示行結束符$ （回車）
tac [OPTION]… [FILE]… 將每個指定文件按行倒置並寫到標準輸出。
效果與cat 相反
rev 將指定文件從最後一個字符開始顯示到第一個字符。
效果比較：
2.分頁查看文件內容
more 分頁查看文件(無法向前面翻， 只能往後面看)
more [OPTIONS…] FILE…
-d: 顯示翻頁及退出提示
常用快捷操作：
Enter 向下n行，需要定義。默認爲1行
Ctrl+F 向下滾動一屏
空格鍵 向下滾動一屏
Ctrl+B 返回上一屏
= 輸出當前行的行號
：f 輸出文件名和當前行的行號
V 調用vi編輯器
!cmd 調用Shell，並執行命令
q 退出more
less 一頁一頁地查看文件或STDIN輸出(與more類似，但是支持上下翻)
常用快捷操做：
/字符串：向下搜索“字符串”的功能
?字符串：向上搜索“字符串”的功能
n：重複前一個搜索（與 / 或 ? 有關）
N：反向重複前一個搜索（與 / 或 ? 有關）
b 向後翻一頁
d 向後翻半頁
h 顯示幫助界面
Q 退出less 命令
u 向前滾動半頁
y 向前滾動一行
空格鍵 滾動一行
回車鍵 滾動一頁
[pagedown]： 向下翻動一頁
[pageup]： 向上翻動一頁
3.顯示文本前、後行內容
head 顯示指定文件的開頭至標準輸出中
head [OPTION]… [FILE]…
-c #: 指定獲取前#字節
-n #: 指定獲取前#行
-#： 指定行數
tail 顯示指定文件的結尾至標準輸出中
tail [OPTION]… [FILE]…
-c #: 指定獲取後#字節
-n #: 指定獲取後#行
-#： 指定從結尾開始的#行內容
+#： 指定從開頭開始的#行內容
-f: 跟蹤顯示文件新追加的內容,常用日誌監控
常用方法：tail -n 0 -f file & （放入後臺跟蹤文件新追加的內容，有新加入內
容則彈出）
4.文本抽取、合併
cut [OPTION]… [FILE]… 按列抽取文本指定內容
-d 分隔符 : 指明分隔符，默認tab
-f FILEDS:
#: 第#個字段
m,n [ ,#]：離散的多個字段，例如1,3,6
m-n：連續的多個字段, 例如1-6
混合使用： 1-3,7 取1至3，第七字段
-c 按字符切割
-c M-N 取第M-N個字符之間的內容
–output-delimiter=STRING指定輸出分隔
使用示例：
cut -d: -f1 /etc/passwd
cat /etc/passwd | cut -d: -f7
cut -c2-5 /usr/share/dict/words
paste 合併兩個文件同行號的列到一行
paste [OPTION]… [FILE]…
-d 分隔符 :指定分隔符，默認用TAB
-s : 所有行合成一行顯示
使用示例
文件f1: 文件f2 :
1 a
2 b
3 c
4 d
5.文本數據統計
wc 統計指定文件中的字節數、單詞數、行數, 並將統計結果顯示輸出
直接使用 wc file —>
行數 字數 字符數（= 字節數）
常用選項：
-c, –bytes統計字節數
-m, –chars 統計字符數
-l, –lines 統計行數
-L, –max-line-length 統計最長行的長度
-w, –words 統計單詞數
6.文本排序
sort 把整理過的文本顯示在STDOUT，不改變原始文件
$ sort [options] file(s)
常用選項
-r 執行反方向（由上至下）整理
-n 執行按數字大小整理
-f 選項忽略（ fold）字符串中的字符大小寫
-u 選項（獨特， unique）刪除輸出中的重複行
-t c 選項使用c做爲字段分隔符
-k X 選項按照使用c字符分隔的X列來整理能夠使用多次
uniq命令：從輸入中刪除重複的前後相接的行
uniq [OPTION]… [FILE]…
-c: 顯示每行重複出現的次數；
-d: 僅顯示重複過的行；
-u: 僅顯示不曾重複的行；
連續且完全相同方爲重複
常和sort 命令一起配合使用：
sort userlist.txt | uniq -c
7.文件比較
比較兩個文件之間的區別
$ diff foo.conf-broken foo.conf-works
5c5
< use_widgets = no
—
> use_widgets = yes
註明第5行有區別（改變）
diff 命令的輸出被保存在一種叫做“補丁”的文件中
使用 -u 選項來輸出“統一的（ unified）” diff格式文件，最適用於補丁文件。
patch 命令複製在其它文件中進行的改變（要謹慎使用！）
適用 -b 選項來自動備份改變了的文件
$ diff -u foo.conf-broken foo.conf-works > foo.patch
#將兩個文件的不同之處保存至備份文件中
$ patch -b foo.conf-broken foo.patch #恢復備份信息
二、正則表達式
1.grep: Global search REgular expression and Print out the line.
作用：文本搜索工具，根據用戶指定的“模式”對目標文本逐行進行匹配檢查；
打印匹配到的行；
模式：由正則表達式字符及文本字符所編寫的過濾條件
grep [OPTIONS] PATTERN [FILE…]
使用示例：
grep root /etc/passwd
grep "$USER" /etc/passwd
grep '$USER' /etc/passwd
grep `whoami` /etc/passwd
常用選項：
–color=auto: 對匹配到的文本着色顯示；
(CentOS7中，默認已經使用命令別名
alias grep = grep –clor=auto)
-v: 顯示不能夠被pattern匹配到的行；
-i: 忽略字符大小寫
-n： 顯示匹配的行號
-c: 統計匹配的行數
-o: 僅顯示匹配到的字符串；
-q: 靜默模式，不輸出任何信息
-A #： after, 後#行
-B #: before, 前#行
-C #： context, 前後各#行
-e：實現多個選項間的邏輯or關係
eg: grep –e ‘cat ’ -e ‘dog’ file
-w：整行匹配整個單詞
-E：使用ERE 拓展表達式
2.正則表達式
REGEXP：由一類特殊字符及文本字符所編寫的模式，其中有些字符（元字符）不表示字符字
面意義，而表示控制或通配的功能
程序支持： grep, vim, less,nginx等
分類：
基本正則表達式： BRE
擴展正則表達式： ERE
grep -E, egrep
正則表達式引擎：
採用不同算法，檢查處理正則表達式的軟件模塊PCRE（ Perl Compatible Regular
Expressions）
元字符分類：字符匹配、匹配次數、位置錨定、分組
幫組信息： man 7 regex
字符匹配:
. ： 匹配任意單個字符；
[ ] ： 匹配指定範圍內的任意單個字符
[^] ：匹配指定範圍外的任意單個字符
[:digit:]、 [:lower:]、 [:upper:]、 [:alpha:]、 [:alnum:]、 [:punct:]、 [:space:]
匹配次數：用在要指定次數的字符後面，用於指定前面的字符要出現的次數
*：匹配前面的字符任意次，包括0次
貪婪模式：儘可能長的匹配
.*：任意長度的任意字符
\?：匹配其前面的字符0或1次
\+：匹配其前面的字符至少1次
\{m\}：匹配前面的字符m次
\{m,n\}：匹配前面的字符至少m次，至多n次
\{,n\}：匹配前面的字符至多n次
\{m,\}：匹配前面的字符至少m次
位置錨定：定位出現的位置
^：行首錨定，用於模式的最左側
$：行尾錨定，用於模式的最右側
^PATTERN$: 用於模式匹配整行
^$: 空行
^[[:space:]]*$ ：空白行
\< 或 \b：詞首錨定，用於單詞模式的左側
\> 或 \b：詞尾錨定；用於單詞模式的右側
\<PATTERN\>：匹配整個單詞
分組：
\(\)：將一個或多個字符捆綁在一起，當作一個整體進行處理，
如： \(root\)\+
分組括號中的模式匹配到的內容會被正則表達式引擎記錄於內部的變量中，
這些變量的命名方式爲: \1, \2, \3, …\1: 從左側起，
第一個左括號以及與之匹配右括號之間的模式所匹配到的字符；
實例： \(string1\+\(string2\)*\)
\1: string1\+\(string2\)*
\2: string2
後向引用：引用前面的分組括號中的模式所匹配字符(而非模式本身)
3.egrep 拓展正則表達式
egrep = grep -E
egrep [OPTIONS] PATTERN [FILE…]
擴展正則表達式的元字符：
字符匹配：
. 任意單個字符
[] 指定範圍的字符
[^] 不在指定範圍的字符
次數匹配：
*：匹配前面字符任意次
?: 0或1次
+： 1次或多次
{m}：匹配m次
{m,n}：至少m，至多n次
位置錨定：
^ :行首
$ :行尾
\<, \b :語首
\>, \b :語尾
分組：
( )
後向引用： \1, \2, …
或者：
a|b
C|cat: C或cat
(C|c)at:Cat或cat