1. 正則的概念
正則表達式就是處理字串的方法,他是以行爲單位來進行字串的處理行爲, 正則表達式通過一些特殊符號的輔助,可以讓使用者輕易的達到“搜尋/刪除/取代”某特定字串的處理程序!
2. 基礎正則表達式
-
- grep 工具
正則表達式也需要支持工具程序來輔助纔行,以介紹grep爲例。
grep 的基本用法:
grep [-A] [-B] [--color=auto] '搜尋字串' filename
#auto的選項表示自動加上顏色
# -A 表示after
# -B 表示befor
eg:
dmesg |grep -n -A3 -B2 --color=auto 'qx'
dmesg | grep -n '[^a-z]oo'
字符彙總:
字符 | 意義 |
---|---|
^word | 以此開頭 |
word$ | 以此結尾 |
. | 代表一個字符,如: grep e.e file, //eae eve |
\ | 轉義 |
* | 重複前一個字符: grep e* file // eeeee ee |
[n1- n2] | 如[A-Z] 爲大寫字母 |
[^list] | 列出不要的字串和範圍,[^A-Z] |
{n,m} | 重複前一個字符的次數爲n-m,如g{2,3},ggg |
-
- sed工具
增加和刪除:
sed ' 2,5d' //刪除2-5行
sed '2a drink tea' //第2行下面增加一行
sed '2,5c newcontent' //以行爲單位進行取代,將2-5行內容替換爲一行新內容
sed 's/old/new/g' //搜尋並取代。
取代:
eg: 取出IP地址
ifconfig eth0|grep inet |sed 's/^.*inet //g' |sed 's/ netmask.*$//g'
. 表示任意字符,* 表示任意字符的序列, .*就表示一串任意字符
修改文件內容:
sed 的“ -i ”選項可以直接修改文件內容,如下:
sed -i 's/\.$/\!/g' regular_express.txt
3. 正則表達式的延伸
去除空白行和行首爲#的:
grep -v -E '^$|^#' etcfile
或者: egrep -v '^$|^#' etcfile
4. 文件的格式化與相關處理
通過數據流重定向,配合printf,awk指令。
printf
例如我們要安照下面的版式進行輸出:
Name Chinese English Math Average
DmTsai 80 60 92 77.33
VBird 75 55 80 70.00
Ken 60 90 70 73.33
printf ‘打印格式’ 實際內容
用法類似C語言的printf,
方面的幾個特殊樣式:
\a 警告聲音輸出
\b 倒退鍵(backspace)
\f 清除屏幕 (form feed)
\n 輸出新的一行
\r 亦即 Enter 按鍵
\t 水平的 [tab] 按鍵
\v 垂直的 [tab] 按鍵
\xNN NN 爲兩位數的數字,可以轉換數字成爲字符。
關於 C 程序語言內,常見的變量格式
%ns 那個 n 是數字, s 代表 string ,亦即多少個字符;
%ni 那個 n 是數字, i 代表 integer ,亦即多少整數碼數;
%N.nf 那個 n 與 N 都是數字, f 代表 floating (浮點),如果有小數碼數,
例子:
printf ‘%s\t %s\t %s\t %s\t %s\t \n’ $(cat printf.txt)
awk ,數據處理工具
awk '{print $1 "\t" $3}' file //取出1,3行
– | – |
---|---|
$0 | 表示取出整行的數據 |
NR | 表示該數據的行數 |
NF | 每一行的字段總數 |
FS | 目前的分割字符,默認是空格 |
awk 'BEGIN {FS=" "} $3<10 {print $1 "\t" $3}' file //取出第三列小於10的
Name 1st 2nd 3th
VBird 23000 24000 25000
DMTsai 21000 20000 23000
Bird2 43000 42000 41000
使用awk輸出爲:
Name 1st 2nd 3th Total
VBird 23000 24000 25000 72000.00
DMTsai 21000 20000 23000 64000.00
Bird2 43000 42000 41000 126000.0
命令爲:
cat pay.txt | \
> awk ' {if(NR==1) printf "%10s,%10s,%10s,%10s\n ",$1,$2,$3,$4,"total"} \
> NR>=2 {total=$2+$3+$4
> printf "%10s,%10s,%10s,%10s,%10.2f\n",$1,$2,$3,$4,$total}'
文件比較工具
- diff
1 文件比較:
如,將passwd文件做如下操作:
cat passwd | sed -e '4d' -e '6c no six line' > passwd.nex
diff passwd passwd.nex
2 目錄對比
可以對比整個目錄下的區別
- cmp
以字節爲單位進行對比 - patch
結合diff,產生patch文件,從而,對舊文件進行更新,或者對新文件進行恢復:
diff -Naur passwd.old passwd.new > passwd.patch
patch -p0 <passwd.patch 更新
patch -R -p0 <passwd.patch 恢復