Linux中通過Shell對文件中指定行進行增加、刪除、追加、替換

一、在某行(指具體行號)前或後加一行內容

#第4行末尾追加一行,內容爲test
sed -i 'N;4atest' test.txt   
#第4行行首追加一行,內容爲test
sed -i 'N;4itest' test.txt   

#匹配到test字段的行行首插入一行
find . -name test.txt|xargs sed -i '/test/i <!--'   
#匹配到test字段的行行末插入一行
find . -name test.txt|xargs sed -i '/test/a -->'    

#所有行首增加
sed -i 's/^/ABC/' test.txt
#所有行尾添加
sed -i 's/$/XYZ/' test.txt

#第5行添加文件a.txt的內容
sed -i '5 r a.txt' test.txt

#oooo行文件a.txt的內容
sed -i '/oooo/r a.txt' 5.txt

二、刪除操作

#刪除指定行,例如第5行
sed -i '5 d' test.txt

#刪除首行
sed -i '1d' test.txt

#刪除末行
sed -i '$d' test.txt

#刪除空行
sed -i '/^$/d' test.txt

#剔除空格
sed -i 's/[ ]*//g' test.txt

#刪除車符
sed -i 's/^M//g' test.txt

#刪除指定字段的下一行
sed -i '/test/{n;d}' test.txt  #匹配到test字段

#刪除指定字段的上一行
sed -i -e :a -e '$!N;s/.*n(.*test)/1/;ta' -e 'P;d' test.txt    #匹配到test字段

三、其他操作

#將所有的行合併成一行,並用指定字符分割
sed ':a;N;$!ba;s/\n/,/g' test.txt


更多操作,請man sed
示例請參考:http://blog.csdn.net/m0_37886429/article/details/79034190

四、處理以下文件內容的命令

awk '/^ +/{p++}/^?/{t=s=0;v++;k[v]=p;p=0;next}!t&&!/^[0-9]/{s++;a[s]=a[s]?a[s]"\t"$0:$0;}/^[0-9]+/{m[++q]=$0;if($0>n) n=$0}
END{for(i=1;i<=n;i++) {print a[i];if(i<=v) {t=t?t"\t"m[i]:m[i];d=d?d"\t?":"\n?"}}print t,d}'  文件名

執行效果: 


文件內容(截取部分數據,好多內容都是): 


每個問號之間都是文本內容,格式如上圖所示

擴展:用php程序處理這個文件

<?php
$i = 1;
foreach(explode('?',file_get_contents('ab.txt')) as $loop){
    $loop = trim($loop);
    if( !$loop ) continue;
    $cards = array();
    foreach(explode("\n",$loop) as $line){
        if( preg_match('/(\d+)\s([\d\w]+)/',$line,$m) ){
            $count = intval($m[1]);
            $card  = trim($m[2]);
            $cards[$card] = $count;
        }
    }
            $key = ''.implode(' ',array_keys($cards)).'';
            $val = implode(' ',$cards);
//                          $sql = "replace into c2030($key) value($val);\n";
                $sql = "$key\n$val\n";
                echo "$sql";

                    $i++;
}
 

 ———————————————— 

sed是一個很好的文件處理工具,本身是一個管道命令,主要是以行爲單位進行處理,可以將數據行進行替換、刪除、新增、選取等特定工作,下面先了解一下sed的用法 
sed命令行格式爲:

sed [選項] ‘命令’ 輸入文本 
sed [-nefri] ‘command’ 輸入文本

常用選項:

   -n∶使用安靜(silent)模式。在一般sed 的用法中,所有來自 STDIN的資料一般都會被列出到熒幕上。但如果加上 -n 參數後,則只有經過sed特殊處理的那一行(或者動作)纔會被列出來。
   -e∶直接在指令列模式上進行 sed 的動作編輯;
   -f∶直接將 sed 的動作寫在一個檔案內, -f filename 則可以執行 filename 內的sed動作;
   -r∶sed 的動作支援的是延伸型正規表示法的語法。(預設是基礎正規表示法語法)
   -i∶直接修改讀取的檔案內容,而不是由熒幕輸出。       

常用命令:

   a  ∶新增, a 的後面可以接字串,而這些字串會在新的一行出現(目前的下一行)~
   c   ∶取代, c 的後面可以接字串,這些字串可以取代n1,n2 之間的行!
   d   ∶刪除,因爲是刪除啊,所以 d後面通常不接任何咚咚;
   i   ∶插入, i的後面可以接字串,而這些字串會在新的一行出現(目前的上一行);
   p  ∶列印,亦即將某個選擇的資料印出。通常 p 會與參數 sed-n 一起運作~
   s  ∶取代,可以直接進行取代的工作哩!通常這個 s的動作可以搭配正規表示法!例如 1,20s/old/new/g 就是啦!

舉例:(假設我們有一文件名爲ab)

$  sed '1d' ab    #刪除第一行  
$  sed '$d' ab    #刪除最後一行  
$  sed '1,2d' ab   #刪除第一行到第二行 
$  sed '2,$d' ab   #刪除第二行到最後一行

$  sed -n '1p' ab       #顯示第一行 
$  sed -n '$p' ab       #顯示最後一行         
$  sed -n '1,2p' ab     #顯示第一行到第二行    
$  sed -n '2,$p' ab     #顯示第二行到最後一行  

$  sed -n '/ruby/p' ab   #查詢包括關鍵字ruby所在所有行
$  sed -n '/\$/p' ab  #查詢包括關鍵字$所在所有行,使用反斜線\屏蔽特殊含義
$  cat ab  
     Hello!  
     ruby is me,welcome to my blog.  
     end  
$  sed '1a drink tea' ab    #第一行後增加字符串"drink tea"  
     Hello!  
     drink tea  
     ruby is me,welcome to my blog.   
     end  
$  sed '1,3a drink tea' ab    #第一行到第三行後增加字符串"drink tea"    
     Hello!  
     drink tea  
     ruby is me,welcome to my blog.  
     drink tea  
     end  
     drink tea  
$  sed '1a drink tea\nor coffee' ab   #第一行後增加多行,使用換行符\n  
     Hello!  
     drink tea  
     or coffee  
     ruby is me,welcome to my blog.  
     end  

$  sed '1c Hi' ab           #第一行代替爲Hi           
     Hi  
     ruby is me,welcome to my blog.  
     end  
$  sed '1,2c Hi' ab     #第一行到第二行代替爲Hi  
      Hi  
     end  


#格式:sed 's/要替換的字符串/新的字符串/g'   (要替換的字符串可以用正則表達式)  

$  sed -n '/ruby/p' ab | sed 's/ruby/bird/g'    #替換ruby爲bird  
$  sed -n '/ruby/p' ab | sed 's/ruby//g'     #刪除ruby 

$  sed -i '$a bye' ab  在文件ab中最後一行直接輸入"bye"  
$  cat ab  
     Hello!  
     ruby is me,welcome to my blog.  
     end  
     bye  
 ———————————————— 

有時候會有這樣的需求,在指定的行後面或者是前面追加一行,這個時候可以使用sed來完成,具體用法如下
a\ 在指定的行後面追加一行 
b\ 在指定的行前面追加一行

使用指定的行號追加內容,在使用行號的過程中,需要注意的問題有以下
N;後面只能使用偶數,且不可以爲0
a表示在指定的行後面追加一行
i表示在當前行插入一行,如果指定行爲4,其實最終的結果插入行的位置是第三行。
sed -i 'N;2a\newline' 1.txt
sed -i 'N;2i\newline' 1.txt

[root@lanmp shell]# cat << eof > 1.txt
> a
> b
> c
> d
> eof
[root@lanmp shell]# sed -i 'N;2a2222' 1.txt
[root@lanmp shell]# cat 1.txt
a
b
2222
c
d
[root@lanmp shell]# sed -i 'N;2i2222' 1.txt
[root@lanmp shell]# cat 1.txt
2222
a
b
2222
c
d


[root@RS2 shell]# cat 1.txt
1111
3333
[root@RS2 shell]# sed -i '/^1111$/a\2222' 1.txt ; cat 1.txt
1111
2222
3333
[root@RS2 shell]# sed -i '/^1111$/i\0000' 1.txt ; cat 1.txt
0000
1111
2222
3333

下面是把所有匹配的字符都替換爲指定的字符

[root@SLAVE ~]# cat << eof > 1.txt
> 1111
> 222333333
> 44444444445
> eof
[root@SLAVE ~]# sed -i 2{s/2/3/g} 1.txt
[root@SLAVE ~]# cat 1.txt
1111
333333333
44444444445
[root@SLAVE ~]# sed -i 3{s/4/5/g} 1.txt
[root@SLAVE ~]# cat !$
cat 1.txt
1111
333333333
55555555555
 ———————————————— 
 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章