LINUX下SHELL大雜燴

1.  統計行中關鍵字的出現次數（不重複）

cat  filename  |grep -Eo "uid:[0-9]+"  |awk -F: '{print $2}'  |sort -u  |wc -l 
數據例子：

play_type:local|sid:2731612721|road_ids:|startup_time:0.0|play_time:0.8|song_time:219.0|block_times:0|version:DM5.0.9.00_A1.6|channel:TG60106|device_type:LGELG-P990|uid:21336951

play_type:online|sid:25482377|road_ids:Lrk.L11505922|startup_time:0.57|p
lay_time:203|song_time:234|block_times:0|version:DM5.0.5.00_I3.0|channel:TG7518
7|device_type:iPhone+4S|uid:282049852

 

2.  邏輯運算

 1）或操作
   grep -E  '123|abc'  filename   // 找出文件（filename）中包含123或者包含abc的行
 2）與操作
   grep -E  '(ABC.*XYZ|XYZ.*ABC)'  finename    //查找ABC並且XYZ

 

3.  兩個文件的交集，並集

前提條件：每個文件中不得有重複行

  1）取出兩個文件的並集(重複的行只保留一份)

  cat file1 file2 | sort | uniq > file3

  2）取出兩個文件的交集(只留下同時存在於兩個文件中的文件)

  cat file1 file2 | sort | uniq -d > file3

  3）刪除交集，留下其他的行

  cat file1 file2 | sort | uniq -u > file3