常用文件級別處理命令

文件處理之前，因爲系統限制，需要提前進行預處理，比如文件合併、拆分等

常用文件級別命令

文件合併

直接使用cat命令

cat 1.sql 2.sql 3.sql > merged.sql
cat *.sql > merged.sql

文件拆分

split命令可以把一個文件拆分成多個

• 命令格式

split [OPTION]... [INPUT [PREFIX]]

• 常用選項

-l: 每個文件的行數
-b: 每個文件的大小（字節）
-d: 使用數字作爲序號

• 用例

# 拆分文件，每個文件一行
split -l 1 merged.sql 

# 拆分文件，並且設置文件前綴
split -l1  merged.sql user_

文件內容隨機

shuf命令可以對文件內容行進行隨機變換

shuf -n merged.sql

-n: 最多輸出行數

文件對比

使用comm命令

$ cat file1
line 1
line 2
line 3

$ cat file2
line 3
line 4

$ comm file1 file2
line 1
line 2
                line 3
        line 4

第一列:存在file1，不在file2
第二列:存在file2，不在file1
第三列:共同所有

可以組合使用選項-1,-2,-3分別禁止對應的列輸出，比如

# 輸出file1和file2的共同行
$ comm -13 file1 file2
line 3