有一次需要將一個文件上傳到海外的服務器,該文件有10多G,由於網絡很慢,而且不穩定,以及斷點續傳等問題,直接上傳文件幾乎是很難搞定的。
解決辦法就是,先將文件分割爲小文件,然後上傳,上傳完畢後再進行文件合併。而且上傳時對這一批小文件可以併發執行上傳,上傳效率也更高了。
1. 使用split命令分割文件:
split -b 15m sourcefile.tar -d -a 5
解釋:
-b 15m:每15m分割爲一個小文件
-d:分割出來的小文件使用數字作爲文件後綴,例如x000、x001、x002
-a 5:數字後綴的長度爲5
使用以上命令,sourcefile.tar將被分割爲:
x00000、x00001、x00002 ……
2. 上傳
3. 合併文件:
cat x* >> targetfile.tar
4. 校驗文件:
md5sum sourcefile.tar
md5sum targetfile.tar
兩邊文件的md5值相等,完畢!