前言
公司需要輸送給網安部一批數據集,共計1550w張圖片,大約3,5T。 處理過程中同時參考網上的一些方法的實踐總結。
1:快速大量小文件複製
a. 本機不同磁盤之間複製:
-
複製目錄
$ tar cvf – /home/src_dir | tar xvf – -C /opt
-
複製文件
$ tar cf – access.log |tar xf – -C /opt
Tips:快速tar打包的一些小技巧以及常用的tar使用
-
tar 快速打包(僅打包不壓縮傳輸比較快)
-
step1:從文件中生成文件列表
$ find . -name '*.jpg' -print > jpg.txt **** 匹配多個後綴格式 $ find . -regex '.*\.png\|.*\.jpeg\|.*\.jpg' -print >jpg.txt
-
若生成的文件列表比較大,可以藉助split拆分成小文件進行並行打包. 若文件數較小,可忽略此步驟。
#將 文件 jpg.txt 分成若干個小文件,每個文件500000行(-l 500000),文件前綴爲xiu_ ,係數不是字母而是 數字(-d),後綴係數爲四位數(-a 4) $ split -l 500000 ../ jpg.txt -d -a 4 xiu_
-
step2: tar怎麼從文件中讀取文件列表呢?查了很久,用 -T
-T, --files-from F get names to extract or create from file F
tips: 注意這裏不要加 -v參數啦,對於大量文件,控制檯輸出是很浪費時間的...
$ tar -czf jpg.tar.gz -T yourfile **** 不壓縮的話,可以直接打包, 比較快。 $ tar -cf jpg.tar.gz -T yourfile
-
-
tar 常用的一些命令
-
解包
$ tar xvf FileName.tar ## 或者 不輸出文件,比較快 $ tar xf FileName.tar
-
不解包查看打包內容
$ tar tvf FileName.tar
-
不解包統計打包內容文件數以及文件夾
### 統計文件數 $ tar tvf FileName.tar |grep "^-"|wc -l ### 統計文件加 $ tar tvf FileName.tar |grep "^d"|wc -l
-
b. 跨網絡不同主機之間複製 tar+nc:
思路:在網絡環境中傳輸時,打包再結合nc命令,通過管道和tcp端口進行傳輸。
比如 A往B主機傳輸數據
i. 在機器B上,用nc來監聽一個端口,任意都行,只要不被佔用;並且將收到的數據用tar展開。-l代表監聽模式。
$ nc -l 34183 |tar -C /data1datasets/norm/ -zxf -
ii. 接着,在A上通過nc和 tar發送data_01目錄。使用一致的34183的端口。
$ tar -zcvf - data_01 |nc 192.168.0.1 34183
2:快速刪除大量小文件 或者 大文件
2.1: 快速刪除大量小文件
rsync提供了一些跟刪除相關的參數
rsync --help | grep delete
--del an alias for --delete-during
--delete delete files that don't exist on the sending side
--delete-before receiver deletes before transfer (default)
--delete-during receiver deletes during transfer, not before
--delete-after receiver deletes after transfer, not before
--delete-excluded also delete excluded files on the receiving side
--ignore-errors delete even if there are I/O errors
--max-delete=NUM don't delete more than NUM files
其中--delete-before 接收者在傳輸之前進行刪除操作
可以用來清空目錄或文件,如下:
1. 建立一個空目錄
mkdir -p /del_blank
2. 確立需要清空的目標目錄
/del_data
3. 使用rsync同步刪除(注意目錄後面的“/”),整體效率會快一個數量級的樣子。
rsync --delete-before -a -H -v --progress --stats /del_blank /del_data
選項說明:
–delete-before 接收者在傳輸之前進行刪除操作
–progress 在傳輸時顯示傳輸過程
-a 歸檔模式,表示以遞歸方式傳輸文件,並保持所有文件屬性
-H 保持硬連接的文件
-v 詳細輸出模式
-stats 給出某些文件的傳輸狀態
一般我們不需要顯示進度,使用以下命令即可
rsync --delete-before -a -H /del_blank /del_data
這樣我們要刪除的 del_data目錄就會被清空了
2.2: 快速刪除大文件
如何刪除特別大的文件(數量級),比如nohup.out這樣的實時更新的文件,動輒都是幾十個G上百G的,也可
以用rsync來清空大文件,而且效率比較高 。
1、創建空文件
touch /data/blank.txt
2、用rsync清空文件
rsync -a --delete-before --progress --stats /data/blank.txt ./nohup.out
building file list ...
1 file to consider
blank.txt
0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)
Number of files: 1
Number of files transferred: 1
Total file size: 0 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 27
File list generation time: 0.006 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 73
Total bytes received: 31
sent 73 bytes received 31 bytes 208.00 bytes/sec
total size is 0 speedup is 0.00
** tips:
當SRC和DEST文件性質不一致時將會報錯
當SRC和DEST性質都爲文件【f】時,意思是清空文件內容而不是刪除文件
當SRC和DEST性質都爲目錄【d】時,意思是刪除該目錄下的所有文件,使其變爲空目錄
最重要的是,它的處理速度相當快,處理幾個G的文件也就是秒級的事
最核心的內容是:rsync實際上用的就是替換原理
參考鏈接: