讓遠程傳輸大文件變得更快

我是在兩臺虛擬機做的測試。


如果用傳統SCP遠程拷貝,速度是比較慢的,如圖:

225134616.jpg


現在採用lz4壓縮傳輸。LZ4是一個非常快的無損壓縮算法,壓縮速度在單核300MB/S,可擴展支持多核CPU。它還具有一個非常快速的解碼器,速度單核可達到和超越1GB/S。通常能夠達到多核系統上的RAM速度限制。

225329569.jpg

項目主頁:http://code.google.com/p/lz4/


安裝(在本地和遠程均安裝lz4壓縮工具)

# wget https://dl.dropboxusercontent.com/u/59565338/LZ4/lz4-r108.tar.gz

# cd lz4-r108/

# make;make install


遠程傳輸

time tar -c aa.img |pv|lz4 -B4|ssh 192.168.17.129 "lz4 -d |tar -xC /root/"

225705201.jpg

傳輸2G的文件,速度是119M/S,花費了17秒傳輸完畢。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章