基於HDFS的FTP

原文地址：http://blog.sina.com.cn/s/blog_3dbab2840100w2be.html
一家公司使用apache的ftpserver開發框架開發了針對hadoop的hdfs文件系統的ftp服務器,當然是開源的.站點:http://www.hadoop.iponweb.net/Home/hdfs-over-ftp

安裝過程非常簡單,本人只是在linux下安裝過,windows下沒有成功安裝,linux下安裝步驟如下:
1.下載安裝文件並解壓
http://www.hadoop.iponweb.net/Home/hd ... tp.tar.bz2?attredirects=0

tar zxvf hdfs-over-ftp.tar.bz2

2.配置
軟件根目錄下的hdfs-over-ftp.conf
設置hdfs-uri的值
hdfs-uri = hdfs://hdfs的namenode的地址:9000

3.用戶的設置
軟件根目錄下的users.conf
缺省用戶好象不能login,在文件最後增加如下內容(用戶和密碼都是hadoop)
ftpserver.user.hadoop.userpassword=0238775C7BD96E2EAB98038AFE0C4279
ftpserver.user.hadoop.homedirectory=/
ftpserver.user.hadoop.enableflag=true
ftpserver.user.hadoop.writepermission=true
ftpserver.user.hadoop.maxloginnumber=0
ftpserver.user.hadoop.maxloginperip=0
ftpserver.user.hadoop.idletime=0
ftpserver.user.hadoop.uploadrate=0
ftpserver.user.hadoop.downloadrate=0
ftpserver.user.hadoop.groups=hadoop,users

密碼使用md5生成,JAVA代碼如下
PasswordEncryptor passwordEncryptor = new Md5PasswordEncryptor();
System.out.println(passwordEncryptor.encrypt("hadoop"));

4.log的設置
軟件根目錄下的log4j.conf
和普通的Log4j一樣的設置

5.啓動和停止方法
./hdfs-over-ftp.sh start
./hdfs-over-ftp.sh stop

6.測試結果
只有權限設置不能用,其它常用的ftp命令都能正常執行
而且上傳下載速度甚至比直接使用hadoop的shell還快,當然要在網絡環境一樣的情況下