hadoop文件複製命令

      hadoop內置的distcp命令,採用map -reduce的方式對文件進行復制,對於大數據文件夾的複製,特別是文件夾的嵌套式很有效的。

 不需要我們手工指定底層文件夾,即可完成複製。並且複製的結果文件與源文件文件名相同,不會出現part-*的文件的情況。

    但是對於小數據文件,推薦使用hadoop內置的fs -cp命令,當hadoop比較擁擠的時候,啓動一個map -reduce得過程會變得很慢,這就體現出了cp的優勢,直接完成文件的複製,減少了distcp由於啓動map,reduce造成的文件複製的延遲。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章