hadoop命令

壓縮中間結果命令：
hive -e "SET mapreduce.map.output.compress=true; SET mapred.map.output.compress.codec = org.apache.hadoop.io.compress.SnappyCodec; <query-string>"

hadoop fs -help
1.   hadoop fs -ls '/home/ask/answers/pdate=2014-12-18/'
#列出路徑指定的目錄中的內容，示出了名稱，權限，擁有者，大小和修改日期的每個條目。

2.   hadoop fs -lsr '/home/ask/answers/pdate=2014-12-18/'
#行爲類似於-ls，但遞歸顯示路徑的所有子目錄項。

3.   hadoop fs -du '/home/ask/answers/pdate=2014-12-18/'
#顯示磁盤使用率，以字節爲單位，對所有的文件，這些文件匹配的路徑;文件名報告使用完整HDFS協議前綴。

4.   hadoop fs -dus '/home/ask/answers/pdate=2014-12-18/'
#類似-du，但打印路徑中的所有文件/目錄的磁盤使用情況的摘要。

5.   hadoop fs -mv '/home/ask/answers/pdate=2014-12-18/' '/histo'
#通過移動表示src到dest，在HDFS的文件或目錄。

6.   hadoop fs -cp '/home/ask/answers/pdate=2014-12-18/' '/histo'
#在HDFS複製確定src中的文件或目錄到dest。

7.   hadoop fs -rm '/home/ask/answers/pdate=2014-12-18/'
#刪除文件或路徑標識的空目錄。

8.   hadoop fs -rmr '/home/ask/answers/pdate=2014-12-18/'
#刪除路徑標識的文件或目錄。遞歸刪除所有子條目（例如，文件或路徑的子目錄）。

9.   hadoop fs -put './local' '/histo'
#從本地localSrc文件系統中的DFS標識文件或目錄內複製到dest。

10.   hadoop fs -copyFromLocal './local' '/histo'
#等同於-put

11.   hadoop fs -moveFromLocal './local' '/histo'
#從標識 localSrc本地文件系統中的文件或目錄中HDFS複製到dest，然後刪除本地副本上成功。

12.   hadoop fs -get '/histo' './local'
#拷貝標識 src來確定HDFS文件或目錄,get只能複製一個文件, localDest本地文件系統路徑

13.  hadoop fs -getmerge '/histo' './local'
#檢索匹配的路徑的src HDFS中的所有文件，並將它們複製合併文件到標識localDest本地文件系統中。

14.   hadoop fs -cat '/home/ask/answers/pdate=2014-12-18/answers_2014-12-18.txt'
#顯示在標準輸出文件名的內容。

15.   hadoop fs -copyToLocal <src> <localDest>
#等同於 -get

16.   hadoop fs -moveToLocal <src> <localDest>
#工作方式類似於-get，但刪除HDFS複製成功。

17.   hadoop fs -mkdir <path>
#在創建一個HDFS命名的目錄路徑。創建任何父目錄的路徑丟失（例如，命令mkdir-p在Linux中）。

18.   hadoop fs -setrep [-R] [-w] rep <path>
#設置標識路徑代表文件的目標文件複製因子。 （實際的複製因子會向着隨着時間的推移目標移動）

19.   hadoop fs -touchz <path>
#創建在路徑包含當前時間作爲時間戳的文件。失敗如果文件已經存在於路徑，除非文件已經大小爲0。

20.   hadoop fs -test -[ezd] <path>
#返回1，如果路徑存在;長度爲零;或者是一個目錄，否則爲0。

21.   hadoop fs -stat [format] <path>
#打印有關的路徑信息。格式是接受塊文件大小（％b），文件名（％n），塊大小（%o），複製（％r）和修改日期（％y，％Y）的字符串。

22.   hadoop fs -tail [-f] <file2name>
#顯示在標準輸出文件的最後1KB。

23.   chmod [-R] mode,mode,... <path>...
#變化符合路徑標識的一個或多個對象關聯的文件權限....遞歸執行變更與R.模式是3位八進制模式，或{augo}+/-{rwxX}。假設如果沒有指定範圍，則不適用umask。

24.   chown [-R] [owner][:[group]] <path>...
#設置擁有用戶和/或組標識路徑的文件或目錄....設置所有者遞歸，如果指定-R。

25.   hadoop fs -chgrp [-R] group <path>...
#設置所屬組標識路徑的文件或目錄....設置組遞歸，如果指定-R。

26.   hadoop fs -help <cmd-name>
#返回使用上面列出的命令之一信息。必須省略了'-' 字符在cmd。