Hadoop - HDFS 命令

   如下是常用的HDFS命令，用於上傳文件、刪除HDFS上的目錄、啓動一個作業等操作。

一、hadoop命令

1.1 hadoop fs

   hadoop fs 系列指令是對HFDS文件系統的操作，類似於linux文件系統的操作，比如查看目錄結構 hadoop fs -ls / ，再比如上傳一個文件 hadoop fs -put xxx.log /。
  注意， hadoop fs -ls 後面不加地址，默認顯示的是HDFS:/user/${user}/下的內容。${user}就是運行 hadoop fs -ls 的linux用戶名。

1.2 hadoop version

   查看hadoop版本信息等等。

1.3 hadoop jar（儘量用yarn jar）

   用於運行一個jar包，用於任務提交、測試jar等。

1.4 hadoop checknative

   顯示hdfs上哪些壓縮的存儲方式。

1.5 hadoop classpath

   顯示hadoop java的環境。用於顯示、增加jar庫位置的環境變量。

二、hdfs命令

2.1 hdfs dfs

   其實就是hadoop fs 命令

2.2 hdfs namenode -format

   將linux文件目錄格式成dfs文件系統，這個只在第一次namenode初始化的時候使用。

2.3 hdfs dfsadmin

   這也是一個命令集，常用帶-safemode 這個參數，這個參數進入或離開安全模式。還有-report這個參數，報告集羣狀態。

2.4 hdfs fsck

   用來檢查集羣文件損壞的塊狀況。

三、yarn命令

3.1 yarn application -list

   這個命令查看正在作業的任務狀態和信息。

3.2 yarn application -kill xxxx_jobappid

   這個命令是殺死正在作業的任務。

3.3 yarn jar

   提交jar包，進行計算。

輔助知識點

1、垃圾回收

   hadoop有一個像windows一樣的垃圾回收站功能，就是說，你刪除一個hdfs上的一個文件，可以還原該文件。叫做trash機制

1、打開trash機制 修改core-site.sh 在每一個節點上

<property>
<!--。。。。-->
    <name>fs.trash.checkpoint.interval</name>
    <value>0</value>
</property>

<property>
<!--在垃圾箱內多長時間會被刪除-->
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

2、重啓下
3、操作
如果刪除，實際是移到了.Trash的文件夾（回收站），要還原，只需要在用hdfs dfs -mv 移出來就好了。
4、如果想直接刪除
hdfs dfs -rm -skipTrash 跳過垃圾回收箱