Hadoop集羣啓動順序和部分命令整理

Hadoop集羣啓動順序

zookeepeer->hadoop->hbase

Hadoop集羣關閉順序

hbase->hadoop->zookeepeer

Hadoop 主備節點狀態查看與手動切換

$HADOOP_HOME/bin/hdfs  haadmin -getServiceState  nn1
注意：此處的nn1爲在hdfs-site.xml中配置的namenode服務的名稱。

$HADOOP_HOME/bin/hdfs  haadmin -failover --forcefence --forceactive  nn2  nn1
注意：此處“nn2  nn1”的順序表示active狀態由nn2轉換到nn1上（雖然nn2在轉化前也可以是standby狀態）。

安全模式

dfsadmin -safemode value 來操作安全模式，參數value的說明如下：
enter - 進入安全模式
leave - 強制NameNode離開安全模式
get  - 返回安全模式是否開啓的信息
wait  - 等待，一直到安全模式結束。

塊丟失修復

使用 hadoop fsck / 列出損壞文件

損壞的文件無法恢復，只能刪除損壞的文件  hadoop fsck -delete

在namenode文件信息較大的時候會很慢，而且影響hadoop性能

Usage: hadoop fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]
        <path>  檢查的起始目錄
        -move   將損壞的文件移到到/lost+found
        -delete 刪除損壞的文件
        -files  打印出所有被檢查的文件
        -openforwrite   打印出正在寫的文件
        -list-corruptfileblocks print out list of missing blocks and files they belong to
        -blocks 打印出block報告
        -locations      打印出每個block的位置
        -racks  打印出data-node的網絡拓撲結構
默認情況下，fsck會忽略正在寫的文件，使用-openforwrite可以彙報這種文件