web控制面板
這是非常直觀的查看我們的集羣狀態和文件系統內容的一個web端的dashboard如果大家安裝過httpd或者其他服務器的話應該就會很好的理解了。
步驟
- 首先打開集羣，具體命令和過程可以參考我原來的blog，然後查看ip地址，然後如果你沒有對端口做任何的配置那麼默認的端口就是50070。那麼直接打開你本機的web瀏覽器輸入IP:50070就得到如下圖所示：
這很簡單。當然別忘記了關閉防火牆、selinux等設置，詳見我以前的blog。
dash主要功能區
這裏我只簡單介紹一下初期需要用到的，首先
這是比較直觀的一些屬性，記錄了集羣的一些基本信息。
然後是summary部分可以直接看到安全模式是否開啓，還有目錄的總個數，塊數等，還用用了多少堆存儲。
然後是比較重要的部分就是summary部分中的對於節點狀態的統計：
大家記住live Node和Dead node這個在調試單點故障中比較便捷和直觀。
這裏我是用的僞分佈模式。
然後點擊：
查看文件目錄：
這是我目前這個僞分佈的文件系統中有的文件，
上面的屬性分別表示
權限—用戶----組----大小----上次更新時間----副本數量----塊大小—名字
（這裏我是用的hdfs設置的一個塊的大小是128M，當然可以自己配置，在xml文件中，老闆的hadoop好像是64M）
上面的搜索框可以搜索你想要的路徑，但是搜索的路徑要使用絕對路徑，前面要加“/”
常用hdfs命令
這是我自己蒐集的，也是怕自己忘記，放在這裏一起參考：
（1）-help：輸出這個命令參數
bin/hdfs dfs -help rm
（2）-ls: 顯示目錄信息
hadoop fs -ls /
（3）-mkdir：在hdfs上創建目錄
hadoop fs -mkdir -p /hdfs路徑
（4）-moveFromLocal從本地剪切粘貼到hdfs
hadoop fs - moveFromLocal 本地路徑 /hdfs路徑
（5）–appendToFile ：追加一個文件到已經存在的文件末尾
hadoop fs -appendToFile 本地路徑 /hdfs路徑
（6）-cat ：顯示文件內容
hadoop fs -cat /hdfs路徑
（7）-tail -f：監控文件
hadoop fs -tail -f /hdfs路徑
（8）-chmod、-chown：linux文件系統中的用法一樣，修改文件所屬權限
hadoop fs -chmod 777 /hdfs路徑
hadoop fs -chown someuser:somegrp /hdfs路徑
（9）-cp ：從hdfs的一個路徑拷貝到hdfs的另一個路徑
hadoop fs -cp /hdfs路徑1 / hdfs路徑2
（10）-mv：在hdfs目錄中移動/重命名 文件
hadoop fs -mv /hdfs路徑 / hdfs路徑
（11）-get：等同於copyToLocal，就是從hdfs下載文件到本地
hadoop fs -get / hdfs路徑 ./本地路徑
（12）-getmerge ：合併下載多個文到linux本地，比如hdfs的目錄 /aaa/下有多個文件:log.1, log.2,log.3,…（注：是合成到Linux本地）
hadoop fs -getmerge /aaa/log.* ./log.sum
合成到不同的目錄：hadoop fs -getmerge /hdfs1路徑 /hdfs2路徑 /
（13）-put：等同於copyFromLocal
hadoop fs -put /本地路徑 /hdfs路徑
（14）-rm：刪除文件或文件夾
hadoop fs -rm -r /hdfs路徑
（15）-df ：統計文件系統的可用空間信息
hadoop fs -df -h / hdfs路徑
（16）-du統計文件夾的大小信息
hadoop fs -du -s -h / hdfs路徑
hadoop fs -du -h / hdfs路徑
（17）-count：統計一個指定目錄下的文件節點數量
hadoop fs -count /aaa/
hadoop fs -count / hdfs路徑
嵌套文件層級； 包含文件的總數
（18）-setrep：設置hdfs中文件的副本數量：3是副本數，可改
hadoop fs -setrep 3 / hdfs路徑
最近太忙了，本來早就該整理了，但是無奈學校大作業和實驗太多了，這幾個月幾乎沒有時間。
我整理的比較倉促，有問題可以評論留言。
下一講，我總結一下java的部分hdfsAPI，不需要用命令行操作啦！！！~~