HDFS常用操作

HDFS常用操作

 

hadoopdfs -ls 列出HDFS下的文件
hadoop dfs -ls in 列出HDFS下某個文檔中的文件
hadoop dfs -put test1.txt test 上傳文件到指定目錄並且重新命名,只有所有的DataNode都接收完數據纔算成功
hadoop dfs -get in getin 從HDFS獲取文件並且重新命名爲getin,同put一樣可操作文件也可操作目錄
hadoop dfs -rmr out 刪除指定文件從HDFS上
hadoop dfs -cat in/* 查看HDFS上in目錄的內容
hadoop dfsadmin -report 查看HDFS的基本統計信息,結果如下
hadoop dfsadmin -safemode leave 退出安全模式
hadoop dfsadmin -safemode enter 進入安全模式

 

添加節點

可擴展性是HDFS的一個重要特性,首先在新加的節點上安裝hadoop,然後修改$HADOOP_HOME/conf/master文件,加入 NameNode主機名,然後在NameNode節點上修改$HADOOP_HOME/conf/slaves文件,加入新加節點主機名,再建立到新加節點無密碼的SSH連接

運行啓動命令:

start-all.sh

然後可以通過http://(Masternode的主機名):50070查看新添加的DataNode

負載均衡

start-balancer.sh,可以使DataNode節點上選擇策略重新平衡DataNode上的數據塊的分佈

 

結束語:遇到問題時,先查看logs,很有幫助。

發佈了1 篇原創文章 · 獲贊 2 · 訪問量 9萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章