HDFS常用操作
hadoopdfs -ls 列出HDFS下的文件
hadoop dfs -ls in 列出HDFS下某個文檔中的文件
hadoop dfs -put test1.txt test 上傳文件到指定目錄並且重新命名,只有所有的DataNode都接收完數據纔算成功
hadoop dfs -get in getin 從HDFS獲取文件並且重新命名爲getin,同put一樣可操作文件也可操作目錄
hadoop dfs -rmr out 刪除指定文件從HDFS上
hadoop dfs -cat in/* 查看HDFS上in目錄的內容
hadoop dfsadmin -report 查看HDFS的基本統計信息,結果如下
hadoop dfsadmin -safemode leave 退出安全模式
hadoop dfsadmin -safemode enter 進入安全模式
添加節點
可擴展性是HDFS的一個重要特性,首先在新加的節點上安裝hadoop,然後修改$HADOOP_HOME/conf/master文件,加入 NameNode主機名,然後在NameNode節點上修改$HADOOP_HOME/conf/slaves文件,加入新加節點主機名,再建立到新加節點無密碼的SSH連接
運行啓動命令:
start-all.sh
然後可以通過http://(Masternode的主機名):50070查看新添加的DataNode
負載均衡
start-balancer.sh,可以使DataNode節點上選擇策略重新平衡DataNode上的數據塊的分佈
結束語:遇到問題時,先查看logs,很有幫助。