哎,最近連連失利啊。
hadoop集羣啓動jps查看後沒有DATANODE
經常會遇到這樣的情況,hadoop的datanode啓動一陣子後,突然一會又down掉了這樣的現象
主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。
方法:建議查看datanode上面的log信息。解決辦法:刪除data/hadoop/cluster/data/current/VERSION文件後重啓即可
一段時間不用hadoop後或者在虛擬機上運行hadoop的時候,從一個硬盤移動到另一個地方:
一定要用ssh 先無密碼登陸下,因爲是爲了機器把陌生主機名加入信任。。。否則會出現讓你確認是否需要連接的提示:yes/no
linux給用戶添加sudo權限:
有時候,linux下面運行sudo命令,會提示類似:
xxxis not in the sudoers file. This incident will be reported.
這裏,xxx是用戶名稱,然後導致無法執行sudo命令,這時候,如下解決:
進入超級用戶模式。也就是輸入"su -",系統會讓你輸入超級用戶密碼,輸入密碼後就進入了超級用戶模式。(當然,你也可以直接用root用)
添加文件的寫權限。也就是輸入命令"chmod u+w /etc/sudoers"。
編輯/etc/sudoers文件。也就是輸入命令"vim /etc/sudoers",進入編輯模式,找到這一 行:"root ALL=(ALL) ALL"在起下面添加"xxx ALL=(ALL) ALL"(這裏的xxx是你的用戶名),然後保存退出。
撤銷文件的寫權限。也就是輸入命令"chmod u-w /etc/sudoers"。
然後就行了。
HMaster啓動後自動關閉可能有多種原因,按照自己的經驗,可以試着嘗試以下方法:
1. 重新格式化namenode,重啓HMaster看問題是否依舊存在;
2. 檢查/hbase目錄的hdfs權限設置是否有問題;
java.net.ConnectException: Call From db96/192.168.8.96 to db96:49002 failed on connection exception: java.net.ConnectExceptio
n: 拒絕連接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
解決辦法:hbase裏的hbase-site.xml,該處配置要與Hadoop中core-site.xml中dfs端口號配置一致。
Hbase 集羣部署啓動後幾秒自動退出異常處理,
1.Hadoop 與 hbase 版本不兼容,會導致此異常。
2.log 爲 org.apache.hadoop.hbase.TableExistsException: hbase:namespace 異常,
很可能是更換了Hbase的版本過後zookeeper還保留着上一次的Hbase設置,所以造成了衝突。
解決方案:(這裏作者就出現過這個錯誤 搞了好幾個小時才定位到是這個錯誤)
1.切換到zookeeper的bin目錄;
2.執行$sh zkCli.sh
輸入 ls /
4.輸入rmr /hbase
5.quit 退出重啓即可