重拾hadoop hbase知識

哎,最近連連失利啊。

hadoop集羣啓動jps查看後沒有DATANODE

經常會遇到這樣的情況,hadoop的datanode啓動一陣子後,突然一會又down掉了這樣的現象

主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。

方法:建議查看datanode上面的log信息。解決辦法:刪除data/hadoop/cluster/data/current/VERSION文件後重啓即可


一段時間不用hadoop後或者在虛擬機上運行hadoop的時候,從一個硬盤移動到另一個地方:

一定要用ssh 先無密碼登陸下,因爲是爲了機器把陌生主機名加入信任。。。否則會出現讓你確認是否需要連接的提示:yes/no


linux給用戶添加sudo權限: 
有時候,linux下面運行sudo命令,會提示類似: 
xxxis not in the sudoers file.  This incident will be reported. 
這裏,xxx是用戶名稱,然後導致無法執行sudo命令,這時候,如下解決:
進入超級用戶模式。也就是輸入"su -",系統會讓你輸入超級用戶密碼,輸入密碼後就進入了超級用戶模式。(當然,你也可以直接用root用)
添加文件的寫權限。也就是輸入命令"chmod u+w /etc/sudoers"。 
編輯/etc/sudoers文件。也就是輸入命令"vim /etc/sudoers",進入編輯模式,找到這一 行:"root ALL=(ALL) ALL"在起下面添加"xxx ALL=(ALL) ALL"(這裏的xxx是你的用戶名),然後保存退出。
撤銷文件的寫權限。也就是輸入命令"chmod u-w /etc/sudoers"。 
然後就行了。


HMaster啓動後自動關閉可能有多種原因,按照自己的經驗,可以試着嘗試以下方法:
1. 重新格式化namenode,重啓HMaster看問題是否依舊存在;
2. 檢查/hbase目錄的hdfs權限設置是否有問題;


java.net.ConnectException: Call From db96/192.168.8.96 to db96:49002 failed on connection exception: java.net.ConnectExceptio
n: 拒絕連接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

解決辦法:hbase裏的hbase-site.xml,該處配置要與Hadoop中core-site.xml中dfs端口號配置一致。


Hbase 集羣部署啓動後幾秒自動退出異常處理,

1.Hadoop 與 hbase 版本不兼容,會導致此異常。

2.log 爲 org.apache.hadoop.hbase.TableExistsException: hbase:namespace 異常,

很可能是更換了Hbase的版本過後zookeeper還保留着上一次的Hbase設置,所以造成了衝突。

  解決方案:(這裏作者就出現過這個錯誤 搞了好幾個小時才定位到是這個錯誤)
1.切換到zookeeper的bin目錄;

2.執行$sh zkCli.sh

輸入 ls /

4.輸入rmr /hbase

5.quit 退出重啓即可

發佈了73 篇原創文章 · 獲贊 1 · 訪問量 7萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章