Hadoop安裝,問題彙總

1. 通過start-all.sh啓動時,datanode節點提示 /home/jason/soft/jdk1.6.0_43/bin/jre/lib/i386/client/libjvm.so: cannot restoresegment prot after reloc: Permission denied 

這個問題 linux的防火牆沒有關閉,導致namenode不能正常啓動datanode的JVM,需要關閉防火牆。

編輯/etc/selinux/config,找到這段:

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - SELinux is fully disabled.
SELINUX=enforcing 
把 SELINUX=enforcing 註釋掉:#SELINUX=enforcing ,然後新加一行爲:
SELINUX=disabled
保存,關閉。
......

編輯/etc/sysconfig/selinux,找到:

#This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - SELinux is fully disabled.
SELINUX=enforcing 
如果SELINUX已經是 SELINUX=disabled,那麼就不用改了,否則就把SELINUX=enforcing 註釋掉,新加一行:
SELINUX=disabled
保存,退出。

如果你碰到其他類似提示:
cannot restore segment prot after reloc: Permission denied
哪應該是SELinux的問題,可以考慮把它關閉。
-------------------------------------------------------------------------------------
鬱悶的是.我把SELinux關閉後還是不行.於是到google上search.發現這個很有用.
在你保證SElinux 被disable後.還執行下
chcon -t texrel_shlib_t 
如: chcon -t texrel_shlib_t /路徑/路徑/名字.so   (這個文件視具體執行文件.)

以上兩步.已經解決了很多server的問題了


2. DateNode啓動錯誤。通過查詢日誌,顯示

 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-66793784-127.0.0.1-1409789958067 (storage id DS-499334816-127.0.0.1-50010-1409712932571) service to cloud001/192.168.243.132:9000
java.io.IOException: Incompatible clusterIDs in /usr/hadoop-2.2.0/data: namenode clusterID = CID-63b4cb6c-7a02-408a-9592-f7a910f35b1f; datanode clusterID = CID-f4dd9415-b3b3-4272-b23f-f5fab03fbf1c
此類就是因爲namenode 和datanode的clusterID不一致導致。

修改辦法:

解決方法一:刪除 datanode 的所有資料,主要指的是tmp目錄和data目錄,適用沒存放過任何資料的HDFS;
解決方法二:修改 datanode 的 namespaceID
編輯每臺 datanode 的 hadoop.tmp.dir/hadoop/hadoop-root/dfs/data/current/VERSION 把ID改爲和namenode一致,重啓datanode,數據會丟失。


3. 目前發現有一個警告,還不知道原因:請各位大神給予答案。

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
starting yarn daemons
很多網友說是版本等問題。我這邊版本都是32爲的操作系統,32位的JDK,Hadoop。

訪問:8088、50070等JSP頁面都是沒有問題。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章