Centos7配置java+hadoop+mysql+hive+zookeeper+kafka+hbase+kylin+scala+spark+superset+sqoop及報錯解決

使用版本

磁盤需要有足夠的空間。
Centos7（可自行搜索下載） https://www.centos.org/download/
java1.8.0
hadoop2.7.6
mysql5.7.26
hive2.3.2
hbase1.4.9
kylin2.6.3
scala2.12.2
spark2.1.1
superset通過pip安裝
sqoop1.4.7

安裝

Centos7

https://blog.csdn.net/qq_28356739/article/details/88569175

虛擬機配置靜態ip地址
https://blog.csdn.net/yu0_zhang0/article/details/78756160

• 配置hadoop時出現錯誤
  vi /etc/hadoop
bash: bin/hadoop: Permission denied
  原因爲權限不夠，chmod u+x /etc/hadoop 後可以解決。

• 在替換{system:java.io.tmpdir}爲自己創建的目錄：/root/hive/tmp和 {system:user.name}改爲用戶：root時，替換沒有完全替換乾淨，符號沒有替換，導致出錯，將$刪除，重新啓動hive

• Datanode無法啓動導致kylin無法啓動
  在/hadoop/logs/hadoop-root-datanode-hadoop.log裏找到namenode clusterID，複製它的值。在hdfs/data/下編輯current/VERSION，將clusterID的值替換爲之前複製的值。

• Namenode無法啓動
  更改爲如下配置

vi etc/hadoop/hdfs-site.xml:
		<configuration>
			<property>
				<name>dfs.replication</name>
				<value>1</value>
			</property>
			<property>
				<name>dfs.permissions.enabled</name>
				<value>false</value>
			</property>
		</configuration>


bin/hdfs namenode -format

• 啓動kylin時報錯：
  Check hive's usability failed, please check the status of your cluster [5]- 退出 1 nohup hive --service metastore >> ~/metastore.log 2>&1
  重啓一次虛擬機好了。

• zookeeper啓動失敗：
  刪除/hadoop/zookeeper/dataDir文件夾除了myid之外的內容
  在 bin 目錄下的 zkCli.sh 就是ZooKeeper客戶端
  bin/zkCli.sh -timeout 5000 -server　　客戶端與ZooKeeper建立鏈接
  連接上去後，刪除兩個表
  deleteall /kylin/kylin_metadata
deleteall /hbase/table/kylin_metadata
  然後重啓kylin，解決kylin啓動時報錯Failed to find metadata store by url: kylin_metadata。

• HMaster啓動後自動關閉，重新查看hadoop配置發現有錯誤（？
  重新配置hadoop

安裝superset
https://blog.csdn.net/finejade1027/article/details/93132046
https://blog.csdn.net/wangshuminjava/article/details/81739517
https://blog.csdn.net/lsq129/article/details/84105776

mkdir /var/lib/accumulo
echo "export ACCUMULO_HOME=/var/lib/accumulo" >>/etc/profile
source /etc/profile

啓動

hadoop

/hadoop/sbin/start-all.sh
mr-jobhistory-daemon.sh start historyserver

http://192.168.133.129:8088
http://192.168.133.129:50070/

mysql

mysql -u root -p
重啓MySQL數據庫： service mysqld restart

hive

nohup hive --service metastore >> ~/metastore.log 2>&1 &         
nohup  hive --service hiveserver2 >> ~/hiveserver2.log 2>&1 &    

zookeeper

/hadoop/zookeeper/bin/zkServer.sh start

kafka

nohup bin/kafka-server-start.sh config/server.properties&

hbase

/hadoop/hbase/bin/hbase-daemon.sh start zookeeper
/hadoop/hbase/bin/hbase-daemon.sh start master
/hadoop/hbase/bin/hbase-daemon.sh start regionserver

/hadoop/hbase/bin/start-hbase.sh 

http://192.168.133.129:16030/rs-status

kylin

hdfs dfsadmin -safemode leave
/hadoop/kylin/bin/kylin.sh start 

http://192.168.133.129:7070/kylin/login
初始密碼：ADMIN/KYLIN

superset

source /usr/superset-py3/bin/activate
superset db upgrade
superset load_examples
superset init
superset runserver -d -p 8388    #指定端口號  默認8088

http://192.168.133.129:8388