CDH 環境集成Kudu、Spark2服務方案及相關問題的解決方案

環境:Centos 7 、CDH 5.10.2、     Kudu1.4.0-1.cdh5.12.0.p0.25、Spark 2.2.0.cloudera1-1.cdh5.12.0.p0.142354

我用了一天時間重新搭建了一個測試集羣,在此過程中其他都很順利,但是在安裝Kudu、Spark2服務的時候遇到了一點問題,在這裏記錄下。

按照官網的說明,CDH 在5.12之後的版本集成了Kudu,在這之前的版本需要自己指定Kudu的parcel。也可以自己去相應的地址自己下載。

安裝服務

方案一:自動安裝

1、在Cloudera Manager主頁依次選擇 主機——》Parcel——》配置

2、在【Parcel 設置】頁面添加新的 遠程 Parcel 存儲庫 URL,並點擊【保存更改】。

Kudu :

https://archive.cloudera.com/kudu/parcels/5.10/

http://archive.cloudera.com/kudu/parcels/latest/

Spark2:

http://archive.cloudera.com/spark2/parcels/latest/

http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/

 

如果想用當前版本CDH支持的最新版的就只需要添加上述地址中https://archive.cloudera.com/*****/latest。

3、【檢查新Parcel】後會出現對應的可用服務

4、選擇對應版本的服務,【下載】——》【分配】——》【激活】

5、添加服務,

方案二:手動下載安裝

1、去以下地址下載需要的版本的Parcel包,和對應的.parcel.sha1

http://archive.cloudera.com/spark2/parcels/

http://archive.cloudera.com/kudu/parcels/

2、將下載的文件分發到集羣中所有節點的/opt/cloudera/parcel-repok路徑洗下,並將parcel.sha1重命名爲parcel.sha

3、執行方案一中第4步中【激活】

4、執行方案一中第5步,添加服務。

問題:

在上述方案中的【添加服務】時,可用服務列表中沒有Kudu和Spark2。

解決方案:

1、下載對應版本的csd包,並放在Cloudera Manager Server所在節點的 /opt/cloudera/csd 路徑下。

https://archive.cloudera.com/kudu/csd/

https://archive.cloudera.com/spark2/csd/

2、使用命令 

service cloudera-scm-server restart

重啓Cloudera Manager Server

待服務重啓完之後,在添加服務界面就可以看到相關的服務了。

參考:https://www.cloudera.com/documentation/director/latest/topics/director_using_kudu.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章