環境:Centos 7 、CDH 5.10.2、 Kudu1.4.0-1.cdh5.12.0.p0.25、Spark 2.2.0.cloudera1-1.cdh5.12.0.p0.142354
我用了一天時間重新搭建了一個測試集羣,在此過程中其他都很順利,但是在安裝Kudu、Spark2服務的時候遇到了一點問題,在這裏記錄下。
按照官網的說明,CDH 在5.12之後的版本集成了Kudu,在這之前的版本需要自己指定Kudu的parcel。也可以自己去相應的地址自己下載。
安裝服務
方案一:自動安裝
1、在Cloudera Manager主頁依次選擇 主機——》Parcel——》配置
2、在【Parcel 設置】頁面添加新的 遠程 Parcel 存儲庫 URL,並點擊【保存更改】。
Kudu :
https://archive.cloudera.com/kudu/parcels/5.10/
http://archive.cloudera.com/kudu/parcels/latest/
Spark2:
http://archive.cloudera.com/spark2/parcels/latest/
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/
如果想用當前版本CDH支持的最新版的就只需要添加上述地址中https://archive.cloudera.com/*****/latest。
3、【檢查新Parcel】後會出現對應的可用服務
4、選擇對應版本的服務,【下載】——》【分配】——》【激活】
5、添加服務,
方案二:手動下載安裝
1、去以下地址下載需要的版本的Parcel包,和對應的.parcel.sha1
http://archive.cloudera.com/spark2/parcels/
http://archive.cloudera.com/kudu/parcels/
2、將下載的文件分發到集羣中所有節點的/opt/cloudera/parcel-repok路徑洗下,並將parcel.sha1重命名爲parcel.sha
3、執行方案一中第4步中【激活】
4、執行方案一中第5步,添加服務。
問題:
在上述方案中的【添加服務】時,可用服務列表中沒有Kudu和Spark2。
解決方案:
1、下載對應版本的csd包,並放在Cloudera Manager Server所在節點的 /opt/cloudera/csd 路徑下。
https://archive.cloudera.com/kudu/csd/
https://archive.cloudera.com/spark2/csd/
2、使用命令
service cloudera-scm-server restart
重啓Cloudera Manager Server
待服務重啓完之後,在添加服務界面就可以看到相關的服務了。
參考:https://www.cloudera.com/documentation/director/latest/topics/director_using_kudu.html