如何使用Cloudera Manger自定義部署Parcel包

溫馨提示:如果使用電腦查看圖片不清晰,可以使用手機打開文章單擊文中的圖片放大查看高清原圖。

Fayson的github: https://github.com/fayson/cdhproject

提示:代碼塊部分可以左右滑動查看噢

文檔編寫目的

我們知道包括CDH其他所有額外的服務或者第三方插件,Cloudera Manger都是以Parcel的形式來安裝和管理,Parcel是一個非常神奇和方便的東西,將所有的東西都打包進去,免去你管理無數個rpm安裝包的煩惱。使用Cloudera Manger安裝Parcel包有三種選擇:

1.使用Cloudera Manger默認的公網倉庫,每個倉庫的公網地址都已經集成到Cloudera Manager中,如果你的服務器可以上公網,並且網速不錯的話,也是一種不錯的選擇,如下所示:

2.將Parcel包下載到本地,然後搭建本地的httpd服務,然後將Parcel丟到http的目錄,然後重新配置Cloudera Manger的“遠程Parcel存儲庫URL”輸入自定義的本地倉庫地址,如上圖所示,第一行就是的。其實Fayson之前大量的安裝文章也是基於這種方式,這裏不再贅述,不清楚的讀者可以回到公衆號主頁點擊“必點”,搜索“安裝”相關關鍵字,閱讀相關的文章。

3.不用搭建httpd服務,利用Cloudera Manger節點上的/opt/cloudera/parcel-repo目錄。

本文Fayson主要就是介紹第三種方式,不搭建httpd服務的情況下,如何自定義安裝Parcel包。

  • 測試環境
  1. CDH6.0
  2. Redhat7.4
  3. 採用root用戶進行操作

自定義Parcel包

1.下載CDH6.0.1的Parcel,地址爲:

https://archive.cloudera.com/cdh6/6.0.1/parcels/CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel

(可左右滑動)

2.將該下載好的文件移動到Cloudera Manger節點的/opt/cloudera/parcel-repo目錄。

/opt/cloudera/parcel-repo

[root@ip-172-31-6-83 cdh6.0.1]# mv CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel /opt/cloudera/parcel-repo

(可左右滑動)

3.根據此Parcel生成一個hash校驗文件,並修改Parcel文件和校驗文件的屬組與權限。

[root@ip-172-31-6-83 parcel-repo]# sha1sum CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel | cut -d ' ' -f 1 > CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha
[root@ip-172-31-6-83 parcel-repo]# chown cloudera-scm:cloudera-scm  CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha
[root@ip-172-31-6-83 parcel-repo]# chmod 640 CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha

(可左右滑動)

4.通過Cloudera Manger主頁點擊Parcel

5.點擊“檢查新Parcel”

6.視服務器情況,可能需要等待1分鐘,這時你會看到CDH6.0.1已經下載到Cloudera Manger節點,隨時等待分配到集羣各個節點。

後面的步驟包括“分配”->“激活”,甚至是安裝升級這裏Fayson就不再演示了。

總結

1.使用Cloudera Manger安裝Parcel一共有三種方式包括:默認的公網倉庫,自搭本地的http倉庫和直接利用CM這個節點上的/opt/cloudera/parcel-repo目錄。

2.注意要手動生成一個hash校驗文件後綴爲sha,否則Cloudera Manger可以看到這個新的Parcel,但會報錯缺少hash文件,會導致無法分配激活安裝。

3.Cloudera Manger發現新的Parcel需要等待一小會時間,在/opt/cloudera/parcel-repo目錄下會生成一個torrent文件。

提示:代碼塊部分可以左右滑動查看噢

爲天地立心,爲生民立命,爲往聖繼絕學,爲萬世開太平。 溫馨提示:如果使用電腦查看圖片不清晰,可以使用手機打開文章單擊文中的圖片放大查看高清原圖。

推薦關注Hadoop實操,第一時間,分享更多Hadoop乾貨,歡迎轉發和分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章