Cloudera Manager和CDH升級流程

1.Cloudera升級概述

升級包括兩個主要的步驟，升級Cloudera Manager和升級CDH羣集

升級CM：

*升級CM時可以使用rpm命令； Cloudera Manager升級時，Cloudera Navigator也會升級。

升級CDH：

*CM和CDH不需要同時升級，但CM和CDH的版本必須兼容。Cloudera Manager 6.0可以管理運行CDH 5.7到CDH 5.14的集羣，只要Cloudera Manager的主+次版本等於或高於 CDH的主+次版本。

例如：

支持:

· Cloudera Manager 6.0.0 and CDH 5.14.0

· Cloudera Manager 5.14.0 and CDH 5.13.0

· Cloudera Manager 5.13.1 and CDH 5.13.3

不支持:

· Cloudera Manager 5.14.0 and CDH 6.0.0

· Cloudera Manager 5.12 and CDH 5.13

· Cloudera Manager 6.0.0 and CDH 5.6

2.評估升級的影響

計劃一個足夠長的維護窗口(停機時間)來執行升級。根據需要升級的組件，集羣中的主機數量和硬件類型情況，你可能需要一整天的時間。

在開始升級之前，你需要收集一些信息並做好提前準備

請參考Cloudera Manager的：

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_release_notes.html

瞭解API的更改過時的功能新功能以及不兼容性的變更。

而且要檢查

https://www.cloudera.com/documentation/enterprise/upgrade/topics/rg_requirements_supported_versions.html#c6_requirements

以確保使用的是受支持的操作系統 JDK 數據庫和其他組件

有三種類型的升級：major, minor, and maintenance

Major升級

升級通常具有以下特徵：

Hadoop的功能性發生了很大變化，有很多的更新內容

不兼容的數據格式

Cloudera Manager 界面發生重大改變

Cloudera Manager 數據庫中Schema變更
需要大量的停機時間來升級集羣

重新部署客戶端配置

Minor 升級

Minor升級是指基於同樣的major將minor版本進行升級，比如從5.7.x升級到5.8.x，通常包括以下內容：

  新功能   

  Bug 修復

 Cloudera Manager自動處理的潛在數據庫Schema更改

在minor 升級中通常不會導致不兼容的變更和數據格式的更改

Maintenance 升級

Maintenance升級可以修復嚴重的bug或解決安全問題不會有兼容性修改和新功能

3.Cloudera Manager升級概述

升級CM 有以下步驟：

備份Cloudera Manager服務器數據庫、工作目錄和其他幾個實體。如果升級過程中出現問題，可以使用這些備份來恢復Cloudera Manager部署
CM主機上在命令行中使用package命令升級Cloudera Manager Server ，例如Redhat的yum命令 cm會自動化完成這個過程的大部分流程
在所有集羣主機上升級Cloudera Manager agent，Cloudera Manager升級嚮導可以幫助你升級agent(並且，可選JDK) 也可以手動安裝agent 和JDK軟件。CDH在此過程中沒有升級。

有關Cloudera Manager升級的步驟，請參靠官網文檔：

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_upgrade.html#concept_q1q_mbs_wx

如果你正要從5.x 升級到5.x 的更高版本還可以使用tarballs升級Cloudera Manager 相關的過程請參閱使用Tarball升級Cloudera Manager 5

https://www.cloudera.com/documentation/enterprise/5/latest/topics/cm_ag_ug_cm5_tarballs.html

4.CDH升級概述

CDH升級包含Hadoop軟件以及相關組件的更新你可以使用Cloudera Manager來升級CDH 根據您使用的Cloudera Manager版本和要升級到的CDH版本的不同，這些過程也會有所不同您可以使用Cloudera Manager使用parcels或軟件包升級CDH。

完成準備步驟後，可以使用Cloudera Manager升級嚮導完成升級如果您使用parcels（推薦）啓用了HDFS高可用性，並且擁有Cloudera Enterprise許可證您可以執行滾動升級，且無需在升級期間使羣集脫機。

有關CDH升級步驟，請參見升級CDH集羣

https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cdh_upgrade.html#cdh_upgrade5

推薦使用 Parcels升級 CDH
使用parcels升級CDH是首選方法因爲Parcels是由Cloudera Manager管理，且會自動下載、分發和激活正確版本的軟件爲了更容易的升級過程可以考慮從package切換到parcels，以便Cloudera Manager可以自動執行更多的過程。還可以在升級CDH時從package切換到parcels。

使用Packages升級 CDH

這個選項是最耗時的，需要您使用ssh登錄並在集羣中的所有主機上執行一系列package命令建議您改用Parcels來升級羣集，這樣Cloudera Manager就可以將升級後的軟件分發給集羣中的所有主機，而無需登錄到每個主機如果使用 packages安裝羣集，則可以使用parcels進行升級，並且羣集將使用parcels進行後續升級

5.Cloudera Navigator升級概述

升級Cloudera Manager時 Cloudera Navigator Metadata和Audit servers會自動升級你還可以選擇升級其他Cloudera Navigator組件例如Cloudera Navigator Key Trustee Server, Cloudera Navigator Key HSM和Cloudera Navigator Encrypt 您無需隨Cloudera Manager或CDH升級一起升級這些組件有關兼容性信息，請參閱：Cloudera Navigator加密產品兼容性矩陣（Cloudera Manager 5.x）和

升級Cloudera Navigator數據加密。

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_navigator_encryption

https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cn_upgrade.html#cn_upgrade

6.Cloudera Manager升級

rpm包下載地址

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.4/RPMS/x86_64/

本地yum源設置
把下載的包放到某一個目錄建立yum索引