0834-CDP Private Cloud Base 7.1.6正式GA

2021年3月23日 

1.升級增強



1.HDP3升級

  • 支持從HDP 3.1.5直接原地升級到CDP Private Cloud Base;

  • 發佈新的AM2CM1.2.0工具,支持從Ambari遷移到Cloudera Manager,以支持HDP3的原地升級;


2.回滾操作文檔

  • 支持從CDH5升級到CDP7.1.6的回滾操作;

  • 支持從HDP2升級到CDP7.1.6的回滾操作;


3.Accumulo支持

  • CDP Private Cloud Base現在支持基於Apache Accumulo 2.0的Operational Database (OpDB) 

  • Accumulo 2.0是第一個支持語義版本管理和一致性的版本,批量導入API可以縮短數據上傳時間,簡化的腳本可以簡化管理,改善的用戶體驗,例如table summaries和dedicated scan支持;

  • 這樣可以讓在CDH5,HDP2和HDP3中使用Accumulo客戶升級到CDP Private Cloud Base;


4.CDH5升級增強

  • 改進用於scheduler遷移的YARN FS2CS工具,通過提供改進的放置規則,新的放置規則評估引擎,用於容量分配的新權重模式爲Capacity Scheduler創建了靈活的自動隊列,使客戶從CDH5.13-5.16更方便的升級/遷移到CDP PVC Base;


5.YARN升級增強

  • YARN和YARN Queue Manager現在支持動態和自動子隊列創建;

  • YARN Queue Manager現在支持分區和節點標籤,你可以給集羣分區從而劃分爲子集羣,並使用標籤對節點進行分類,這樣作業可以被部署到特定的節點上執行。另外Queue Manager UI現在可以用於管理YARN分區;

  • 增強YARN隊列的放置規則,爲了解決以前的限制,引入了一個新的放置規則評估引擎,該引擎支持新的基於JSON的放置規則格式;

  • 通過增強的Queue Manager UI可以輕鬆的創建放置規則;

  • 引入Weight Mode用於YARN資源分配,方便公平調度的配置遷移;


2.平臺支持增強



1.新操作系統版本

  • CDP Private Cloud Base現在支持針對Intel x86和IBM PPC硬件的RHEL/CENTOS 7.9;


2.新DB版本

  • CDP Private Cloud Base現在支持MySQL8和Postgres12;


3.常規功能增強



1.Cloudera Manager增強功能(版本7.3.1)

  • 現在可以將Ranger審計配置爲使用本地文件系統而不是HDFS進行存儲,從而使更多的組件服務包括Kafka和Nifi能夠在符合安全和治理的情況下運行,而不會增加HDFS的資源/管理開銷;

  • 支持對流式組件自定義Kerberos principal:SRM,SMM,Cruise Control,Kafka Connect和Schema Registry。從而使更多的組件服務支持靈活的外部管理的Kerberos身份;

  • (De)commission步驟可以定義爲CSD服務的一部分,從而在使用諸如Kafka,Ozone和任何第三方軟件之類的服務時,實現更無縫的集羣擴容/縮容和維護工作流;

  • 服務和角色指標收集支持收集枚舉的文本值;


2.事務支持

  • 現在可以使用ANSI SQL語義支持跨行和表的複雜分佈式事務,方便MySQL/PostgreSQL用戶做遷移。


3.Data Warehouse增強

  • 在Impala中實現並重新啓用與ROLE相關的語句,從而允許管理員向ROLES授予權限,然後將ROLES分配給GROUPS;

  • Hive Warehouse Connector Simplification提供了一種通用配置來指定操作模式(Spark Direct Reader或JDBC),通過spark.sql(“<query>”)。爲了向後兼容,仍支持早期版本中使用的配置,但最終會被廢棄;

  • 添加了對Impyla客戶端的支持,該客戶端使開發人員可以在Python程序中將SQL查詢提交到Impala;

  • Kudu支持INSERT_IGNORE,UPDATE_IGNORE和DELETE_IGNORE操作,從而簡化了客戶端應用程序並提高性能;

  • Kudu集羣更快的重啓和重平衡;


4.對象存儲增強

  • 增強Ozone以支持Kafka Connect,Atlas和Nifi Sink。客戶現在可以通過Kafka Connector/Nifi Sinks直接寫數據到Ozone,Atlas集成爲Ozone中的數據提供溯源和治理能力。

  • 回收站功能支持恢復可能被意外刪除的數據;

  • Ozone Multiraft協議將寫入數據管道的性能提升了30%;


5.授權/審計提升

  • Ranger Audit Filter (Tech Preview) - 使用Ranger repo配置中的JSON定義的過濾器,管理員可以限制訪問時捕獲哪些審計事件。這對於只保留一些關鍵審計信息很有幫助,比如創建一個audit filter以將系統服務的操作排除,比如來自Hive的METADATA_OPERATION,以減少審計數據的數據量並使審計事件易於管理;

  • Ranger Audit Access提升 - 使列可調整大小,並允許用戶選擇他們想要查看的列;

  • Hive性能改善 - HDFS ACL sync;


Cloudera Manager發行說明:

https://docs.cloudera.com/cdp-private-cloud-base/7.1.6/manager-release-notes/topics/cm-release-notes-731.html

Cloudera Runtime發行說明:

https://docs.cloudera.com/cdp-private-cloud-base/7.1.6/runtime-release-notes/topics/rt-pvc-runtime-overview.html

CDP PvC Base概述:

https://docs.cloudera.com/cdp-private-cloud/latest/overview/index.html

下載CM7.3.1:

https://archive.cloudera.com/p/cm7/7.3.1

下載CDP7.1.6 Runtime:

https://archive.cloudera.com/p/cdh7/7.1.6.0

本文分享自微信公衆號 - Hadoop實操(gh_c4c535955d0f)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章