2021年3月23日
1.HDP3升級
支持從HDP 3.1.5直接原地升級到CDP Private Cloud Base;
發佈新的AM2CM1.2.0工具,支持從Ambari遷移到Cloudera Manager,以支持HDP3的原地升級;
2.回滾操作文檔
支持從CDH5升級到CDP7.1.6的回滾操作;
支持從HDP2升級到CDP7.1.6的回滾操作;
3.Accumulo支持
CDP Private Cloud Base現在支持基於Apache Accumulo 2.0的Operational Database (OpDB)
Accumulo 2.0是第一個支持語義版本管理和一致性的版本,批量導入API可以縮短數據上傳時間,簡化的腳本可以簡化管理,改善的用戶體驗,例如table summaries和dedicated scan支持;
這樣可以讓在CDH5,HDP2和HDP3中使用Accumulo客戶升級到CDP Private Cloud Base;
4.CDH5升級增強
改進用於scheduler遷移的YARN FS2CS工具,通過提供改進的放置規則,新的放置規則評估引擎,用於容量分配的新權重模式爲Capacity Scheduler創建了靈活的自動隊列,使客戶從CDH5.13-5.16更方便的升級/遷移到CDP PVC Base;
5.YARN升級增強
YARN和YARN Queue Manager現在支持動態和自動子隊列創建;
YARN Queue Manager現在支持分區和節點標籤,你可以給集羣分區從而劃分爲子集羣,並使用標籤對節點進行分類,這樣作業可以被部署到特定的節點上執行。另外Queue Manager UI現在可以用於管理YARN分區;
增強YARN隊列的放置規則,爲了解決以前的限制,引入了一個新的放置規則評估引擎,該引擎支持新的基於JSON的放置規則格式;
通過增強的Queue Manager UI可以輕鬆的創建放置規則;
引入Weight Mode用於YARN資源分配,方便公平調度的配置遷移;
1.新操作系統版本
CDP Private Cloud Base現在支持針對Intel x86和IBM PPC硬件的RHEL/CENTOS 7.9;
2.新DB版本
CDP Private Cloud Base現在支持MySQL8和Postgres12;
1.Cloudera Manager增強功能(版本7.3.1)
現在可以將Ranger審計配置爲使用本地文件系統而不是HDFS進行存儲,從而使更多的組件服務包括Kafka和Nifi能夠在符合安全和治理的情況下運行,而不會增加HDFS的資源/管理開銷;
支持對流式組件自定義Kerberos principal:SRM,SMM,Cruise Control,Kafka Connect和Schema Registry。從而使更多的組件服務支持靈活的外部管理的Kerberos身份;
(De)commission步驟可以定義爲CSD服務的一部分,從而在使用諸如Kafka,Ozone和任何第三方軟件之類的服務時,實現更無縫的集羣擴容/縮容和維護工作流;
服務和角色指標收集支持收集枚舉的文本值;
2.事務支持
現在可以使用ANSI SQL語義支持跨行和表的複雜分佈式事務,方便MySQL/PostgreSQL用戶做遷移。
3.Data Warehouse增強
在Impala中實現並重新啓用與ROLE相關的語句,從而允許管理員向ROLES授予權限,然後將ROLES分配給GROUPS;
Hive Warehouse Connector Simplification提供了一種通用配置來指定操作模式(Spark Direct Reader或JDBC),通過spark.sql(“<query>”)。爲了向後兼容,仍支持早期版本中使用的配置,但最終會被廢棄;
添加了對Impyla客戶端的支持,該客戶端使開發人員可以在Python程序中將SQL查詢提交到Impala;
Kudu支持INSERT_IGNORE,UPDATE_IGNORE和DELETE_IGNORE操作,從而簡化了客戶端應用程序並提高性能;
Kudu集羣更快的重啓和重平衡;
4.對象存儲增強
增強Ozone以支持Kafka Connect,Atlas和Nifi Sink。客戶現在可以通過Kafka Connector/Nifi Sinks直接寫數據到Ozone,Atlas集成爲Ozone中的數據提供溯源和治理能力。
回收站功能支持恢復可能被意外刪除的數據;
Ozone Multiraft協議將寫入數據管道的性能提升了30%;
5.授權/審計提升
Ranger Audit Filter (Tech Preview) - 使用Ranger repo配置中的JSON定義的過濾器,管理員可以限制訪問時捕獲哪些審計事件。這對於只保留一些關鍵審計信息很有幫助,比如創建一個audit filter以將系統服務的操作排除,比如來自Hive的METADATA_OPERATION,以減少審計數據的數據量並使審計事件易於管理;
Ranger Audit Access提升 - 使列可調整大小,並允許用戶選擇他們想要查看的列;
Hive性能改善 - HDFS ACL sync;
Cloudera Manager發行說明:
https://docs.cloudera.com/cdp-private-cloud-base/7.1.6/manager-release-notes/topics/cm-release-notes-731.html
Cloudera Runtime發行說明:
https://docs.cloudera.com/cdp-private-cloud-base/7.1.6/runtime-release-notes/topics/rt-pvc-runtime-overview.html
CDP PvC Base概述:
https://docs.cloudera.com/cdp-private-cloud/latest/overview/index.html
下載CM7.3.1:
https://archive.cloudera.com/p/cm7/7.3.1
下載CDP7.1.6 Runtime:
https://archive.cloudera.com/p/cdh7/7.1.6.0
本文分享自微信公衆號 - Hadoop實操(gh_c4c535955d0f)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。