2021年8月6日
1.CDH6升級
CDH6客戶可以直接從CDH 6.1.x, 6.2.x和6.3.x集羣原地升級到CDP Private Cloud Base,而不需要搭建一個新的集羣。
2.回滾操作文檔
支持從CDH6升級到CDP7.1.7的回滾操作;
支持從HDP3升級到CDP7.1.6的回滾操作;
3.新的升級指南
現在docs.cloudera.com網站上提供了一個新的Upgrade Companion,爲所有CDP升級相關活動提供一個集中的文檔中心。Upgrade Companion包含一組內容選項卡,涵蓋了 CDP 升級的 5 個主要步驟:
Getting Started
Pre-upgrade Tasks
Upgrade the Cluster
Post-upgrade Task
Troubleshooting
Upgrade Companion 還包括一組過濾器,可以按照讀者的特定配置需求減少查看的內容。
注意:Upgrade Companion的目的是補充而不是取代現有的升級文檔。
1.新操作系統版本
CDP Private Cloud Base現在支持針對Intel x86和IBM PPC硬件的RHEL/CENTOS 8.2;
2.新DB版本
CDP Private Cloud Base現在支持MariaDB 10.3, MariaDB 10.4和Oracle 19c (19.9)
1.Cloudera Manager增強功能(版本7.4.4)
通過升級20多個內置的庫修復了大量CVE安全漏洞;
提供一個工具可以檢查LDAP的連接性,當啓用外部身份驗證時;
任意服務的Extensible Commission/Decommission工作流;
Service Monitor可以適應低內存環境;
用於CSD authors的Atlas canary & extensible canary監控框架;
對於Ozone,YARN QM提供可配置的Kerberos config file location和principals;
更高效的機架拓撲評估(YARN 性能提高多達 20%);
一致的操作系統user/group ID(無縫重新掛載雲存儲卷);
快照存儲現在包含在 HDFS usage report中;
Test DB連接工具支持Oracle RAC。
2.SDX增強
對於Hive表創建的Ranger權限支持新資源"storage-type"和"storage-url",以及新權限"RW Storage"。當 doAs = false 時,超級用戶“hive”將是在指定存儲中創建表的用戶,這樣創建表時使用的是hive用戶的授權,而不是發出“create/alter table”命令的原始用戶的授權。
HDFS superuser的操作現在會被Ranger Audit捕獲
Ranger audit增強包括:
現在支持表格樣式的過濾器
很容易就選擇audit過濾器以顯示完整的用戶訪問詳細信息
新增一個用於指定Ranger audits最長保留天數的配置選項
當用戶和組從同步源(UNIX、LDAP、AD 或 PAM)中刪除時,Usersync服務會更新Ranger。這樣可以確保用戶和組及其相關訪問權限在從同步源中刪除時不會保留在Ranger中。
CM上可以爲Ranger配置Maximum Retention Days屬性。用戶現在可以在CM中爲Ranger配置ranger.audit.solr.config.ttl和ranger.audit.solr.config.delete.trigger參數來更新Solr document的過期時間,同時刷新配置以獲得使用ttl和delete trigger更新過後的Ranger audit的Solr collection。
3.Data Warehouse增強
Impala現在支持使用Ranger的行級別權限策略。Row-level filter策略同其他Ranger訪問策略相似,可以爲特定用戶、組和條件設置過濾器。
4.平臺增強
Ozone現在默認啓用高可用配置,以避免任何單點故障風險;
Ozone Node Decommissioning可以讓管理員輕鬆進行操作系統升級、硬件維護等;
Ozone的Safe Delete功能有助於防止意外刪除文件和目錄;
YARN 兼容性增強
支持配置了基於公平性(fairness-based)排序的隊列的隊列內搶佔
支持 LazyPreemption,優化從隊列中選擇容器以進行搶佔
Dynamic Queue Scheduling (TP)功能可以使用戶動態更改隊列資源分配
Cloudera Manager中現在可以直接配置Kudu 與 Hive Metastore集成;
Kudu 支持 INSERT 和 INSERT_IGNORE 操作的多行事務,技術預覽版
5.Streaming增強
現在可以將 Kafka 服務配置爲自動將topic元數據發佈到 Apache Atlas,Kafka topic會在Atlas中顯示爲單個實體以及Data Lineage圖;
Streams Messaging Manager (SMM) 現在可以配置使用外部Prometheus指標存儲,而不使用Cloudera Manager。這樣當有大量topic,partition,consumer和producer時,提升SMM的可擴展性;
從Confluent Schema Registry的Kafka topic,dump出來的schema現在可以導入到Cloudera的Schema Registry,通過REST API上傳schema文件;
Streams Replication Manager支持以安全方式存儲所有敏感數據;
Cruise Control開放TLS配置可以支持TLS 密碼和協議。
原文參考:
https://docs.cloudera.com/cdp-private-cloud/latest/release-summaries/topics/announcement-202108-717.html
Cloudera Manager發行說明:
https://docs.cloudera.com/cdp-private-cloud-base/7.1.7/manager-release-notes/topics/cm-whats-new-744.html
Cloudera Runtime發行說明:
https://docs.cloudera.com/cdp-private-cloud-base/7.1.7/runtime-release-notes/topics/rt-pvc-runtime-overview.html
CDP PvC Base概述:
https://docs.cloudera.com/cdp-private-cloud/latest/overview/index.html
下載CM7.4.4:
https://archive.cloudera.com/p/cm7/7.4.4
下載CDP7.1.7Runtime:
https://archive.cloudera.com/p/cdh7/
本文分享自微信公衆號 - Hadoop實操(gh_c4c535955d0f)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。