0834-CDP Private Cloud Base 7.1.6正式GA

2021年3月23日 

1.升级增强



1.HDP3升级

  • 支持从HDP 3.1.5直接原地升级到CDP Private Cloud Base;

  • 发布新的AM2CM1.2.0工具,支持从Ambari迁移到Cloudera Manager,以支持HDP3的原地升级;


2.回滚操作文档

  • 支持从CDH5升级到CDP7.1.6的回滚操作;

  • 支持从HDP2升级到CDP7.1.6的回滚操作;


3.Accumulo支持

  • CDP Private Cloud Base现在支持基于Apache Accumulo 2.0的Operational Database (OpDB) 

  • Accumulo 2.0是第一个支持语义版本管理和一致性的版本,批量导入API可以缩短数据上传时间,简化的脚本可以简化管理,改善的用户体验,例如table summaries和dedicated scan支持;

  • 这样可以让在CDH5,HDP2和HDP3中使用Accumulo客户升级到CDP Private Cloud Base;


4.CDH5升级增强

  • 改进用于scheduler迁移的YARN FS2CS工具,通过提供改进的放置规则,新的放置规则评估引擎,用于容量分配的新权重模式为Capacity Scheduler创建了灵活的自动队列,使客户从CDH5.13-5.16更方便的升级/迁移到CDP PVC Base;


5.YARN升级增强

  • YARN和YARN Queue Manager现在支持动态和自动子队列创建;

  • YARN Queue Manager现在支持分区和节点标签,你可以给集群分区从而划分为子集群,并使用标签对节点进行分类,这样作业可以被部署到特定的节点上执行。另外Queue Manager UI现在可以用于管理YARN分区;

  • 增强YARN队列的放置规则,为了解决以前的限制,引入了一个新的放置规则评估引擎,该引擎支持新的基于JSON的放置规则格式;

  • 通过增强的Queue Manager UI可以轻松的创建放置规则;

  • 引入Weight Mode用于YARN资源分配,方便公平调度的配置迁移;


2.平台支持增强



1.新操作系统版本

  • CDP Private Cloud Base现在支持针对Intel x86和IBM PPC硬件的RHEL/CENTOS 7.9;


2.新DB版本

  • CDP Private Cloud Base现在支持MySQL8和Postgres12;


3.常规功能增强



1.Cloudera Manager增强功能(版本7.3.1)

  • 现在可以将Ranger审计配置为使用本地文件系统而不是HDFS进行存储,从而使更多的组件服务包括Kafka和Nifi能够在符合安全和治理的情况下运行,而不会增加HDFS的资源/管理开销;

  • 支持对流式组件自定义Kerberos principal:SRM,SMM,Cruise Control,Kafka Connect和Schema Registry。从而使更多的组件服务支持灵活的外部管理的Kerberos身份;

  • (De)commission步骤可以定义为CSD服务的一部分,从而在使用诸如Kafka,Ozone和任何第三方软件之类的服务时,实现更无缝的集群扩容/缩容和维护工作流;

  • 服务和角色指标收集支持收集枚举的文本值;


2.事务支持

  • 现在可以使用ANSI SQL语义支持跨行和表的复杂分布式事务,方便MySQL/PostgreSQL用户做迁移。


3.Data Warehouse增强

  • 在Impala中实现并重新启用与ROLE相关的语句,从而允许管理员向ROLES授予权限,然后将ROLES分配给GROUPS;

  • Hive Warehouse Connector Simplification提供了一种通用配置来指定操作模式(Spark Direct Reader或JDBC),通过spark.sql(“<query>”)。为了向后兼容,仍支持早期版本中使用的配置,但最终会被废弃;

  • 添加了对Impyla客户端的支持,该客户端使开发人员可以在Python程序中将SQL查询提交到Impala;

  • Kudu支持INSERT_IGNORE,UPDATE_IGNORE和DELETE_IGNORE操作,从而简化了客户端应用程序并提高性能;

  • Kudu集群更快的重启和重平衡;


4.对象存储增强

  • 增强Ozone以支持Kafka Connect,Atlas和Nifi Sink。客户现在可以通过Kafka Connector/Nifi Sinks直接写数据到Ozone,Atlas集成为Ozone中的数据提供溯源和治理能力。

  • 回收站功能支持恢复可能被意外删除的数据;

  • Ozone Multiraft协议将写入数据管道的性能提升了30%;


5.授权/审计提升

  • Ranger Audit Filter (Tech Preview) - 使用Ranger repo配置中的JSON定义的过滤器,管理员可以限制访问时捕获哪些审计事件。这对于只保留一些关键审计信息很有帮助,比如创建一个audit filter以将系统服务的操作排除,比如来自Hive的METADATA_OPERATION,以减少审计数据的数据量并使审计事件易于管理;

  • Ranger Audit Access提升 - 使列可调整大小,并允许用户选择他们想要查看的列;

  • Hive性能改善 - HDFS ACL sync;


Cloudera Manager发行说明:

https://docs.cloudera.com/cdp-private-cloud-base/7.1.6/manager-release-notes/topics/cm-release-notes-731.html

Cloudera Runtime发行说明:

https://docs.cloudera.com/cdp-private-cloud-base/7.1.6/runtime-release-notes/topics/rt-pvc-runtime-overview.html

CDP PvC Base概述:

https://docs.cloudera.com/cdp-private-cloud/latest/overview/index.html

下载CM7.3.1:

https://archive.cloudera.com/p/cm7/7.3.1

下载CDP7.1.6 Runtime:

https://archive.cloudera.com/p/cdh7/7.1.6.0

本文分享自微信公众号 - Hadoop实操(gh_c4c535955d0f)。
如有侵权,请联系 [email protected] 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章