AWS正式发布Amazon EMR Managed Scaling——这是一项用于自动调整集群大小的新功能,能够以最低成本实现最佳性能。通过EMR Managed Scaling,您可以为集群指定最低与最高计算限制,并由Amazon EMR自动调整集群规模以实现最优性能与资源利用率。EMR Managed Scaling负责对集群上所运行工作负载的相关核心指标进行连续采样。目前,Amazon EMR 5.30.1以及更高版本*上的Apache Spark、Apache Hive以及基于YARN的工作负载皆可支持EMR Managed Scaling。
用例与收益
在EMR Managed Scaling发布之前,用户需要提前预测工作负载模式或根据对应用框架(例如Apache Spark或Apache Hive)的深入理解编写出自定义自动扩展规则。但工作负载预测以及编写自定义规则往往难度极大且容易出错。一旦对集群资源规划不当,配置过低可能破坏SLA或者影响业务性能,而配置过高则会导致资源利用率不足以及成本超支。
原文链接:【https://www.infoq.cn/article/Sta3PqwDz7pKRiGRrMNt】。未经作者许可,禁止转载。