AWS正式發佈Amazon EMR Managed Scaling——這是一項用於自動調整集羣大小的新功能,能夠以最低成本實現最佳性能。通過EMR Managed Scaling,您可以爲集羣指定最低與最高計算限制,並由Amazon EMR自動調整集羣規模以實現最優性能與資源利用率。EMR Managed Scaling負責對集羣上所運行工作負載的相關核心指標進行連續採樣。目前,Amazon EMR 5.30.1以及更高版本*上的Apache Spark、Apache Hive以及基於YARN的工作負載皆可支持EMR Managed Scaling。
用例與收益
在EMR Managed Scaling發佈之前,用戶需要提前預測工作負載模式或根據對應用框架(例如Apache Spark或Apache Hive)的深入理解編寫出自定義自動擴展規則。但工作負載預測以及編寫自定義規則往往難度極大且容易出錯。一旦對集羣資源規劃不當,配置過低可能破壞SLA或者影響業務性能,而配置過高則會導致資源利用率不足以及成本超支。
原文鏈接:【https://www.infoq.cn/article/Sta3PqwDz7pKRiGRrMNt】。未經作者許可,禁止轉載。