hadoop組件---spark理論----spark on k8s模式的三種方式全面瞭解

我們在之前的文章中 已經瞭解了 spark支持的模式,其中一種就是 使用k8s進行管理。

hadoop組件—spark----全面瞭解spark以及與hadoop的區別

是時候考慮讓你的 Spark 跑在K8s 上了

spark on k8s的優勢–爲什麼要把Spark部署在k8s上

大數據和雲計算一直分屬兩個不同的領域。大數據主要關注怎麼將數據集中起來,挖掘數據的價值;雲計算主要關注怎麼更高效地使用資源,提升資源的利用效率。當大數據發展到一定階段的時候,它就會和雲計算不期而遇。

兩者的結合有以下優勢:

1、技術棧的統一,降低運維成本

一般來說 每個公司 大數據的平臺 和 雲計算平臺都是 不可缺少的。

也就意味着我們有兩套體系的集羣
一套是Hadoop+spark 或者 是商用的EMR。
一套是k8s,用於部署微服務和常規分析流程等應用。

兩套集羣意味着 比較複雜的管理成本,兩套集羣都分別要做好 安全和用戶識別,以及 日誌監控報警,後續的成本跟蹤和優化等措施。

假如我們能把spark運行在k8s中,這樣我們的 技術棧體系就會統一成 一套集羣體系, 我們所有的安全,用戶識別以及日誌監控報警 以及 成本跟蹤 都可以 使用k8s體系的。

集羣的管理成本大大降低。

2、統一資源池,支持混合雲,提高資源利用率

假如一共有100臺服務器,我們分別有Spark的集羣 和 K8s的集羣,我

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章