Flink on K8s實踐經驗總結:我們都踩過哪些坑?

本文根據 Apache Flink 系列直播整理而成,由阿里巴巴高級開發工程師唐雲(茶幹)分享。主要內容如下:

  1. 容器管理系統的演變
  2. Flink on K8s intro
  3. Flink on K8s實戰分享
  4. Demo

更多內容,查看 Apache Flink運維和實戰系列文章。

本文第一部分將簡明扼要地介紹容器管理系統的演變;第二部分是 Flink on K8s 簡介,包括集羣的部署模式調度原理等等;第三部分是我們這一年以來關於 Flink on K8s 的實戰經驗分享,介紹我們遇到的問題、踩過的坑;最後一部分是 Demo,將手把手演示集羣部署、任務提交等等。

容器管理系統的演變

首先是以一個 Kubernetes 非內核開發人員的角度去探討其和 YARN 之間的關係。衆所周知,Apache Hadoop YARN 可能是在國內用途最廣的一個調度系統,主要原因在於 Hadoop HDFS 在國內或者是在整個大數據業界,是一個使用最廣泛的存儲系統。因此,基於其上的 YARN 也自然而然成爲了一個廣爲使用的一個調度系統,包括早期的 Hadoop MapReduce。隨着 YARN 2.0 之後 Framework 的開放,Spark on YARN 以及 Flink on YARN 也可以在 YARN 上進行調度。

原文鏈接:【https://www.infoq.cn/article/TK7f60T0Kbt82Oh0mka5】。未經作者許可,禁止轉載。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章