Flink on K8s实践经验总结:我们都踩过哪些坑?

本文根据 Apache Flink 系列直播整理而成,由阿里巴巴高级开发工程师唐云(茶干)分享。主要内容如下:

  1. 容器管理系统的演变
  2. Flink on K8s intro
  3. Flink on K8s实战分享
  4. Demo

更多内容,查看 Apache Flink运维和实战系列文章。

本文第一部分将简明扼要地介绍容器管理系统的演变;第二部分是 Flink on K8s 简介,包括集群的部署模式调度原理等等;第三部分是我们这一年以来关于 Flink on K8s 的实战经验分享,介绍我们遇到的问题、踩过的坑;最后一部分是 Demo,将手把手演示集群部署、任务提交等等。

容器管理系统的演变

首先是以一个 Kubernetes 非内核开发人员的角度去探讨其和 YARN 之间的关系。众所周知,Apache Hadoop YARN 可能是在国内用途最广的一个调度系统,主要原因在于 Hadoop HDFS 在国内或者是在整个大数据业界,是一个使用最广泛的存储系统。因此,基于其上的 YARN 也自然而然成为了一个广为使用的一个调度系统,包括早期的 Hadoop MapReduce。随着 YARN 2.0 之后 Framework 的开放,Spark on YARN 以及 Flink on YARN 也可以在 YARN 上进行调度。

原文链接:【https://www.infoq.cn/article/TK7f60T0Kbt82Oh0mka5】。未经作者许可,禁止转载。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章