Flink Weekly | 每週社區動態更新-20200228

大家好,本文爲 Flink Weekly 的第七期,由李勁鬆整理,主要內容包括:近期社區開發進展,郵件問題答疑以及社區直播和相關技術博客。

社區開發進展

  1. 謝亞東增強Apache Flink Web UI的提議[1]拆分成了7個子FLIP,這將大大增強UI的可用性,幫助我們排查問題,瞭解運行時信息。現在分別正在熱火朝天的討論和投票中,大家可以看下郵件中的Demo,每個子FLIP都有Demo例子來展示。
  • FLIP-98: 更好的反壓檢測 [2]
  • FLIP-99: 使得最大異常數可配置 [3]
  • FLIP-100: 添加Task等的重試信息 [4]
  • FLIP-101: 在作業詳情頁面添加PendingSlots的Tab [5]
  • FLIP-102: 添加更多的TaskManager Metrics [6]
  • FLIP-103: 更好的Taskmanager/Jobmanager日誌展示 [7]
  • FLIP-104: 添加更多的Jobmanager Metrics [8]

更多信息請參考:

[1]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-75-Flink-Web-UI-Improvement-Proposal-td33540.html
[2]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-98-Better-Back-Pressure-Detection-td37893.html
[3]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-99-Make-Max-Exception-Configurable-tp37895.html
[4]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-100-Add-Attempt-Information-tp37896p37966.html
[5]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-101-Add-Pending-Slots-Detail-tp37897p37967.html
[6]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-102-Add-More-Metrics-to-TaskManager-tp37898.html
[7]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-103-Better-TM-JM-Log-Display-tp37899p38075.html
[8]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-104-Add-More-Metrics-to-Jobmanager-tp37901.html

  1. Canbin Zheng發起的Kubernetes的架構重構討論正在進行中,希望引入一個統一的基於monadic-step的編排器架構,該架構對Kubernetes資源構建過程具有更好、更清晰和一致的抽象,適用於客戶端和服務端。

[9]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLINK-16194-Refactor-the-Kubernetes-architecture-design-td37931.html

  1. 鍾葳發起了在SQL DDL中支持Python UDF的討論,在1.10中,已經支持了UDF的DDL,但是隻支持了Java/Scala的,這個討論旨在支持Python UDF。

[10]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-106-Support-Python-UDF-in-SQL-Function-DDL-td38107.html

  1. 李鈺和王治江回覆了Unaligned checkpoints的討論,這個提議在於支持一種新的Checkpoint方式,它可以把Checkpoint的間隔大大縮短,減少流計算的E2E時間,也減少Failover的時間。

[11]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-76-Unaligned-checkpoints-td33651.html

  1. 李博聞發起了JDBC Catalog FLIP的投票,旨在用Catalog來對接JDBC,從而可以使用到外部數據庫的表。

[12]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-93-JDBC-catalog-and-Postgres-catalog-td38208.html

  1. 賀小令發起了TableEnvironment接口重構FLIP的投票,旨在重構TableEnvironment的sqlUpdate等接口,提供更爲清晰的sql接口,避免緩存SQL問題導致用戶的困惑。

[13]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-84-Improve-amp-Refactor-API-of-TableEnvironment-td38178.html

郵件列表答疑

  1. Outlook在用戶郵件列表發出了關於Json格式解析Timestamp時的問題,目前Flink在Json解析時遵循了RFC 3339標準,但是這個標準可能不是用戶常用的,用戶可能有各種各樣的Timestamp字符串形式,解法正在討論中。

[14]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Re-TIME-TIMESTAMP-parse-in-Flink-TABLE-SQL-API-td38150.html

  1. 有兩位用戶都遇到了Class衝突的問題,這是因爲Flink 1.10把客戶端的ClassLoader解析順序調整爲了Child優先,這就導致用戶的Jar包不能包含Flink框架的classes,比如常見的Calcite、Flink-Planner依賴、Hive依賴等等。用戶需要把有衝突classes的jar放到flink-home/lib下,或者調整策略爲Parent優先。

[15]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Flink-1-10-exception-Unable-to-instantiate-java-compiler-td38221.html
[16]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Flink-1-10-exception-Unable-to-instantiate-java-compiler-td38221.html

  1. 貓貓提出了flink-jdbc-driver的使用問題,引出了目前batch不支持UpsertTableSink,也就是不支持目前的JDBCUpsertSink和HBaseUpsertSink,目前正在支持中。

[17]http://apache-flink.147419.n8.nabble.com/flink-jdbc-driver-mysql-flink1-10-0-td1763.html

  1. claylin提出了Flink 1.10 RocksDB優化的問題,正在嘗試通過內存和線程來解決。

[18]http://apache-flink.147419.n8.nabble.com/rocksDB-td1785.html

  1. 有兩位用戶都碰到了Flink 1.10 Hive集成的kerberos認證異常,問題還在排查中。

[19]http://apache-flink.147419.n8.nabble.com/Flink-1-10-hive-kerberos-td1751.html
[20]http://apache-flink.147419.n8.nabble.com/Hive-Source-With-Kerberos-td1688.html

活動博客文章及其他

  1. Seth發佈關於Apache Flink SQL DDL的博客文章“No Java Required: Configured Sources and Sinks in SQL”。

[21]https://flink.apache.org/news/2020/02/20/ddl.html

  1. Maximilian Michels和Markos Sfikas發佈了Apache Beam和Apache Flink集成的博客文章:“Apache Beam: How Beam Runs on Top of Flink”。

[22]https://flink.apache.org/ecosystem/2020/02/22/apache-beam-how-beam-runs-on-top-of-flink.html

  1. Flink 中文社區進行了 Flink 1.10 特別篇直播。
  • Flink on Zeppelin: 極致體驗(1) 入門 + Batch,由 Apache Zeppelin PMC,阿里巴巴高級技術專家章劍鋒分享
  • 基於 Flink 的典型 ETL 場景實現,由美團點評高級技術專家買蓉分享

直播回顧:

https://ververica.cn/developers/flink-training-course3/

2 分鐘快速訂閱 Flink 中文郵件列表

Apache Flink 中文郵件列表訂閱流程:

  1. 發送任意郵件到 [email protected]
  2. 收到官方確認郵件
  3. 回覆該郵件 confirm 即可訂閱

訂閱成功後將收到 Flink 官方的中文郵件列表的消息,您可以向 [email protected] 發郵件提問也可以幫助別人解答問題,動動手測試一下!

Tips:

Flink Weekly 週報計劃每週更新一期,內容涵蓋郵件列表中用戶問題的解答、社區開發和提議的進展、社區新聞以及其他活動、博客文章等,歡迎持續關注~

作者介紹:

李勁鬆,花名之信,Apache Flink Committer,2014 年起專注於阿里內部 Galaxy 流計算框架;2017 年起開始 Flink 研發,主要專注於 Batch 計算、數據結構與類型。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章