Flink Weekly | 每週社區動態更新-20200520

大家好,本文爲 Flink Weekly 的第十六期,由王雷整理,張成 Review。本期主要內容包括:近期社區開發進展、郵件問題答疑、Flink 最新社區動態及技術文章推薦等。

Flink 開發進展

1.Release

■ Piotr Nowojski 宣佈 release-1.11 分支凍結。

[1]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ANNOUNECE-release-1-11-branch-cut-td41668.html

■ 1.10.1 已成功發版,發版日誌見下鏈接。

[2]https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315522&version=12346891

■ 1.10.1 發版後,Seth Wiesman 發現 FLINK-16684 修改了 StreamingFileSink (@PublicEvolving) 的 API,導致 1.10.0 和 1.10.1 之間存在二進制不兼容問題。

[3]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Discuss-Breaking-API-Change-in-1-10-1-td41377.html

2.Dev

■ 當用戶使用 per-job 模式提交任務時,當前的 History Server 無法聚合的顯示這些任務。Gyula 對 History Server 進行了修改,實現了一個可以聚合不同集羣任務的看板。

[4]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Rework-History-Server-into-Global-Dashboard-td41393.html

3.FLIP

■ [Runtime] Aljoscha Krettek 宣佈 FLIP-126 投票通過,FLIP-126 旨在對 Watermark Assigners 進行重構。

[5]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-126-FLIP-126-Unify-and-separate-Watermark-Assigners-td41349.html

4.Discuss

■ [Config] Stephan Ewen 發起了將 state.backend.fs.memory-threshold 的默認值從 1K 提升到 100K 的討論,目的是減少小文件。大家對該改動可能導致 state 變大,從而導致 OOM 的問題進行了討論。

[6]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-increase-quot-state-backend-fs-memory-threshold-quot-from-1K-to-100K-td41475.html

■ [Develop] 關於 @PublicEvolving 註解的 class 需要在相同的 minor 版本修復 bug 時提供 API 和 二進制兼容的投票正在進行。

[7]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-Guarantee-that-PublicEvolving-classes-are-API-and-binary-compatible-across-bug-fix-releases-x-y-td41543.html

■ [Doc] 關於構建一個 Flink 學習資料平臺的討論正在進行,詳情見郵件。

[8]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Add-a-material-web-page-under-quot-https-flink-apache-org-quot-td41298.html

■ [Doc] 當前的發佈流程會出現 dist.apache.org 中的下載鏈接不穩定的問題,Chesnay Schepler 修改了發佈指南,只有在完成發佈後,纔可以從 dist.apache.org 中移除老版本。

[9]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/NOTICE-Deletion-of-older-releases-from-dist-apache-org-td41422.html

5.other

■ [Security] Chesnay Schepler 發佈了 CVE-2020-1960 安全漏洞。攻擊者可藉助特製請求利用該漏洞進行中間人攻擊,入侵通過JMX與進程建立的連接,獲取傳遞的數據。以下版本受到影響:1.1.0 to 1.1.5,1.2.0 to 1.2.1,1.3.0 to 1.3.3,1.4.0 to 1.4.2,1.5.0 to 1.5.6,1.6.0 to 1.6.4,1.7.0 to 1.7.2,1.8.0 to 1.8.3,1.9.0 to 1.9.2,1.10.0。修復方案見郵件。

[10]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/CVE-2020-1960-Apache-Flink-JMX-information-disclosure-vulnerability-td41437.html

■ [CI] 當前對於 PR 端到端的測試任務使用的資源達到了 Flink 的 Azure Pipelines 賬號的上限,Robert Metzger 不得不手動取消掉一些端到端的測試。Robert Metzger 正在積極尋找解決辦法。

[11]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/NOTICE-Azure-Pipelines-Status-td41455.html

郵件問題答疑

■ [Debug] 李佳宸遇到了在集羣關閉時,Pushgateway 仍然存有metrics數據的問題,楊綱給予瞭解答,當通過 yarn kill 的方式停掉任務時,Pushgateway 內存中緩存的指標不會被清理。

[12]http://apache-flink.147419.n8.nabble.com/Prometheus-Pushgateway-Flink-td3041.html

■ [Runtime] 1101300123遇到了 AppendOnlyTopNFunction 報數組越界的問題,雲邪確認是一個 bug,創建了issue FLINK-17625。

[13]http://apache-flink.147419.n8.nabble.com/1-10-flinkSQL-row-number-top1-td3056.html

■ [Debug] Jeff 希望能夠監控 task 級別的內存使用情況,由於運行在同一個 JVM,進程中的不同線程的內存開銷分析代價會比較高,不適合實時計算場景,所以不支持 task 級別的內存監控。

[14]http://apache-flink.147419.n8.nabble.com/task-td3075.html

■ [Stateful Function] Annemarie Burger 希望能在 Stateful Function 中使用窗口功能。Igal Shilman 告知當前 Stateful Function 不支持窗口功能,同時提供了 DelayedMessage 的變通方法。

[15]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Window-processing-in-Stateful-Functions-td34966.html

■ [Debug] Jacky Du 在 AWS EMR Debug 使用 JITWatch 報錯,Xintong Song 指出,當在 flink-conf.yaml 配置 JITWatch 參數時不能使用引號。

[16]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-Memory-analyze-on-AWS-EMR-td35036.html

■ [Runtime] Ken Krugler 希望自定義重啓策略,Zhu Zhu 告知自 1.10 版本開始,RestartStrategy 被 RestartBackoffTimeStrategy 替代,RestartBackoffTimeStrategy 暫不支持自定義重啓策略。

[17]http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Flink-restart-strategy-on-specific-exception-td24665.html

活動 / 博客文章 / 其他

■ Flink Forward Global 2020 暫定於10月19日 - 21日在線上舉行,目前正在徵集議題。

[18]https://www.flink-forward.org/global-2020/call-for-presentations

■ Apache Flink 杭州站線上 Meetup 圓滿結束,直播回放如下:

[19]https://developer.aliyun.com/live/2772

■ Flink 1.10 細粒度資源管理解析

[20]https://mp.weixin.qq.com/s/NZXtKlRNnWdWDNtU7cml2Q

■ Flink 與 Hive 的磨合期

[21]https://mp.weixin.qq.com/s/TH3TXKebXJ0nAKUh8wfxUw

■ 如何用一套引擎搞定機器學習全流程?

[22]https://mp.weixin.qq.com/s/c5bZy_v15FtT1oJGW0UAWQ

2 分鐘快速訂閱 Flink 中文郵件列表

Apache Flink 中文郵件列表訂閱流程:

  1. 發送任意郵件到 [email protected]
  2. 收到官方確認郵件
  3. 回覆該郵件 confirm 即可訂閱

訂閱成功後將收到 Flink 官方的中文郵件列表的消息,您可以向 [email protected] 發郵件提問也可以幫助別人解答問題,動動手測試一下!

Flink Weekly 週報計劃每週更新一期,內容涵蓋郵件列表中用戶問題的解答、社區開發和提議的進展、社區新聞以及其他活動、博客文章等,歡迎持續關注。

Tips:點擊「閱讀原文」查看本期 weekly 詳情,擴展閱讀鏈接可直接跳轉~

作者介紹:

王雷,小紅書技術部基礎平臺開發工程師,目前主要在做基於 Flink 的實時計算平臺開發。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章