Flink Weekly | 每週社區動態更新 - 20200313

作者:張成

大家好,本文爲 Flink Weekly 的第八期,由張成整理,主要內容包括:近期社區開發進展,郵件問題答疑以及 Flink 最新社區動態及本週社區直播內容推薦。

Flink 開發進展

■ Yangze Guo 在 FLIP-108 中建議 Flink 支持對 GPU 的資源管理。

[1] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-108-Add-GPU-support-in-Flink-tp38286.html

■ 從 Flink 1.10.0 開始,Apache Flink 項目開始維護 Flink Docker。

[2] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-111-Docker-image-unification-tp38444.html

■ Arvid 更新了 FLIP-76(Unaligned Checkpoints),並希望儘快進行投票。

[3] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-76-Unaligned-checkpoints-tp33651.html

■ Tison 提議改變 flink-streaming-java 的依賴結構。

[4] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/PROPOSAL-Reverse-the-dependency-from-flink-streaming-java-to-flink-client-tp38469.html

■ Arvid 建議啓動一個 Flink 開發者博客,這個博客涵蓋當前正在做或者即將要做的工作。該提案已收到其他提交者的許多積極反饋。

[5] https://cwiki.apache.org/confluence/display/FLINK/Apache+Flink+Home

[6] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Flink-dev-blog-tp38316p38344.html

■ Dawid 建議在 “CREATE TABLE” 語句中支持 “LIKE”。這樣 Flink SQL 可以輕鬆地調整/擴展現有表。這個隨着 Flink 增加對更多外部系統的支持,變得越來越相關。(SchemaRegistry,HiveCatalog,JDBCCatalog 等)。

[7] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-110-Support-LIKE-clause-in-CREATE-TABLE-tp38378p38421.html

■ FLIP-58 在 SQL 和 Table API 中引入了 Python UDF。FLIP-79 在 Flink SQL 中添加了 Function DDL,以便在 SQL 中註冊 Java 和 Scala UDF。

基於這兩個 FLIP,Wei Zhon 發佈了 FLIP-106 在 SQL Function DDL 中支持 Python UDF。

[8] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-106-Support-Python-UDF-in-SQL-Function-DDL-tp38107.html

郵件問題答疑

■ Jark Wu 正在統計使用 CDC 的工具,有興趣的同學可以去圍觀。

[9] http://apache-flink.147419.n8.nabble.com/SURVEY-CDC-td1910.html

■ 目前 Flink SQL 尚不支持 CREATE TABLE 自動從 format 或 schema 服務中推斷出字段信息。

[10] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/CREATE-TABLE-with-Schema-derived-from-format-td33365.html

[11] https://issues.apache.org/jira/browse/FLINK-16420

■ 目前 Flink SQL 尚不支持 SHOW CREATE TABLE,感興趣的可以跟進 FLINK-16384。

[12] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/SHOW-CREATE-TABLE-in-Flink-SQL-td33296.html

■ 目前在 Flink SQL 中使用 tumbling window 求 topn 暫時不支持,Jark Wu 在郵件中進行了詳細的解答。

[13] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Get-Tumbling-Window-Top-K-using-SQL-td33236.html

■ pkuvisdudu 對 Flink 內存類型提出了相關疑問,Xintong Song 在郵件中進行了詳細的解釋。

[14] http://apache-flink.147419.n8.nabble.com/Flink-td1869.html

■ Flink SQL 將 group 聚合的數據寫入到 HBase 表報 primary keys 問題,由 Jark Wu 進行了詳細解答。

[15] http://apache-flink.147419.n8.nabble.com/Flink-SQL-group-HBase-primary-keys-td1877.html

■ 小旋鋒提問 flink elasticsearch sink 如何能不丟數據?Jark Wu 進行了詳細的回答,有興趣的可以查閱。

[16] http://apache-flink.147419.n8.nabble.com/flink-elasticsearch-sink-td1862.html

■ sunfulin 遇到了在 SQL 中使用 UDF 同時開啓 checkpoint,會導致任務報錯。

[17] http://apache-flink.147419.n8.nabble.com/Flink-SQL-job-failed-to-submit-with-enableCheckpointing-while-SQL-contains-UDF-td1804.html

■ 王博迪在郵件中提到如何進行問題諮詢。英文交流郵箱是 [email protected],中文交流郵箱是 [email protected]

[18] http://apache-flink.147419.n8.nabble.com/Development-related-problems-consultation-td1821.html

■ 用戶的任務大約 6 天掛一次,看日誌定位爲 checkpoint 失敗導致。

[19] http://apache-flink.147419.n8.nabble.com/flink-td1871.html

■ nicygan 想以 per-job 的方式在 Yarn 上面提交 Flink 任務報錯,Tison 在郵件列表中進行了詳細的解答。

[20] http://apache-flink.147419.n8.nabble.com/jobGroph-pre-job-yarn-td1859.html

活動 / 博客文章 / 其他

■ 袋鼠雲技術公司 DTStack 最近在 flink-packages.org 上發佈了 FlinkX。

FlinkX 基於 Apache Flink,能夠實現某些數據源之間的相互導入。

[21] https://flink-packages.org/packages/flinkx

■ Flink 中文社區進行了實時數倉系列直播。

  • 利用 Flink 實現實時超時統計場景,由菜鳥高級數據工程師馬汶園分享
  • 利用 Flink 實現實時狀態複用場景,由菜鳥數據工程師李晨分享

直播回顧:

https://ververica.cn/developers/flink-training-course3/

2 分鐘快速訂閱 Flink 中文郵件列表

Apache Flink 中文郵件列表訂閱流程:

  1. 發送任意郵件到 [email protected]
  2. 收到官方確認郵件
  3. 回覆該郵件 confirm 即可訂閱

訂閱成功後將收到 Flink 官方的中文郵件列表的消息,您可以向 [email protected] 發郵件提問也可以幫助別人解答問題,動動手測試一下!

Tips:

Flink Weekly 週報計劃每週更新一期,內容涵蓋郵件列表中用戶問題的解答、社區開發和提議的進展、社區新聞以及其他活動、博客文章等,歡迎持續關注~

作者介紹:

張成,小紅書技術部基礎平臺開發工程師,目前主要在做基於 Flink 的實時計算平臺開發。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章