作者:張成
大家好,本文爲 Flink Weekly 的第八期,由張成整理,主要內容包括:近期社區開發進展,郵件問題答疑以及 Flink 最新社區動態及本週社區直播內容推薦。
Flink 開發進展
■ Yangze Guo 在 FLIP-108 中建議 Flink 支持對 GPU 的資源管理。
■ 從 Flink 1.10.0 開始,Apache Flink 項目開始維護 Flink Docker。
■ Arvid 更新了 FLIP-76(Unaligned Checkpoints),並希望儘快進行投票。
■ Tison 提議改變 flink-streaming-java 的依賴結構。
■ Arvid 建議啓動一個 Flink 開發者博客,這個博客涵蓋當前正在做或者即將要做的工作。該提案已收到其他提交者的許多積極反饋。
[5] https://cwiki.apache.org/confluence/display/FLINK/Apache+Flink+Home
[6] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/Flink-dev-blog-tp38316p38344.html
■ Dawid 建議在 “CREATE TABLE” 語句中支持 “LIKE”。這樣 Flink SQL 可以輕鬆地調整/擴展現有表。這個隨着 Flink 增加對更多外部系統的支持,變得越來越相關。(SchemaRegistry,HiveCatalog,JDBCCatalog 等)。
■ FLIP-58 在 SQL 和 Table API 中引入了 Python UDF。FLIP-79 在 Flink SQL 中添加了 Function DDL,以便在 SQL 中註冊 Java 和 Scala UDF。
基於這兩個 FLIP,Wei Zhon 發佈了 FLIP-106 在 SQL Function DDL 中支持 Python UDF。
郵件問題答疑
■ Jark Wu 正在統計使用 CDC 的工具,有興趣的同學可以去圍觀。
[9] http://apache-flink.147419.n8.nabble.com/SURVEY-CDC-td1910.html
■ 目前 Flink SQL 尚不支持 CREATE TABLE 自動從 format 或 schema 服務中推斷出字段信息。
[11] https://issues.apache.org/jira/browse/FLINK-16420
■ 目前 Flink SQL 尚不支持 SHOW CREATE TABLE,感興趣的可以跟進 FLINK-16384。
■ 目前在 Flink SQL 中使用 tumbling window 求 topn 暫時不支持,Jark Wu 在郵件中進行了詳細的解答。
■ pkuvisdudu 對 Flink 內存類型提出了相關疑問,Xintong Song 在郵件中進行了詳細的解釋。
[14] http://apache-flink.147419.n8.nabble.com/Flink-td1869.html
■ Flink SQL 將 group 聚合的數據寫入到 HBase 表報 primary keys 問題,由 Jark Wu 進行了詳細解答。
[15] http://apache-flink.147419.n8.nabble.com/Flink-SQL-group-HBase-primary-keys-td1877.html
■ 小旋鋒提問 flink elasticsearch sink 如何能不丟數據?Jark Wu 進行了詳細的回答,有興趣的可以查閱。
[16] http://apache-flink.147419.n8.nabble.com/flink-elasticsearch-sink-td1862.html
■ sunfulin 遇到了在 SQL 中使用 UDF 同時開啓 checkpoint,會導致任務報錯。
■ 王博迪在郵件中提到如何進行問題諮詢。英文交流郵箱是 [email protected],中文交流郵箱是 [email protected]。
[18] http://apache-flink.147419.n8.nabble.com/Development-related-problems-consultation-td1821.html
■ 用戶的任務大約 6 天掛一次,看日誌定位爲 checkpoint 失敗導致。
[19] http://apache-flink.147419.n8.nabble.com/flink-td1871.html
■ nicygan 想以 per-job 的方式在 Yarn 上面提交 Flink 任務報錯,Tison 在郵件列表中進行了詳細的解答。
[20] http://apache-flink.147419.n8.nabble.com/jobGroph-pre-job-yarn-td1859.html
活動 / 博客文章 / 其他
■ 袋鼠雲技術公司 DTStack 最近在 flink-packages.org 上發佈了 FlinkX。
FlinkX 基於 Apache Flink,能夠實現某些數據源之間的相互導入。
[21] https://flink-packages.org/packages/flinkx
■ Flink 中文社區進行了實時數倉系列直播。
- 利用 Flink 實現實時超時統計場景,由菜鳥高級數據工程師馬汶園分享
- 利用 Flink 實現實時狀態複用場景,由菜鳥數據工程師李晨分享
直播回顧:
https://ververica.cn/developers/flink-training-course3/
2 分鐘快速訂閱 Flink 中文郵件列表
Apache Flink 中文郵件列表訂閱流程:
- 發送任意郵件到 [email protected]
- 收到官方確認郵件
- 回覆該郵件 confirm 即可訂閱
訂閱成功後將收到 Flink 官方的中文郵件列表的消息,您可以向 [email protected] 發郵件提問也可以幫助別人解答問題,動動手測試一下!
Tips:
Flink Weekly 週報計劃每週更新一期,內容涵蓋郵件列表中用戶問題的解答、社區開發和提議的進展、社區新聞以及其他活動、博客文章等,歡迎持續關注~
作者介紹:
張成,小紅書技術部基礎平臺開發工程師,目前主要在做基於 Flink 的實時計算平臺開發。