藏不住了,Flink 未來發展的最新方向在這裏!

藏不住了,Flink 未來發展的最新方向在這裏!

Flink 社區 Flink 中文社區

距離 11 月 28 日 Flink Forward Asia 大會重磅開啓還剩 3 天!之前我們詳細介紹了圍繞 Apache Flink 及其核心技術開設的五大專場,包括:企業實踐、Apache 核心技術專場、開源大數據生態、實時數倉 、人工智能五大專題詳細內容。

除分會場細分方向的主要內容外,Flink Forward Asia 2019 主會場更以頂級陣容與你一起探索強大算力關鍵技術與數字化轉型未來風向。主會場亮點概覽:

  1. 阿里巴巴集團首席技術官,阿里雲智能總裁張建鋒開場分享 《開放的雲,數據的雲,智能的雲》 ,帶來關於雲智能時代的思考;
  2. Apache Flink 創始人之一 Stephan Ewen 分享 Flink 未來發展最新方向;
  3. Flink 中國社區發起人王峯總結回顧社區發展並將揭曉重磅發佈;
  4. 戴爾科技集團副總裁 Srikanth Satya 與軟件開發總監滕昱共同分享可靠的流式架構框架;
  5. 國際交通網絡公司 Lyft 的徐贏和高立分享基於 Apache Flink 的大規模準實時數據分析平臺建設實踐;
  6. 首屆 Apache Flink 極客挑戰賽賽程回顧及頒獎;

主會場部分精彩議題前瞻:

Stateful Functions: Building general-purpose Applications and Services on Apache Flink


Stephan Ewen
Apache Flink PMC,Ververica Co-founder, CTO

本次分享將會爲大家介紹 Apache Flink 中最新的“Stateful Functions”API。

近年來,在 Kubernetes 等技術的推動下,針對無狀態計算的編排技術已經取得了長足進展。甚至可以說,無服務的計算和 FaaS(Functions-as-a-Service)正在顛覆我們構建和操作無狀態應用的方式。然而它們都無法滿足分佈式有狀態應用的需求。原因在於此類應用中的狀態處理需要保持一致性,且狀態化服務的交互在面對網絡、節點或軟件故障時需要保持可靠。能否良好地解決上述問題,將直接決定應用是能夠做到正確且可伸縮,還是在發故障時會停止運行或產生錯誤的結果。

Stateful Functions API 以一種全新的方式解決了上述問題。它將流處理和 FaaS 的優勢結合,爲下一代事件驅動應用提供了一種強大的抽象。

Apache Flink Heading Towards A Unified Engine


王 峯

阿里巴巴資深技術專家,實時計算負責人

隨着近些年的快速發展,Apache Flink 已經在實時計算領域成爲用戶的主流選擇。但在實際生產場景中,用戶往往同時需要在實時和離線兩套環境中同時處理相同的業務邏輯,甚至在批流計算模型之間無縫切換,因此 Flink 也將繼續向前發展,基於其流式計算內核優勢,實現批流融合統一引擎,並與目前主流的數倉解決方案 Hive 進行無縫集成。

此外,隨着 AI 場景的爆發,其對大數據計算能力也提出了更多的需求,因此 Flink 下一步也將加大對 AI 場景的支持,進一步完善其迭代計算能力,支持更多傳統機器學習算法,與 TensorFlow/PyTorch 等深度學習框架更好的集成,支持 Python API,給用戶提供一站式的大數據+AI 解決方案。

Reliable Streaming Infrastructure for the Enterprise


這個主題分享將介紹 Dell 科技集團是如何把流處理技術帶入企業開發企業存儲這個成熟但充滿挑戰的領域。對於不少嘉賓來說,“ToB”可能意味着完全不一樣的思路和特性。

首先我們會分享爲什麼流處理技術對企業開發領域有着吸引力,其實不外乎以下兩點:

  1. “接近於0延遲的實時處理“能力可以讓企業用戶從已有的數據集中產生新的商業模式,帶來新的經濟效益。
  2. 可以獲得一個統一的流/批處理統一的基礎架構,降低客戶在數據存儲上的花費。幾乎所有的企業用戶對於在大數據存儲上的額外開銷都非常在意。

再者,對於企業開發領域,又有哪些關鍵點是吸引或是阻止他們採用新技術呢:

  1. 需要減低新技術的門檻,儘量兼任已有成熟的編程模型,這裏面 FlinkSQL 就是一個很好的例子。
  2. 需要一個成熟的“開箱即用“的統一平臺,適應混合雲/多雲的部署。並提供穩定性,安全性和易 InternalUse-Confidential 支持的特性。而這三點往往是決定”ToB“產品成敗的關鍵所在。

最後,我們會帶來一個真實的企業用例,用真實的測試結果來證明全新的流式處理架構的威力。

Lyft 基於 Apache Flink 的大規模準實時數據分析平臺


徐贏博士是 Lyft 數據平臺流媒體平臺的技術領導(Technical Lead),目前主導準實時數據分析平臺的架構開發。在 Lyft 之前,他曾在領英(Linkedin)以及 IBM 擔任技術領導職位,主導領英跨數據中心數據庫複製的上線,以及 IBM 高速數據傳輸技術的研發。

高立博士在 Lyft 的數據平臺團隊中工作,目前領導 Lyft 數據平臺內的多個數據基礎架構項目,包括實時數據倉庫,自服務機器學習平臺項目等。 曾在 Salesforce,Fitbit,Groupon 和其他初創公司擔任關鍵技術領導職務。

在演講中, 我們將陳述 Lyft 的準實時大數據分析平臺。目前在這個平臺上每天處理數千億的實時事件。Flink 是這個平臺上鍊接實時流式處理和離線批處理的橋樑。Flink 集羣負責從雲端 Pubsub 系統提取數據, 並且將數據批編碼並上傳至類似於 AWS S3 的雲存儲上. 我們將討論如何在上傳的數據基礎上架構基於開源 Presto 引擎的交互式查詢, 如何利用 Flink 的基於事件時間的處理機制來驅動下游的抽取-轉換-加載(ETL)進程, 如何應對不可預測的系統故障, 以及在擴展數據架構的實踐中所吸取的經驗教訓。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章