簡介： 王峯 阿里巴巴開源委員會大數據AI領域副主席 阿里雲開源大數據平臺負責人 Flink中文社區發起人
以下爲開發者社區「開源人說」第四期——大數據&AI專場的主題分享，點擊鏈接瞭解更多精彩詳情👇
https://developer.aliyun.com/live/250636
近日，阿里雲向Apache孵化器捐贈了Celeborn項目（原EMR Remote Shuffle Service項目 ），這也是第一個誕生在阿里雲上的Apache孵化項目。阿里雲的開源大數據平臺EMR能夠支持在阿里雲上運行業界主流的開源大數據組件，比如Hadoop、Spark、Flink、Kafka等，在雲上提供了一套非常低門檻、易用的開源大數據全家桶服務。
雲原生架構和理念也在不斷強化、推行，比如存算分離架構等都是雲上特有的架構屬性。在此技術背景之下，我們發現在Hive、Spark 、Flink 等都有數據 shuffle 的需求。因此，阿里雲提供了Remote Shuffle Service，用一套數據Shuffle來支持所有大數據計算引擎。
這就是雲帶來變化，雲與開源結合後產生了化學反應。Remote Shuffle Service項目誕生後，又吸引了以小米、網易爲代表的多家公司參與共建，最終於2021年12月開源。爲了讓更多公司參與共建，讓項目產生更大的影響力，我們決定將其捐獻給Apache基金會，從孵化器項目起步，也希望能夠成爲Apache的頂級項目。
雲提供了彈性資源，用戶能夠非以常大的自由度運行業務、發揮算力，運行數字業務、做數據分析、做數據庫、做 AI 、SaaS、PaaS等業務都在雲上輕鬆展開。而運行開源軟件需要準備很多環境，需要有硬件，也需要做參數配置，存在一定門檻。
雲的出現推動了開源的興起，因爲在雲上可以更輕鬆地獲得資源，雲彈性滿足了按量使用、按需購買的需求，因此也可以輕鬆部署開源軟件。雲成爲了開源軟件的運行底座。比如，使用EMR可以在3分鐘內創建100個節點集羣，可以Hadoop、Spark、Flink 、Kafka 等主流開源組件，可以輕鬆實現運維、部署、管控、監控、使用、開發等一整套鏈路。
雲使得開源軟件的運行更加普適化，雲與開源的關係也推動了整個數字經濟和數字化轉型的發展。另外，雲上能夠提供PAI DSW一致的Notebook開發體驗。雲也爲開源提供了很好商業模式，通過開源讓更多人受益。同時，通過開源構建自己的商業模式，得到更多資源去反哺開源社區，形成正向循環。總之，在雲上運行開源軟件、提供開源軟件商業化服務等，能夠讓雲與開源結合得更好，也讓開源運行得更好。
阿里巴巴爲開源提供了巨大支持，擁有開源項目3000+，超過 3 萬個外部 contributor ，與超過100 個開源社區合作共建，共同推進開源項目、開源文化在業界的發展。
（上圖均爲生於雲、長於雲的開源項目）
阿里靈傑AI開源家族全棧採用開源風格，在不同行業、領域已經實現了諸多落地，比如音視頻領域、自動駕駛領域、搜索推薦領域、OCR文字識別、金融量化、城市大腦的交通智能調度等。
最核心工程平臺PAI 機器學習平臺也積極擁抱開源技術，完全兼容了業界主流的TensorFlow、PyTouch等國際標準以及PaddlePaddle、MindSpore、OneFlow 等國內主流的AI框架 。同時，我們也實現了非常多優化，包括Deep系列、Blade 系列編譯優化、 AI 算法優化、算法框架優化、 AI 引擎優化、 AI 編譯優化，很多優化也進行了全面開源。阿里的 AI 鏈路從底層基礎平臺到上層應用，全部以開源技術棧運行，全程踐行開源文化。
Flink已經成爲實時計算的標準，國內各個互聯網公司、金融公司、傳統行業公司都已大量使用Flink 做實時流計算分析，也有很多海外公司採用了Apache Flink 做實時分析。
2015年，淘寶面臨了極大的數據挑戰，用戶對購物體驗不斷提出新的要求，比如商品/價格需要實時更新、個性化排序模型/推薦模型需要實時更新，尤其在雙 11 當天，運營策略變化非常快，需要根據用戶反饋和市場變化實時調度，統計實時交易額做運營策略的調整。因此，阿里需要一個自己的實時大數據引擎。經過全面考慮，我們決定擁抱開源社區，用開源理念來構建下一代實時大數據計算平臺。最終，我們選擇了在Apache初出茅廬的 Flink 作爲未來幾年的核心技術基石。
2017年，我們繼續堅定地擁抱開源，將原先阿里巴巴內部的JStorm、Blink和Galaxy統一到開源項目裏，基於 Flink 來做未來的實時計算核心引擎。此後，阿里巴巴所有實時大數據分析、流式大數據分析都圍繞着 Flink 來建設，也在 2017 年逐步統一了全集團的實時計算，基於 Flink 社區加大投入，並在 18 年將我們全面積累的能力上雲，在雲上提供基於 Flink 的大數據服務。
我們從 2016 年開始投入到社區建設，2017 年、2018年分別在歐洲、美國參加 Flink 社區大會，不斷推動 Flink 社區在中國的成長。2019年，阿里巴巴全面收購了Flink背後的商業公司，全力支持社區發展。經過 2020-2021 這兩年的持續投入，阿里巴巴在中國舉辦了將近 100 場線上線下的 Flink MeetUp 以及Flink Forward 大會，投入了大量人力、物力和精力。阿里始終堅定地、完全不考慮商業化、不考慮回報地推動Flink，使其成爲了Apache社區中名列前茅的項目。更重要的，這幾年努力的成果也離不開背後有的開源愛好者、開源文化踐行者的推動。
目前，Flink社區全球開發者超1500人，3年增長1倍；GitHub Stars數近2萬，3年增長3倍，處於社區top地位。
得益於阿里巴巴的持續投入， Flink 的關鍵指標在社區達到了 top 1 或 top 2 的位置。堅定地對開源進行投入，也驗證了中國團隊在國際項目中能夠發揮價值，這是非常值得驕傲的一件事。
Flink社區經過持續演進和技術創新，從最早只有Java API到推出了SQL API，讓開發更簡潔，門檻更低，更多人能夠使用；後陸續推出了 CDC，能夠更好地做數據集成；推出了Flink ML，與機器學習進行更好的合作配合；推出了table store 做流批體數據存儲，也正在構建下一代流式數倉架構。
阿里巴巴毫無保留地將自己的技術創新完全開源到社區，惠及更多開發者，也希望吸引更多開發者一起推動社區發展。
靈傑體系是 AI 的開源代表，Flink 是大數據的開源代表，而 SREWorks 項目是積累了超過 10 年的大數據和 AI 運維能力的沉澱，目前也已開源。SREWorks 可以提供一站式運維服務套件管理，交付、運維、管理、監控、運營、數據資產等能力都可以通過 SREWorks 開源項目實現。
衆多開源項目的背後是一羣對開源有着巨大熱情的員工、開發者，我們有着無限的激情，我們會有定期的開源技術分享，包括機器學習團隊、大數據團隊、歐美團隊等進行國際化跨團隊交流，有社區 meetup ，與不同公司進行交流，這也是開源項目能夠完美落地的保證。
目前，我們的團隊已經參與貢獻了10+Apache頂級開源項目，培養出了 50 多名頂級開源項Committer、PMC，貢獻開源代碼150萬+行。團隊小夥伴們真正將自己工作中的積累、技術上的積累貢獻到開源社區，提供給更多公司、更多企業去使用。也希望有更多人加入我們，共建開源社區。
原文鏈接：https://click.aliyun.com/m/1000364259/
本文爲阿里雲原創內容，未經允許不得轉載。