全球最大的開源軟件基金會 Apache 軟件基金會(以下簡稱 Apache)於北京時間 2021年4月9日在官方渠道宣佈Apache DolphinScheduler 畢業成爲Apache頂級項目。這是首個由國人主導並貢獻到 Apache 的大數據工作流調度領域的頂級項目。
DolphinScheduler™ 已經是聯通、IDG、IBM、京東物流、聯想、新東方、諾基亞、360、順豐和騰訊等 400+ 公司在使用的分佈式可視化大數據工作流調度系統。
DolphinScheduler於2019年8月29日由易觀捐贈給 Apache 並啓動孵化。之後在導師的指導下,由孵化器管理委員會成員進行輔導和孵化,在 2021年2月19日在 Apache 孵化器以 8 票支持一次性通過畢業提案投票。3月18日,Apache 董事會通過DolphinScheduler畢業決議,結束了爲期 18 個月的孵化,正式確定 DolphinScheduler 成爲 Apache 頂級項目。
2021 年 4 月 9 日由 Apache 市場副總裁 Sally Khudairi 在 Apache 軟件基金會各渠道官號上發佈官方通告。
關於 Apache DolphinScheduler
Apache DolphinScheduler 是一個分佈式易擴展的帶有強大可視化 DAG 界面的新一代工作流調度平臺,自 2017 年在立項之初就確定了使命“解決大數據任務之間錯綜複雜的依賴關係,使整個數據處理過程直觀可見”,從此配置工作流程再也不需要寫代碼啦!
DolphinScheduler 架構
作爲強大的帶有有向無環圖(DAG)可視化界面的分佈式大數據工作流調度平臺,DolphinScheduler解決了複雜的任務依賴關係和簡化了數據任務編排的工作。它以開箱即用的、易於擴展的方式將衆多大數據生態組件連接到可處理 100,000 級別的數據任務調度系統中來。
Apache DolphinScheduler是全球頂尖架構師與社區認可的數據調度平臺,把複雜性留給自己,易用性留給用戶,整體有如下特徵:
雲原生設計:支持多雲、多數據中心的跨端調度,同時也支持K8s Docker部署與擴展,性能上可以線性增長,在用戶測試情況下最高已經支持10萬的並行任務控制;
高可用:去中心化的多Master/Worker的架構,可以自動任務平衡,自動高可用,確保任務在任何節點死機的情況下可以具有完整性完成整體調度;
用戶友好的界面:可視化的DAG圖,包括子任務,條件調度、腳本管理、多租戶等方便功能,並具有讓運行任務實例與任務模板分開,讓你的平臺維護人員和數據科學家都有一個方便易用的開發和管理平臺;
支持多種數據場景:支持流數據處理,批數據處理,暫停、回覆、多租戶等,對於spark,hive,MR,flink,clickhouse等等平臺都可以方便直接調用。
DolphinScheduler在短短一年半孵化時間裏就能收穫如此多用戶和其一直倡導的Slogan是分不開的:
最終Apache DolphinScheduler獲得大量用戶,例如中國聯通、IBM中國,京東物流,聯想,新東方,順豐快遞等等,400多個用戶都在線上使用:
Apache DolphinScheduler開始了新的起點!
DolphinScheduler 在設計之初就秉承着大道至簡、產品易用易維護的核心理念,以高可用、易擴展作爲架構底座,經過諸多打磨,獲得了用戶羣體的肯定,然後纔在 2019年 3 月正式對外開源,8 月 29 日成功進入到 Apache 孵化器,成爲國內首個 Apache 大數據調度項目,多次登陸 github 月度趨勢榜並引起 Hacker News 上的熱烈討論。在 2020 年, DolphinScheduler 也獲得了諸多讚譽,InfoQ 中國技術力量年度榜單評其爲 “十大開源新銳項目” 和 “最具人氣開源新銳項目”,榮獲開源中國年度 “最佳技術團隊” 等稱號。DolphinScheduler社區已經有龐大的 4000+ 人的用戶羣,據不完全統計,截止 2020 年 10 月,已經有 400+ 家公司將 DolphinScheduler 用在生產環境,DolphinScheduler 在各個領域上持續發光發熱!
DolphinScheduler 發展歷程
在 Apache 孵化過程中,學習並實踐 Apache Way, 真正體會到了 Apache 文化的精髓 “Comuunity Over Code”,社區基於代碼,卻又大於代碼,需要在代碼之上去思考如何協作、如何溝通,如何讓 Community 健康持續的向前發展。正是這不斷的思考,使得 DolphinScheduler 在結束孵化投票上沒有遇到任何 challenge,可以說是出乎意料的順利。
畢業成爲頂級項目見證了過去一年半以來來自 Apache DolphinScheduler 社區衆多貢獻者和用戶的日日夜夜的努力,自從進入 Apache 孵化器以來,DolphinScheduler 社區共加入了 14 位 Commiter、2 位 PMC,也在社區的共同努力下發布了 8 個 Apache Releases,感謝給予辛勤支持和無數幫助的各位導師、貢獻者、用戶和及 Apache 孵化器的支持。
成爲頂級項目,只是Apache DolphinScheduler新的起點,還有更多的挑戰等待着各位社區的小夥伴和用戶多多的支持,我們希望未來可以讓中國優秀的開源項目走向世界,讓世界都瞭解國內也有頂尖的開源項目,最後也感謝各位大咖對於 Apache DolphinScheduler 項目的幫助和祝福。我們也在此拜謝各位,也希望各位一如既往的支持 Apache DolphinScheduler 項目走向全球!
在成爲頂級項目佳機,DolphinScheduler 社區先後獲得各路大神和各開源社區的賀詞與祝福:
我很榮幸能從孵化的第一天起就開始指導DolphinScheduler社區。在過去的 1.5 年中,社區非常快速而健康地生長。他們很快學會了Apache文化,並具有出色的執行能力。很高興看到該項目從孵化器中畢業,並擁有一個多元化而活躍的社區。成爲頂級項目來說是一個新的起點,期待成爲一個全球性且強大的項目。
——Sheng Wu. DolphinScheduler Incubator Champion. Apache board director
很榮幸見證了 DolphinScheduler 從開源到進入 Apache 孵化器,再到畢業成爲獨立 Apache 頂級項目的整個過程;在這一年多的時間裏, DolphinScheduler 社區的同學們,秉承開源精神,不斷創新、不斷進取;社區開發者貢獻者源源不斷的加入,使得 DolphinScheduler 這個國人創造的大數據調度工具日趨完善,用戶也越來越多,項目走向了良性循環發展之路。期待她從孵化器畢業以後,在其 PMC 的管理下繼續前進,通過開源軟件爲社會、爲公衆創造更多價值。
——史少鋒,Apache Kylin & Incubator PMC
祝賀DolphinScheduler開源項目從Apache孵化器中畢業成爲ASF頂級開源項目,DolphinScheduler一直按照Apache Way來發展社區,吸引了衆多開源開發者加入,在社區成員共同努力下,項目越來越成熟,祝願DolphinScheduler社區越來越好
——Apache CarbonData VP 陳亮
在 DolphinScheduler 從 Apache 基金會孵化成功、畢業成爲頂級項目之際,謹代 Apache Pulsar 社區送上祝福,祝 DolphinScheduler 項目和社區發展越來越好!也希望 Pulsar 和 DolphinScheduler 社區多多合作,共同推進國內開源發展。
—— Apache Pulsar 社區
恭喜 Apache DolphinScheduler 從 Apache 基金會畢業,非常高興看到又一來自中國的開源項目成爲 Apache 基金會頂級項目。恭祝 DolphinScheduler 社區發展壯大,服務更多開發者。
—— Apache ECharts VP 羨轍
恭喜 DolphinScheduler 順利畢業成爲 Apache 軟件基金會的頂級項目!DolphinScheduler 在進入 Apache 孵化器後,按照 Apache Way 快速發展,已經擁有了很多的外部貢獻者,也有非常多的公司在使用,構建了健康的社區生態。期待 Apache DolphinScheduler 成爲頂級項目後,能夠吸引更多的開發者參與進來。
—— Apache APISIX VP 溫銘
DolphinScheduler 是非常靠譜的國產開源項目,祝越來越好!
—— Apache pegasus ppmc 吳濤
恭喜 Apache DolphinScheduler 畢業,
DolphinScheduler是一款非常優秀的開源項目,社區一直遵從Apache Way,孵化期間,已經吸引了大量的用戶、貢獻者。
我在此謹代表 Apache Dubbo 社區送上祝福,衷心祝願DolphinScheduler社區越來越好!
——Apache Dubbo PMC - YuHang Xiu
我非常高興看到 DolphinScheduler 畢業成爲 Apache 頂級項目,DolphinScheduler 社區在孵化器中以 Apache way 的方式發展的非常快。我對我們2個社區共同舉辦的co-meetup上參與者的熱情印象非常深刻。希望將來能有更多的合作。我爲你感到驕傲,Congratulations!
——LiangZhang, Apache member & Apache ShardingSphere PMC Chair
恭喜 Apache DolphinScheduler 從 Apache 基金會畢業成爲 Apache 基金會頂級項目。恭祝 DolphinScheduler成爲新時代Scheduler標準,爲更多的企業和開發人員帶來開箱即用的體驗。
——Apache Griffin VP 郭躍鵬
祝賀DolphinScheduler畢業!進入Apache孵化器以來,DolphinScheduler發展非常迅速,建立了非常活躍的社區。期待DolphinScheduler越來越好,也非常期待IoTDB能夠與DolphinScheduler集成,成爲時序分析的數據源。
——Apache IoTDB VP 黃向東
此次順利畢業,DolphinScheduler 也獲得了開源社創始人 - 劉天棟Ted 的高度評價:“Apache DolphinScheduler 是一個真正踐行 Apache 之道-亦即由社區驅動的開源項目。它成功地由 Apache 孵化器畢業爲頂級項目,標誌了第一個源自中國的中小企業開源項目一樣可以立足中國、貢獻全球。恭喜 Apache DolphinScheduler! ”
畢業之際,DolphinScheduler 社區也獲得了用戶代表的讚譽:
提供了一個優秀的調度產品,節省了近百人月的開發成本。友好的社區溝通環境,提供了強大的後援支持。
——聯通數字科技 架構師 尹正軍
面向物流領域的解決方案,DS作爲數據底座基礎組件,可配合多個京慧智能產品應用對外銷售,可根據業務實際需求靈活選擇。可快速高效定製化開發,新功能新需求支持敏捷開發,短時間內即可完成產品方案的快速交付,具有良好的、完整的技術保障。另外運用開源DS,便於業務實際需求擴展和二次開發。如外接SAP hana數據共享和Hadoop最新版本源碼快速迭代。DS 社區一年來,彙集了很多業界專家,輸出了很多高質量的講座和文檔資源,在社區中學習到很多,收穫很大。祝DS社區發展越來越好,能夠凝聚更多的有識之士,共譜開源DS的美好未來。
——京東物流JDL 數據架構師 顧喜德
恭喜~~ 小海豚已經是我們數據項目開發管理的利器,非常好用,希望保持初心,越來越好~
——奇安信 數據總監 姜旭
從EasyScheduler到DolphinScheduler,有幸見證了小海豚的成長 —— 越來越簡單,越來越易用。DS已作爲數據平臺的基礎組件服務於整個長安汽車車聯網的離線開發場景,非常穩定。希望DS社區生態越來越完善,每個用戶都能得益於社區,貢獻於社區!
——長安汽車 數據平臺工程師 黃立
新一代大數據調度 - DolphinScheduler 的相關資源
DolphinScheduler 官網: https://dolphinscheduler.apache.org
DolphinScheduler github:https://github.com/apache/incubator-dolphinscheduler
DolphinScheduler Gitee:https://gitee.com/dolphinscheduler/DolphinScheduler
DolphinScheduler Twitter: https://twitter.com/dolphinschedule
DolphinScheduler Slack 討論頻道: https://join.slack.com/t/asf-dolphinscheduler/shared_invite/zt-omtdhuio-_JISsxYhiVsltmC5h38yfw
DolphinScheduler 微信公衆號: 海豚調度
微信用戶羣添加微信號: easyworkflow
彩蛋:
DolphinScheduler 社區獲得了 Apache Pulsar 社區的視頻祝福:
https://www.bilibili.com/video/BV1oi4y1w7yk
本文分享自微信公衆號 - 海豚調度(dolphin-scheduler)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。