金燦燦的季節 - Apache DolphinScheduler收穫5位新Committer

原創

2020-06-10 06:13

在這個金燦燦的收穫季節，經過 Apache DolphinScheduler PPMC 們的推薦和投票，Apache DolphinScheduler 收穫了 5 位新Committer 。他們是：nauu(朱凱)、Rubik-W(溫合民)、gabrywu、liwenhe1993、clay4444。對於成爲 Committer ，小夥伴們說道：

朱凱：

非常榮幸能夠成爲DolphinSchedule 的 Committer。這既是一份喜悅，也是一份責任。我將以終爲始，繼續打怪升級，助力 DS 早日畢業。

溫合民：

很榮幸成爲DS Committer團隊的一員。通過技術調研瞭解到DS，最終選型決定引入DS，高效的社區支持使項目最終順利落地。DS是我參與開源的第一個項目，深受益於開源，同時也想爲開源做一些力所能及的貢獻，希望未來能更多的爲DS添磚加瓦，願DS順利畢業。

社區介紹：

Apache DolphinScheduler 是一個非常多樣化的社區，至今貢獻者已近100名，他們分別來自 30 多家不同的公司。微信羣用戶3000人。

Apache DolphinScheduler 部分用戶案例(排名不分先後)

已經有300多家企業和科研機構在使用DolphinScheduler，來處理各類調度和定時任務，另有近500家公司開通了海豚調度的試用：

Apache DolphinScheduler 是什麼

Apache DolphinScheduler 是一個分佈式去中心化，易擴展的可視化 DAG 工作流任務調度系統。致力於解決數據處理流程中錯綜複雜的依賴關係，使調度系統在數據處理流程中開箱即用。

Apache DolphinScheduler項目起源 - 需求決定

Apache DolphinScheduler四大特性

Apache DolphinScheduler 能力:

以DAG圖的方式將Task按照任務的依賴關係關聯起來，可實時可視化監控任務的運行狀態
支持豐富的任務類型：Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
支持工作流定時調度、依賴調度、手動調度、手動暫停/停止/恢復，同時支持失敗重試/告警、從指定節點恢復失敗、Kill任務等操作
支持工作流優先級、任務優先級及任務的故障轉移及任務超時告警/失敗
支持工作流全局參數及節點自定義參數設置
支持資源文件的在線上傳/下載，管理等，支持在線文件創建、編輯
支持任務日誌在線查看及滾動、在線下載日誌等
實現集羣HA，通過Zookeeper實現Master集羣和Worker集羣去中心化
支持對Master/Worker cpu load，memory，cpu在線查看
支持工作流運行歷史樹形/甘特圖展示、支持任務狀態統計、流程狀態統計
支持補數
支持多租戶
支持國際化

Apache DolphinScheduler 1.3.0 新特性

Worker實現重構，提升Worker性能
- Master和Worker引入Netty通信
- 去zookeeper任務隊列
- Worker節點的三種選擇：隨機、循環和CPU和內存的線性加權負載平衡
- Worker去數據庫操作
資源中心支持多目錄
添加 if/else 條件任務
添加 sqoop/datax 任務
支持 windows 開發和部署
支持 k8s 部署
添加DAG流程圖一鍵格式化
流程圖美化
支持 ambari 插件安裝
批量導出和導入工作流
流程定義支持複製
添加釘釘告警
大幅簡化配置項，簡化部署