先前Apache DolphinScheduler 社區一直是發佈 Dockerfile 和 K8s Chart.yaml 文件,由用戶自行 build 鏡像。隨着越來越多的用戶夥伴們的呼聲高漲,社區於近日終於發佈了第一個官方 Docker 鏡像。
快速試用 DolphinScheduler
有 2 種方式可以快速試用 DolphinScheduler,分別進行介紹
一、以 docker-compose 的方式啓動(推薦)
這種方式需要先安裝 docker-compose , docker-compose 的安裝網上已經有非常多的資料,請自行安裝即可
1、下載源碼 zip 包
請下載最新版本的源碼包並進行解壓
# 創建源碼存放目錄
mkdir -p /opt/soft/dolphinscheduler;
cd /opt/soft/dolphinscheduler;
# 下載源碼包
wget https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/1.3.4/apache-dolphinscheduler-incubating-1.3.4-src.zip
# 解壓縮
tar -zxvf apache-dolphinscheduler-incubating-1.3.4-src.zip
mv apache-dolphinscheduler-incubating-1.3.4-src-release dolphinscheduler-src
2、安裝並啓動服務
cd dolphinscheduler-src
docker-compose -f ./docker/docker-swarm/docker-compose.yml up -d
3、登錄系統
訪問前端界面:http://192.168.xx.xx:8888
然後參考用戶手冊章節的快速上手
即可進行使用
至此就可以體驗 DolphinScheduler 的所有功能啦,怎麼樣?是不是超級簡單。
當然如果您想了解更多的安裝方式,下面介紹第 2 種方式
二、以 docker 方式啓動
這種方式需要先安裝 docker , docker 的安裝網上已經有非常多的資料,請自行安裝即可
1、基礎軟件安裝(請自行安裝)
PostgreSQL (8.2.15+)
ZooKeeper (3.4.6+)
Docker
2、請登錄 PostgreSQL 數據庫,創建名爲 dolphinscheduler
數據庫
3、初始化數據庫,導入 sql/dolphinscheduler-postgre.sql
進行創建表及基礎數據導入
4、下載 DolphinScheduler 鏡像
我們已將面向用戶的 DolphinScheduler 鏡像上傳至 docker 倉庫,用戶無需在本地構建鏡像,直接執行以下命令從 docker 倉庫 pull 鏡像:
docker pull apache/dolphinscheduler:latest
5、運行一個 DolphinScheduler 實例
如下:(注: {user} 和 {password} 需要替換爲具體的數據庫用戶名和密碼)
$ docker run -dit --name dolphinscheduler \
-e ZOOKEEPER_QUORUM="l92.168.x.x:2181"
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="{user}" -e DATABASE_PASSWORD="{password}" \
-p 8888:8888 \
dolphinscheduler all
然後登錄系統
訪問前端頁面地址,接口ip(自行修改) http://192.168.xx.xx:8888
然後參考用戶手冊章節的
快速上手
即可進行使用
附錄
在容器啓動時,會自動啓動以下服務:
MasterServer ----- master服務
WorkerServer ----- worker服務
LoggerServer ----- logger服務
ApiApplicationServer ----- api服務
AlertServer ----- alert服務
如果你只是想運行 dolphinscheduler 中的部分服務
你能夠運行dolphinscheduler中的部分服務。
啓動一個 master server, 如下:
$ docker run -dit --name dolphinscheduler \
-e ZOOKEEPER_QUORUM="l92.168.x.x:2181"
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
dolphinscheduler master-server
啓動一個 worker server, 如下:
$ docker run -dit --name dolphinscheduler \
-e ZOOKEEPER_QUORUM="l92.168.x.x:2181"
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
dolphinscheduler worker-server
啓動一個 api server, 如下:
$ docker run -dit --name dolphinscheduler \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
-p 12345:12345 \
dolphinscheduler api-server
啓動一個 alert server, 如下:
$ docker run -dit --name dolphinscheduler \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
dolphinscheduler alert-server
啓動一個 frontend, 如下:
$ docker run -dit --name dolphinscheduler \
-e FRONTEND_API_SERVER_HOST="192.168.x.x" -e FRONTEND_API_SERVER_PORT="12345" \
-p 8888:8888 \
dolphinscheduler frontend
注意: 當你運行dolphinscheduler中的部分服務時,你必須指定這些環境變量 DATABASE_HOST
DATABASE_PORT
DATABASE_DATABASE
DATABASE_USERNAME
DATABASE_PASSWORD
ZOOKEEPER_QUORUM
。
1
新一代大數據任務調度 - Apache DolphinScheduler 繼 11 月 19 日由 InfoQ 舉辦、在 300+ 參評項目中脫穎而出獲得 “2020 年度十大開源新銳項目” 和 “2020 年度最具人氣新銳項目” 以來,近期社區又榮獲 OSCHINA 年度 “最佳技術團隊” 稱號,非常歡迎更多小夥伴加入到貢獻隊伍中來,爲中國的開源崛起貢獻自己的一份力量。
Apache DolphinScheduler(incubator) 於 17 年在易觀數科立項, 19 年 3 月開源,8 月進入 Apache 孵化器, 據不完全統計,已有 400+ 公司在生產上使用。DolphinScheduler 致力於“簡化大數據任務之間錯綜復雜的依賴關系,並監控整個數據處理流程”。DolphinScheduler以 DAG(有向無環圖) 的方式將 Task 組裝起來,可實時監控任務的運行狀態,同時支持重試、從指定節點恢復失敗、暫停及Kill任務等操作。DolphinScheduler 專注於以下 6 個主要能力
Apache 組織崇尚 “社區大於代碼”,DolphinScheduler 目前微信用戶羣近 4000 人,社區目前有 200 + 貢獻者,來自 80+ 家公司、機構和高校(部分統計)
2
據不完全統計,目前已經有 400 + 家公司及機構採用 DolphinScheduler 在生產環境使用,以下是部分案例(排名不分先後)
此外,還有 1700+ 用戶注冊了 demo 試用,歡迎大家先體驗,十分歡迎對比哈。
3
隨着國內開源的崛起,DolphinScheduler迎來了蓬勃發展,爲了做更好用的調度,真誠歡迎熱愛開源的夥伴加入到開源社區中來,爲中國開源崛起獻上一份自己的力量
參與 DolphinScheduler 社區有非常多的參與貢獻的方式,包括:
貢獻第一個PR(文檔、代碼) 我們也希望是簡單的,第一個PR用於熟悉提交的流程和社區協作以及感受社區的友好度
社區匯總了以下適合新手的問題列表:https://github.com/apache/incubator-dolphinscheduler/issues/4124
如何參與貢獻鏈接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html
文檔 github 地址:https://github.com/apache/incubator-dolphinscheduler-website
來吧,DolphinScheduler開源社區需要您的參與,爲中國開源崛起添磚加瓦吧,哪怕只是小小的一塊瓦,匯聚起來的力量也是巨大的
如果您想參與貢獻,卻發現上述方法都搞不明白,也沒關系,我們有個開發者種子孵化羣,可以添加微信(easyworkflow) 手把手教會您,添加時請說明想參與貢獻哈
本文分享自微信公衆號 - 海豚調度(dolphin-scheduler)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。