海豚調度任務類型Apache SeaTunnel部署指南

Apache DolphinScheduler已支持Apache SeaTunnel任務類型，本文介紹了SeaTunnel任務類型如何創建，任務參數，以及任務樣例。

一、Apache SeaTunnel

SeaTunnel 任務類型，用於創建並執行 SeaTunnel 類型任務。worker 執行該任務的時候，會通過 start-seatunnel-spark.sh 、 start-seatunnel-flink.sh 和 seatunnel.sh 命令解析 config 文件。

二、創建任務

• 點擊項目管理 -> 項目名稱 -> 工作流定義，點擊“創建工作流”按鈕，進入 DAG 編輯頁面；
• 拖動工具欄的 任務節點到畫板中。

三、任務參數

• 啓動腳本：選擇你想要運行任務的啓動腳本，包括 seatunnel.sh, start-seatunnel-flink-13-connector-v2.sh, start-seatunnel-flink-15-connector-v2.sh, start-seatunnel-flink-connector-v2.sh, start-seatunnel-flink.sh, start-seatunnel-spark-2-connector-v2.sh, start-seatunnel-spark-3-connector-v2.sh, start-seatunnel-spark-connector-v2.sh, start-seatunnel-spark.sh
• FLINK
• 運行模型：支持 run 和 run-application 兩種模式
• 選項參數：用於添加 Flink 引擎本身參數，例如 -m yarn-cluster -ynm seatunnel
• SPARK
• 部署方式：指定部署模式，cluster client
• Master：指定 Master 模型，yarn local spark mesos，其中 spark 和 mesos 需要指定 Master 服務地址，例如：127.0.0.1:7077
• SEATUNNEL_ENGINE
• 部署方式：指定部署模式，cluster local
• 自定義配置：支持自定義配置或從資源中心選擇配置文件
• 腳本：在任務節點那自定義配置信息，包括四部分：env source transform sink

四、任務樣例

該樣例演示爲使用 Flink 引擎從 Fake 源讀取數據打印到控制檯。

1.在 DolphinScheduler 中配置 SeaTunnel 環境 若生產環境中要是使用到 SeaTunnel 任務類型，則需要先配置好所需的環境，配置文件如下：/dolphinscheduler/conf/env/dolphinscheduler_env.sh。

2.配置 SeaTunnel 任務節點 根據上述參數說明，配置所需的內容即可。

Config 樣例

env {
  execution.parallelism = 1
}

source {
  FakeSource {
    result_table_name = "fake"
    field_name = "name,age"
  }
}

transform {
  sql {
    sql = "select name,age from fake"
  }
}

sink {
  ConsoleSink {}
}

————————————————

版權聲明：本文爲博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接和本聲明。

原文鏈接：https://blog.csdn.net/zhengzaifeidelushang/article/details/136685864

本文由 白鯨開源科技 提供發佈支持！