Apache Linkis和Apache SeaTunnel的集成參考

隨着 WeDatasphere 的蓬勃發展，越來越多的企業開始將 Apache Linkis 作爲核心數據處理和計算平臺。Linkis 爲企業提供了統一的數據處理環境，大大提高了 數據處理效率。

目前市面上優秀的相關產品也越來越多的能夠與 Linkis 進行集成，本文將爲大家帶來 Apache Linkis和 Apache SeaTunnel 的集成參考； 由 於 SeaTunnel 部分版本依賴 Spark 或 Flink 環境（2.2及後續版本已經擺脫依賴），使用 Linkis-SeaTunnel 引擎前，強烈建議本地跑通 SeaTunnel 環境。

下載地址 https://dlcdn.apache.org/incubator/seatunnel/2.1.2/apache-seatunnel-incubating-2.1.2-bin.tar.gz

1.2 引擎環境驗證

以執行 Spark 任務爲例

cd $SEATUNNEL_HOME./bin/start-seatunnel-spark.sh --master local[4] --deploy-mode client --config ./config/spark.batch.conf.template

輸出結果如下：

2. 引擎插件部署

2.1 引擎插件準備（二選一）非默認引擎

方式一：直接下載引擎插件包：Linkis 引擎插件下載

方式二：單獨編譯引擎插件（需要有 maven 環境）

# 編譯cd ${linkis_code_dir}/linkis-engineconn-plugins/seatunnel/mvn clean install# 編譯出來的引擎插件包，位於如下目錄中${linkis_code_dir}/linkis-engineconn-plugins/seatunnel/target/out/

EngineConnPlugin 引擎插件安裝 https://linkis.apache.org/zh-CN/docs/latest/deployment/install-engineconn/

2.2 引擎插件的上傳和加載

將 2.1 中的引擎包上傳到服務器的引擎目錄下

${LINKIS_HOME}/lib/linkis-engineplugins

上傳後目錄結構如下所示

linkis-engineconn-plugins/├── seatunnel│   ├── dist│   │   └── 2.1.2│   │       ├── conf│   │       └── lib│   └── plugin│       └── 2.1.2

2.3 引擎刷新

2.3.1 重啓刷新

通過重啓 linkis-cg-linkismanager 服務刷新引擎

cd ${LINKIS_HOME}/sbinsh linkis-daemon.sh restart cg-linkismanager

2.3.2 檢查引擎是否刷新成功

可以查看數據庫中的 linkis_engine_conn_plugin_bml_resources 這張表的last_update_time 是否爲觸發刷新的時間。

#登錄到 `linkis` 的數據庫 select * from linkis_cg_engine_conn_plugin_bml_resources;

3. 引擎的使用

3.1 通過 Linkis-cli 提交任務

sh ./bin/linkis-cli --mode once -code 'test'  -engineType seatunnel-2.1.2 -codeType sspark  -labelMap userCreator=hadoop-seatunnel -labelMap engineConnMode=once -jobContentMap code='env {   spark.app.name = "SeaTunnel"   spark.executor.instances = 2   spark.executor.cores = 1   spark.executor.memory = "1g"   }   source {      Fake {       result_table_name = "my_dataset"     }   }   transform {}   sink {Console {}}' -jobContentMap master=local[4] -jobContentMap deploy-mode=client -sourceMap jobName=OnceJobTest  -submitUser hadoop -proxyUser hadoop

3.2 通過 OnceEngineConn 提交任務

OnceEngineConn 通過 LinkisManagerClient 調用 LinkisManager 的 createEngineConn 接口，並將代碼發送到創建的 Seatunnel 引擎，然後 Seatunnel 引擎開始執行。Client 的使用也非常簡單，首先創建一個新的 maven 項目，或者在項目中引入以下依賴項。

<dependency>    <groupId>org.apache.linkis</groupId>    <artifactId>linkis-computation-client</artifactId>    <version>${linkis.version}</version></dependency>

示例代碼

package org.apache.linkis.computation.client;import org.apache.linkis.common.conf.Configuration;import org.apache.linkis.computation.client.once.simple.SubmittableSimpleOnceJob;import org.apache.linkis.computation.client.utils.LabelKeyUtils;public class SeatunnelOnceJobTest {    public static void main(String[] args) {        LinkisJobClient.config().setDefaultServerUrl("http://ip:9001");        String code =                "\n"                        + "env {\n"                        + "  spark.app.name = \"SeaTunnel\"\n"                        + "  spark.executor.instances = 2\n"                        + "  spark.executor.cores = 1\n"                        + "  spark.executor.memory = \"1g\"\n"                        + "}\n"                        + "\n"                        + "source {\n"                        + "  Fake {\n"                        + "    result_table_name = \"my_dataset\"\n"                        + "  }\n"                        + "\n"                        + "}\n"                        + "\n"                        + "transform {\n"                        + "}\n"                        + "\n"                        + "sink {\n"                        + "  Console {}\n"                        + "}";        SubmittableSimpleOnceJob onceJob =                LinkisJobClient.once()                        .simple()                        .builder()                        .setCreateService("seatunnel-Test")                        .setMaxSubmitTime(300000)                        .addLabel(LabelKeyUtils.ENGINE_TYPE_LABEL_KEY(), "seatunnel-2.1.2")                        .addLabel(LabelKeyUtils.USER_CREATOR_LABEL_KEY(), "hadoop-seatunnel")                        .addLabel(LabelKeyUtils.ENGINE_CONN_MODE_LABEL_KEY(), "once")                        .addStartupParam(Configuration.IS_TEST_MODE().key(), true)                        .addExecuteUser("hadoop")                        .addJobContent("runType", "sspark")                        .addJobContent("code", code)                        .addJobContent("master", "local[4]")                        .addJobContent("deploy-mode", "client")                        .addSource("jobName", "OnceJobTest")                        .build();        onceJob.submit();        System.out.println(onceJob.getId());        onceJob.waitForCompleted();        System.out.println(onceJob.getStatus());        LinkisJobMetrics jobMetrics = onceJob.getJobMetrics();        System.out.println(jobMetrics.getMetrics());    }}

4. 引擎配置說明

4.1 默認配置說明

4.2 配置修改

如果默認參數不滿足時，有如下幾種方式可以進行一些基礎參數配置。

4.2.1 客戶端配置參數

sh ./bin/linkis-cli --mode once -code 'test'  \-engineType seatunnel-2.1.2 -codeType sspark  \-labelMap userCreator=hadoop-seatunnel -labelMap engineConnMode=once \-jobContentMap code='env {   spark.app.name = "SeaTunnel"   spark.executor.instances = 2   spark.executor.cores = 1   spark.executor.memory = "1g"   }   source {      Fake {       result_table_name = "my_dataset"     }   }   transform {}   sink {Console {}}' -jobContentMap master=local[4] \   -jobContentMap deploy-mode=client \   -sourceMap jobName=OnceJobTest  \   -runtimeMap wds.linkis.engine.seatunnel.plugin.home=/opt/linkis/seatunnel \   -submitUser hadoop -proxyUser hadoop

4.2.2 任務接口配置

交任務接口，通過參數 params.configuration.runtime 進行配置。

http 請求參數示例 {    "executionContent": {"code": 'env {    spark.app.name = "SeaTunnel"    spark.executor.instances = 2    spark.executor.cores = 1    spark.executor.memory = "1g"    }    source {         Fake {            result_table_name = "my_dataset"        }    }    transform {}    sink {Console {}}',     "runType":  "sql"},    "params": {        "variable": {},        "configuration": {                "runtime": {                    "wds.linkis.engine.seatunnel.plugin.home":"/opt/linkis/seatunnel"                    }                }        },    "labels": {        "engineType": "seatunnel-2.1.2",        "userCreator": "hadoop-IDE"    }}

通過以上的詳細步驟和代碼示例，可以實現了 Apache Linkis 與 SeaTunnel 的集成。需要注意的是，本文提供的集成方案僅作爲參考，可能需要根據自己的實際環境進行適當調整，希望本文能爲實際工作帶來幫助，祝您在大數據領域取得更多的成功。

— END —

WeDataSphere一站式開源 大數據平臺的建設與應用實踐

WeDataSphere 入門指南（含沙箱使用介紹）

保姆級教程：如何成爲Apache Linkis文檔貢獻者

WDS優秀案例徵集！讓您的案例擴散和幫助更多人！

更多社區活動等待你的參與！

WeDatasphere 簡稱“WDS” 一站式開源大數據平臺套件，含 9 個開源組件,其中 Linkis 已捐獻給Apache軟件基金會併成爲頂級項目。截止今年初，WDS 開源社區羣用戶總數超 7千人，沙箱試用企業超 2,600 家，投入生產企業超百家，服務用戶超 5 千人，涉及金融、電信、製造和互聯網等各個行業，如招聯金融、中國平安、榮耀、三六零、天翼雲、理想汽車、蔚來汽車、T3 出行、海康威視、BOSS 直聘、中體彩科技等大數據團隊成員均在社區持續活躍並參與貢獻，歡迎加小助手( ID：WeDatasphere）與各行業大數據同行交流。

倉庫：github.com/WeBankFinTech/WeDataSphere

點擊“閱讀原文”進入Apache linkis官網

本文分享自微信公衆號 - WeDataSphere（gh_273e85fce73b）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。