公衆號聊天窗發送“互聯互通“獲取講師分享材料
點擊“閱讀原文”跳轉至B站查看完整視頻
近日，Apache Linkis(Incubating)&Apache DolphinScheduler線上 Meetup成功舉辦，來自兩個社區的核心貢獻者帶來了項目整合的技術分享，直播期間收到了很多互動小助手和講師對有代表性的問答內容整理，在此分享給大家。
Q1、Links 什麼時候更新 DS 版本？
DS 社區單葛堯老師：目前 DS 的發版發到了 3.1，這個版本加入了對很多任務插的支持，預計在 3.2.0 支持 Linkis，如可以在 DS 官網持續關注相關動態，大家敬請期待。
Q2、Linkis 支持 worker 發佈場景下，大數據任務託管嗎？或者海豚 worker 容錯後，新worker任務可以託管之前的大數據任務嗎？
DS 社區單葛堯老師：理論上來說 DS 目前的容錯設計是這樣的，比如 worker 出現錯誤，master 會把 worker 調度到其他 worker。比如 worker 出問題， worker 全部斷聯後可能還在執行，但是 master 無法進行調度，此時可能不會對原有的調度進行操作，master 掛了，不再提供能力，會把正在調度中的任務轉移到其他的 master 分發。此時會結束之前的任務去啓動這些內容，恢復容錯，繼續任務。
Q3、爲什麼會選擇 Linkis ,其優勢在哪裏？
DS 社區單葛堯老師：整體優勢是非常多的，很有代表性的一點是 Linkis 可以跑很多類型的任務。我們經常要在業務場景、 OLAP 和 OLTP 等計算場景維護許多計算引擎，比如我要提交 hive，肯定需要hive client，提交 Doris，可能需要Doris client，提交 flink，需要 flink client，會出現沒有精力去維護的狀況。而我們使用linkis中間件，它一個任務就可以，它可以將多個任務提交運行。這是一個簡單的例子，大家可以關注Apache Linkis 的網站和項目，瞭解更多。
Q4、在選擇計算中間件的時候，主要考慮哪些因素？
DS 社區單葛堯老師：如果讓我來選擇一個計算中間件，我認爲首先應該關注中間件的計算是否簡單易用，要對用戶沒有過高的使用門檻和學習成本。其次，它的兼容性要好，複用性強。目前市面上，我們認爲 Linkis 是計算中間件中做的做得非常好的。
Q5、DS v3.1 前端工作流實例取消單節點運行，這點是如何考慮的?
DS 社區單葛堯老師：這個可以在工作流任務工作流定義裏面查找，點進去右擊它可以運行的。目前是單節點是可以運作的，工作流實例沒有。
Q6、慮過 Linkis JDBC 方式集成嗎?
DS 社區單葛堯老師：Linkis-JDBC 在演講材料中提到（公衆號後臺回覆“互聯互通”獲取演講材料），比如考慮到 API 和 JDBC 方式集成這點，不太適合放在 DS 裏做集成。
Q7、DS 和 Linkis 用戶如何處理的?
DS 社區單葛堯老師：目前是社區用戶按需自取的，如果要定義你的 submit user ， property 和 value 的鍵值堆裏面自己手動做定義的。目前在外面的租戶是沒有辦法直接保存工作流的，目前是不能直接去作爲 Linkis 運行的租戶。
Q8、DS 集成了 Flink 嗎？和集成 Linkis 有什麼區別？
DS 社區單葛堯老師：我們目前集成了 Flink，恰好我正在負責這部分。目前 Flink 分爲兩塊，首先是以 shell 執行 Flink，考慮到流式計算場景，而且目前 DS 是離線任務場景更多，因此增加了事件觸發機制，比現在直接用 Flink 去做 shell 提交，兼容性會更好，比如解決後面日誌非常的多、亂的問題。
Flink SDK 的改造，預計也是在 v3.2.0 版本發出來，大家可以期待一下。我們會在已有的 Flink stream 模塊，把工作流分成批任或者流任務，對流任務的 Flink 執行做一個更細緻的改造，計劃和預期是做成類似於 Flink SQL workbench 這麼一個過程。以後我們可以直接在上面去對 Flink 任務做監控，直接開發 Flink SQL，也集成各種 connector。
Q9、DS 也會按照 DAG 的任務依賴關係順序運行嗎？以後可能考慮會動態生成任務嗎？
DS 社區單葛堯老師：DS 的任務依賴關係運行是肯定的，這是我們調度平臺目前的基礎設計理念。動態生成任務這點不是很明確問題的出發點，動態生成任務，目前有根據 code 生成，類似於 Airflow 這種形式，寫 Python 代碼生成任務，可以加入社區具體瞭解。
Q10、DSS 和 DSv3.0 有兼容的計劃嗎？什麼時候出一鍵部署全套件工具？
WeDataSphere 社區張旗老師：關於DSS與 DS v3.X 集成的問題，目前還在我們後續版本規劃中，有確切時間點的時候會在 WeDataSphere 社區公佈。對於提供一鍵部署全套組件，建議非常好，我們現在只是對 linkis 和 DSS 這兩個組件做了一鍵安裝部署，其他的組件還沒有做相關集成，安裝還是獨立的。期待後續用戶感興趣，來一起共建，有需求，就會有相關的規劃。
Q11、DSS 能出一個穩定版本或 Lite 版本嗎？
WeDataSphere 社區張旗老師：已經發布的 DSS1.1.1，除了在體驗方面存在瑕疵，在使用上的已經沒有大的缺陷。而且現在 DSS 1.1.1 也修復了一些社區用戶反饋的問題，使用會順滑很多。目前社區已經有很多用戶在使用，還未收到大問題的反饋。歡迎您加入我們的社區，對細節進一步溝通，期待收到反饋，一起優化 DSS。
Q12、DSS 中 Azkaban 和 DS 各自的優劣？
WeDataSphere 社區張旗老師：優劣勢方面我認爲如果你只是做簡單的任務調度，沒有特別大的需求，差別其實並不大。比如 DolphinScheduler 用戶體驗好一些，不管是用戶界面、UI 或者是裏面的細小的功能設計，相對來說還是可能比 Schedulis 要稍好。但是，總體來看差別其實並不大，如果你是簡單的使用，那可以隨意選擇，我們將兩個調度系統系統都有集成進來，而且兩個可以一起使用，互不影響。
Q13、DSS 是把任務做成了 DS shell 類型的任務嗎？DSS 深入集成了 DS，是不是升級 DS 版本會很複雜？
WeDataSphere 社區張旗老師：目前提交到 DolphinScheduler 是通過 shell 完成的，我們現在只集成了 DS v1.3.X 版本，如果你想升級其它版本，目前還不支持，期待社區有同學對這塊感興趣，來做相關升級的貢獻。
14、Linkis 測試地址有嗎？
WeDataSphere社區張旗老師：有的，Linkis 的生態項目已經建立了相對完善的沙箱體驗環境，可以和社區的小助手（掃碼如下二維碼或加vx ID：WeDataSphere）來申請沙箱的邀請碼。
點擊“閱讀原文”跳轉至B站查看完整視頻
如何成爲社區貢獻者
1 ► 官方文檔貢獻。發現文檔的不足、優化文檔，持續更新文檔等方式參與社區貢獻。通過文檔貢獻，讓開發者熟悉如何提交PR和真正參與到社區的建設。參考攻略：保姆級教程：如何成爲Apache Linkis文檔貢獻者
2 ► 代碼貢獻。我們梳理了社區中簡單並且容易入門的的任務，非常適合新人做代碼貢獻。請查閱新手任務列表：https://github.com/apache/incubator-linkis/issues/1161
3 ► 內容貢獻：發佈WeDataSphere開源組件相關的內容，包括但不限於安裝部署教程、使用經驗、案例實踐等，形式不限，請投稿給小助手。例如：
4 ► 社區答疑：積極在社區中進行答疑、分享技術、幫助開發者解決問題等；
5 ► 其他：積極參與社區活動、成爲社區志願者、幫助社區宣傳、爲社區發展提供有效建議等；
本文分享自微信公衆號 - WeDataSphere（gh_273e85fce73b）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。