Meetup 02期回顧:DataSphereStudio1.0 系統介紹

主題: 《DataSphereStudio1.0系統介紹 》
講師: 劉有 微衆銀行大數據平臺工程師
GitHub: https://github.com/WeBankFinTech/DataSphereStudio
以下內容爲分享文字版本,點擊 閱讀原文 可查看完整視頻

近期 DSS 迎來了新版本的更新《版本動態 | DataSphereStudio 1.0.1版本發佈》, 此次微衆銀行大數據平臺工程師,劉友爲社區夥伴帶來詳細的關聯組件版本、特性等內容的介紹 ,同時,也將重點和大家分享 AppConn 節點調度執行流程。幫助社區夥伴瞭解當前最新開源版本進展情況和後續規劃,日常使用問題的排查技巧。



如下是 DSS1.0 的層級結構,首先在框架層,我們分爲工程框架workspace ,工作空間框架和編排框架;第二層是 App Conn,這裏對它進行了詳細的細分。App Conn自身的一些定義和加載App Conn loader。然後是細化的規範,如SSO 集成,我們組織結構規劃,應用開發流程規劃。
下面又分了角色工程集成規劃,應用開發規範,增刪改查等(目前對環境並沒有分太細)。ID code service 層,主要去負責具體的一些服務;最終交給具體的某個 operation 去做。具體邏輯是:比如在 operation 裏面去實現一個節點的新增,實踐一個節點的導出,實踐工作的節點的一個導入,都由operation 去具體實現。

涉及到第三方系統和組件,整個層次裏面除了用到 App Conn之外,還離不開“標籤”,也是 DSS 1.0 新增的一個定義,標籤在很多地方上都會有用到,起到了路由的作用,能夠在我們App Conn,因爲也是支持多 instance 的,能夠根據具體的 “標籤 能夠加載不同的 instance ,然後將請求發送到對應的實例服務上面去,這是“標籤”的路由能力。


App Conn 在整個 DSS 框架裏是一個繞不開的話題,起到連接的作用。除了框架層,在組件之間、規範和第三方組件也用到App Conn;比如說像 workflow App Conn,編排 App Conn,也實現了App Conn 去連接各個組件。


關於編譯,一般在 DSS App Conn 模塊中會有特定的 Visualis  App Conn,編譯後會形成一個Visualis recall 的包(具體參加視頻內容)。我們原來是提供了簡單的安裝腳本,install  App Conn.sh 主要將這個  App Conn 包放到DSS 部署目錄的DSS  App Conn 目錄下,然後對App Conn 裏面的 init SQL 進行變量的修改,轉換成真正的部署環境需要的信息和 IP ,把它寫入數據庫,再去刷新 project 。對  App Conn的加載完成後,project 目前是能夠做到動態加載的,還做不到實時的自動刷新,比如說 workflow 可能要重啓一下 DSS 服務器來完成整個  App Conn的加載過程。

1.0.1 是併發引擎,我們下一個版本將完全異步,執行結束會有異步管理隊列去登執行情況。比如 data check 一直在找消息,可能數小時,根據設定的時間纔會結束,才能用。但是引擎本身可以接更多節點來執行的。
另外比較重要的是, 基於我們 帶過來的 節點執行 籤,去找具體 實例去轉化對應的服務, 標籤是要重點關注的。

DataSphereStudio 1.0 界面


然後 1.0 這一塊的話,還有我們很多用戶在問的就是怎麼去用這個數據服務?數據服務這一塊。首先我們是要去把數據服務去基於這個 script 腳本創建的。那麼之前的話可能有的用戶都沒看到有這個按鈕,說發發布數據服務的這個發揮是或者原來這個按鈕都沒有找得到。那麼這個時候我們要注意一下,他是在這個工作空間裏面是有一個這個管理的,他要把那個數據服務的那個角色勾選之後幫用戶勾選之後,那麼他打開這個 script 腳本單頁面的時候,他才能夠在這裏展示出來。而且目前在這一塊數據服務的話,它只支持這個 Spark SQL 等類型的這個任務去創建數據服務。

DSS1.0.1版本組件對接說明

在未來社區會繼續優化 DSS 在業務系統中的應用,也期待和大家交流經驗。 

備註說明:
1、 參與社區提問的開發者 ,請掃碼添加小助手,可以獲得社區定製的開源精美禮品一份;
2、公衆號後臺回覆四大組件獲取講師分享材料
3、點擊“閱讀原文可查看完整視頻
掃碼添加WeDataSphere小助手


參與社區貢獻的方式

(1)新手任務:認領入門任務,詳見https://github.com/apache/incubator-Linkis/issues/1161
(2)作品沉澱:發佈WeDataSphere開源組建相關內容,包括但不限於安裝部署教程、使用經驗、案例實踐等,形式不限,請投稿給小助手。如:
(3)貢獻代碼:PR和Issue;
(4)答疑:熱心爲開發者答疑,如社區羣回答開發者問題、issue答疑等;
(5)其他:沙箱體驗、參與活動、成爲社區志願者等;



本文分享自微信公衆號 - WeDataSphere(gh_273e85fce73b)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章