尊敬的開源社區用戶們，我們懷着無比激動的心情向大家宣佈，備受期待的一站式開源大數據平臺套件WeDataSphere和計算中間件Apache Linkis 即將推出全新版本！這次升級將爲您帶來令人矚目的新特性和功能改進，爲您的數據處理和分析提供全新的突破和體驗。
發佈時間：預計8月（具體時間以項目發佈爲準）
WeDataSphere和Apache Linkis一直致力於爲用戶提供強大的工具和組件，以滿足不斷髮展的大數據需求。讓我們一起來看看這次版本升級中的重要亮點。
一、Apache Linkis 計算中間件
項目地址：https://github.com/apache/linkis
新版本特性說明：（最終特性以發佈版本爲準）
1. hadoop、hive、spark依賴性降低，並解決多版本的兼容問題
2. Linkis元數據信息支持存儲PG
3. 支持對接S3和OSS等對象存儲
4. 支持一套Linkis對接多套Hadoop集羣
5. 數據源支持OceanBase、tidb、starrocks、Gaussdb等數據源，並支持Spark DDL的生成
6. Spark etl任務支持excel、redis、RocketMQ 、mongo、es、solr、kafka、datalake 等數據源
7. ECM無狀態化，更加方便平滑升級和重啓
8. Linkis JDBC Driver優化支持對接不同類型的引擎和任務
9. 增加任務鏈路跟蹤日誌，方便通過唯一任務ID定位問題
10.新增Impala引擎插件
12. Hive引擎支持類似Hiveserver2 的併發執行模式，減少Hive任務資源使用
13. Flink引擎插件支持提交On K8S的任務
14. 多個模塊完成Scala到Java代碼的轉換
二、DataSphereStudio 數據應用開發管理集成框架
項目地址：https://github.com/WeBankFinTech/DataSphereStudio
新版本特性說明：（最終特性以發佈版本爲準）
1. 通過AppConn的方式集成Spark ETL，以工作流節點的方式在DSS執行
2. 後臺微服務合併，由上一個版本的7個微服務合併成2個微服務
3. 多活改造，每個微服務均支持部署多個節點，實現高可用
4. Scriptis腳本編輯框的自定義變量欄支持選擇數據源
5. Scriptis中數據庫裏面的庫表信息頁面表支持批量全選
6. 瀏覽器版本檢測告警，在用戶登錄會提示用戶使用哪個版本的瀏覽器體驗最佳
7. 工作空間管理員權限優化，放開授權工作空間管理員的限制
8. Datachecker節點改造，通過配置參數job.eventchecker.qualitis.switch=true來判斷是否開啓
Hadoop層數據校驗，而不僅僅校驗Hive元數據;支持該節點配置&{yyyyMM}，${run_today_h}等多種日期格式，JobDesc長度是由1000修改到5000
9. 新增公告欄，用於向用戶宣導平臺需要展示的信息
10. 修復工作流和工程名長度的問題，同時會校驗項目名稱
11. Linkis jobtype插件日誌打印優化，以支持Schedulis獲取Linkis任務的執行日誌
12. 在workflow-entrance模塊中，增加一個FlowEntranceSpringConfiguration配置類，只裝配以下4個必要的interceptor bean，覆蓋掉linkis默認的攔截器
13. 優化linkis-appconn-engineplugin模塊，去除linkis依賴
14. Scriptis頁面刷新後前端重複調用相同接口優化，降低頁面加載時間
15. 優化在請求Schedulis時出現異常時返回的信息，同時對打印的日誌進行長度優化，只打印前1024個字符
16. 延長錯誤信息提醒框常駐展示，以便用戶能夠查看詳細的錯誤信息
17. 優化Appconn引擎退出時清理下載的lib包，降低磁盤空間的佔用
18. 工作流節點名稱展示優化，將節點默認展示的字符數由12個擴展到17個
19. Appconns接口新加一個isMicroApp字段，表示微應用，以適配對接到DSS的微應用
20. 優化查看錶結構時，分區信息展示的內容，自適應屏幕，鋪滿頁面
21. 優化新用戶引導
22. DSS版本發佈後在前端提示用戶對頁面進行刷新
23. Scriptis建表嚮導校驗項優化
24. 編輯鎖提供用戶主動解鎖按鈕
25. 增加工作流級別的導入導出功能，並優化其中的事務
26. Scriptis右下角箭頭引擎管理頁面，添加選擇所有空閒引擎按鈕
27. 在工作流節點中支持用戶自定義配置spark參數
28. Scriptis中數據庫批量刪除表在二次複覈時支持全選
29. 增加工作空間管理員是否有權限查看所有項目的選項
30. 新用戶默認加入兩個工作空間
31. 對所有接口添加審計日誌
32. 支持工作流複製
33. Scriptis中查看錶詳情表字段信息時支持拉長字段名
34. 進入工作流編輯頁面,左側項目欄可切換展示個人項目和所有項目
35. 對代碼中異常提示進行了優化，關聯相關錯誤碼
36. 第三方組件依賴優化，DSS統一管理第三方依賴的Linkis包
37. Scriptis浮窗中數字現在展示的是任務數，調整爲展示引擎數
38. 啓動定時任務清理老的ContextMap和ContextID
39. 新增Tsql類型腳本
40. 項目展示時默認展示爲我創建的項目
41. spark任務配置參數默認去掉單位G
42. 結果集展示、日誌展示等支持全屏顯示
43. 優化工作流編輯界面下方橫向拖動條的展示
44. 代碼缺陷修復,將代碼中存在的漏洞進行了修復
三、Qualitis 數據質量管理平臺
項目地址：https://github.com/WeBankFinTech/Qualitis
新版本特性說明：（最終特性以發佈版本爲準）
1. 數據源的校驗支持
2. 指標功能完善
四、Schedulis 工作流任務調度系統
項目地址：https://github.com/WeBankFinTech/Schedulis
新版本特性說明：（最終特性以發佈版本爲準）
1. 適配 Linkis 1.4.0 + DSS 1.1.2
2. HA web服務高可用，發送IMS告警問題修復 （issue #101)
3. 子工作流狀態反轉爲failed_skiped問題修復
4. 子工作流kill時錯誤翻轉爲success問題修復
5. yaml flow未識別問題修復
五、Exchangis 數據交換平臺
項目地址：https://github.com/WeBankFinTech/Exchangis
新版本特性說明：（最終特性以發佈版本爲準）
1. 項目和任務功能修復
2. 日誌查詢功能修復
3. 新增Oracle數據源
4. 項目權限控制功能
5. 字段規則映射管理功能
6. 新增DATAX引擎
7. 數據源連接敏感信息加密
8. 後臺存儲引擎配置和映射函數列表
六、Visualis 數據可視化工具
項目地址：https://github.com/WeBankFinTech/Visualis
新版本特性說明：（最終特性以發佈版本爲準）
1. 在Display和DashBoard節點原有的執行方式上，提供異步執行模式。（該方式需要在AppConn中配置開啓）
2. 修復DSS刷新Visualis AppConn不生效問題
3. 修復Widget前端渲染折線圖時，百分比數據顯示異常問題
4. 修復Widget圖表內容垂直方向佈局元素過多，圖表顯示溢出問題
5. 支持DSS項目內部工作流複製功能
七、Streamis 流式應用開發管理系統
項目地址：https://github.com/WeBankFinTech/Streamis
新版本特性說明：（最終特性以發佈版本爲準）
1.【前端】流式應用的 Yarn 執行日誌展示
2.【作業管理】流式任務批量重啓操作
3.【作業管理】Streamis任務中止流程調整
4.【前端】任務配置界面的渲染和接口調整
5.【作業管理】實現流應用自動重啓並優化冪問題
6.【作業管理】Streamis自動獲取Checkpoint文件信息
7.【項目權限管理】Streamis數據接口權限調整
8.【AppConn】Streamis的AppConn接入
9.【前端】日誌界面顯示flink ec日誌，支持分頁
10.【流作業日誌管理】採集並聚合流應用日誌，在streamis端寫入本地
11.【權限管理】配合DSS切換代理用戶
12.【流作業日誌管理】採集端增加關鍵字過濾策略
13.【流作業日誌管理】支持多盤符存儲流應用日誌
14.【流作業版本管理】streamis 應用初始化支持應用運行在線導入及版本管理
15.【流作業版本管理】streamis作業任務啓動增加啓動檢查
16.【流作業配置管理】streamis應用參數配置導入需求
17.【flink引擎特性支持】 flink任務增加分離式管理模式
18.【flink引擎特性支持】增加flink管理ec支持
19.【流式作業管理】標籤篩選
20. 【流式作業管理】標籤批量修改
21. 【功能優化】上傳job zip包自動清理
22. 【作業配置管理】任務啓動前檢查失敗告警人
23.【項目資源管理】上傳項目資源文件添加md5
24.【作業啓動優化】啓動作業時，會自動檢查yarn上同名應用
我們團隊在這次版本升級中投入了大量心血，力求爲廣大開源社區用戶提供更好的數據處理和分析工具。我們相信，新版本的WeDataSphere和Apache Linkis將爲您的大數據工作帶來更高效、更智能的體驗。
敬請期待全新版本的正式發佈！我們相信，這次升級將爲您的數據處理工作帶來更多的便利和創新。請持續關注我們的公衆號，瞭解更多關於WeDataSphere的最新動態和使用技巧。如果您有任何問題或建議，歡迎隨時與我們聯繫。
感謝您一直以來對WeDataSphere和Apache Linkis的支持，讓我們一起期待開源大數據平臺的全新篇章！
如何成爲社區貢獻者
1 ► 官方文檔貢獻。發現文檔的不足、優化文檔，持續更新文檔等方式參與社區貢獻。通過文檔貢獻，讓開發者熟悉如何提交PR和真正參與到社區的建設。參考攻略：保姆級教程：如何成爲Apache Linkis文檔貢獻者
2 ► 代碼貢獻。我們梳理了社區中簡單並且容易入門的的任務，非常適合新人做代碼貢獻。請查閱新手任務列表：https://github.com/apache/incubator-linkis/issues/1161
3 ► 內容貢獻：發佈WeDataSphere開源組件相關的內容，包括但不限於安裝部署教程、使用經驗、案例實踐等，形式不限，請投稿給小助手。例如：
4 ► 社區答疑：積極在社區中進行答疑、分享技術、幫助開發者解決問題等；
5 ► 其他：積極參與社區活動、成爲社區志願者、幫助社區宣傳、爲社區發展提供有效建議等；
本文分享自微信公衆號 - WeDataSphere（gh_273e85fce73b）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。