【版本發佈】Linkis 1.0.1正式發佈

【版本發佈】Linkis 1.0.1 正式發佈






Linkis 1.0.1正式發佈啦

Linkis 1.0.1對Linkis1.0.0版本發現Bug和影響性能,便利性的問題進行了修復和增強,歡迎更新升級。



    Linkis 1.0.1

    Linkis 1.0.1 作爲1.0.0的修復版本,這次版本主要修復了高併發場景下的性能bug,以及優化資源管理模塊,以及修復多個已發現的bug,並優化Spark引擎支持 FATE使用。

    FATE (Federated AI Technology Enabler) 是微衆銀行AI部門發起的開源項目,爲聯邦學習生態系統提供了可靠的安全計算框架(https://github.com/FederatedAI/FATE)。

Abbreviations(關鍵字縮寫):
CGS: Computation Governance Services(計算治理服務)
PES: Public Enhancement Services(公共增強服務)
MGS: Microservice Governance Services(微服務治理服務)




增強


  • [Commons] Linkis-HTTPClient在上傳文件時支持設置ContentType.


  • [Commons] Linkis-HttpClient支持兼容Response的content爲空.


  • [Commons] HDFS FileSystem對象支持進行緩存.


  • [Commons] 優化Shoutdown兼容windows操作系統.


  • [Orchestrator] ioClient支持隔離單獨的Orchestrator.


  • [PES-JobHistory] JobHistory支持記錄用戶提交任務的原始代碼.


  • [PES-InstanceLabel] InstanceLabel模塊支持增加和移除標籤信息.


  • [PES-ErrorCode] 優化錯誤碼模塊的初始化sql,移除id字段的默認值.


  • [PES-Configuration] 管理臺的配置支持修改實時刷新緩存值.


  • [PES-Configuration] 管理臺支持內存設置單位,默認單位是GB.


  • [CGS-Entrance] 優化支持任務提交記錄客戶端IP信息,以方便鏈路分析.


  • [CGS-LimkisMnagager ] ECM的租戶標籤應該不被移除的,方便重啓時保留租戶標籤信息.


  • [EnginePlugin-Spark] Spark EngineConn的啓動參數支持設置原生參數去支持Fate使用,例如設置python版本.






Bug修復


  • [Commons] Logging 是建議被優化, 因爲如果用戶傳入的內容是null會導致空指針異常.

  • [Commons] jackson-core-asl 包存在衝突, linkis1.0在兼容CDH版本時.


  • [PES-UDF] UDFClient存在只能獲取UDF不能獲取方法函數的Bug.


  • [PES-BML] 優化BML EngineConnHook的執行順序,修復資源文件不可讀問題.


  • [PES-Configuration] Linkis管理臺在設置JDBC參數時,保存會出錯.


  • [CGS-Entrance] 當一個任務包含千條sql時,存在錯誤執行的Bug.


  • [CGS-Entrance] 當sql的limit超過5000時任務會執行失敗.


  • [CGS-Entrance] 在壓測同時運行一萬個任務時,日誌存在記錄不全的情況.


  • [CGS-Entrance] 在壓測10000個任務時存在任務處在 Inited/Running/Scheduled不更新的情況.


  • [CGS-LimkisMnagager] 當管理臺設置引擎爲2時,在schedulis進行調度時存在會啓動18個引擎的情況.


  • [CGS-LimkisMnagager] ECM管理存在concurrent label的值爲空問題.


  • [EnginePlugin-Hive] 當kill 一個複雜的Hive任務時,存在不能kill Yarn上任務的偶發情況.





貢獻者

Linkis 1.0.1 的發佈離不開 WeDataSphere 社區的貢獻者。在此感謝各位社區的貢獻者!



雲資源

騰訊雲: https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Linkis/1.0.1/wedatasphere-linkis-1.0.1-combined-package-dist.tar.gz

WeDataSphere,BIG DATA MADE EASY.

用心做一個有溫度的開源社區

~歡迎關注~


掃碼關注我們

微信號公衆號 : WeDataSphere

GitHub:WeDataSphere

如果喜歡我們的產品或文章,請給我們的GitHub點上你寶貴的star和fork哦~~



本文分享自微信公衆號 - WeDataSphere(gh_273e85fce73b)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章