【版本發佈】Linkis 1.0.1 正式發佈
Linkis 1.0.1正式發佈啦!
Linkis 1.0.1對Linkis1.0.0版本發現Bug和影響性能,便利性的問題進行了修復和增強,歡迎更新升級。
Linkis 1.0.1 作爲1.0.0的修復版本,這次版本主要修復了高併發場景下的性能bug,以及優化資源管理模塊,以及修復多個已發現的bug,並優化Spark引擎支持 FATE使用。
FATE (Federated AI Technology Enabler) 是微衆銀行AI部門發起的開源項目,爲聯邦學習生態系統提供了可靠的安全計算框架(https://github.com/FederatedAI/FATE)。
Abbreviations(關鍵字縮寫):CGS: Computation Governance Services(計算治理服務)
PES: Public Enhancement Services(公共增強服務)
MGS: Microservice Governance Services(微服務治理服務)
增強
[Commons] Linkis-HTTPClient在上傳文件時支持設置ContentType.
[Commons] Linkis-HttpClient支持兼容Response的content爲空.
[Commons] HDFS FileSystem對象支持進行緩存.
[Commons] 優化Shoutdown兼容windows操作系統.
[Orchestrator] ioClient支持隔離單獨的Orchestrator.
[PES-JobHistory] JobHistory支持記錄用戶提交任務的原始代碼.
[PES-InstanceLabel] InstanceLabel模塊支持增加和移除標籤信息.
[PES-ErrorCode] 優化錯誤碼模塊的初始化sql,移除id字段的默認值.
[PES-Configuration] 管理臺的配置支持修改實時刷新緩存值.
[PES-Configuration] 管理臺支持內存設置單位,默認單位是GB.
[CGS-Entrance] 優化支持任務提交記錄客戶端IP信息,以方便鏈路分析.
[CGS-LimkisMnagager ] ECM的租戶標籤應該不被移除的,方便重啓時保留租戶標籤信息.
[EnginePlugin-Spark] Spark EngineConn的啓動參數支持設置原生參數去支持Fate使用,例如設置python版本.
Bug修復
[Commons] Logging 是建議被優化, 因爲如果用戶傳入的內容是null會導致空指針異常.
[Commons] jackson-core-asl 包存在衝突, linkis1.0在兼容CDH版本時.
[PES-UDF] UDFClient存在只能獲取UDF不能獲取方法函數的Bug.
[PES-BML] 優化BML EngineConnHook的執行順序,修復資源文件不可讀問題.
[PES-Configuration] Linkis管理臺在設置JDBC參數時,保存會出錯.
[CGS-Entrance] 當一個任務包含千條sql時,存在錯誤執行的Bug.
[CGS-Entrance] 當sql的limit超過5000時任務會執行失敗.
[CGS-Entrance] 在壓測同時運行一萬個任務時,日誌存在記錄不全的情況.
[CGS-Entrance] 在壓測10000個任務時存在任務處在 Inited/Running/Scheduled不更新的情況.
[CGS-LimkisMnagager] 當管理臺設置引擎爲2時,在schedulis進行調度時存在會啓動18個引擎的情況.
[CGS-LimkisMnagager] ECM管理存在concurrent label的值爲空問題.
[EnginePlugin-Hive] 當kill 一個複雜的Hive任務時,存在不能kill Yarn上任務的偶發情況.
貢獻者
Linkis 1.0.1 的發佈離不開 WeDataSphere 社區的貢獻者。在此感謝各位社區的貢獻者!
雲資源
WeDataSphere,BIG DATA MADE EASY.
用心做一個有溫度的開源社區
~歡迎關注~
掃碼關注我們
微信號公衆號 : WeDataSphere
GitHub:WeDataSphere
如果喜歡我們的產品或文章,請給我們的GitHub點上你寶貴的star和fork哦~~
本文分享自微信公衆號 - WeDataSphere(gh_273e85fce73b)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。