【里程碑】Linkis 1.0.0-RC1 版本發佈




【里程碑】Linkis 1.0.0-RC1 






Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本,提供了超 60 個新特性和功能增強, 標誌着 Linkis 正式進入1.0版本時代。



    Linkis 1.0.0-RC1


Linkis是什麼?

Linkis 在上層應用和底層引擎之間構建了一層計算中間件,上層應用只需對接 Linkis 提供的 REST/WS/JDBC 等標準接口,就能連接到 MySQL/Spark/Hive/Presto/Flink 等各種底層計算存儲引擎,並實現上層應用間的互通。

Linkis1.0.0-RC1 帶來了“計算治理”理念的全新架構實現,提供了全棧計算/存儲引擎的架構支持,包括離線批量型、交互式型、實時流式型和存儲型,並新增了多種新特性,向下兼容 Linkis0.X 版本的所有接口。

:

https://github.com/WeBankFinTech/Linkis






    新版簡介




豐富的底層計算存儲引擎支持度

  1. 已支持的計算存儲引擎:Spark、Hive、Python、Presto、ElasticSearch、MLSQL、TiSpark、JDBC和Shell等;

  2. 集成中的計算存儲引擎:Flink、Impala和Clickhouse等;

  3. 已支持的腳本語言SparkSQL、Scala、Pyspark、R、Python、JDBC、HiveQL和Shell等。

強大的計算治理能力。Linkis 1.0總體分爲三大模塊:公共增強服務、計算治理服務、微服務治理服務。三大模塊簡介如下:

  1. 公共增強服務爲Linkis 0.X已經提供的物料庫服務、上下文服務、數據源服務和公共服務等;

  2. 微服務治理服務爲Linkis 0.X已經提供Spring Cloud Gateway、Eureka和Open Feign,同時 Linkis1.0還會提供對Nacos的支持;

  3. 計算治理服務是Linkis 1.0的核心重點,從 提交 —> 準備 —> 執行三個階段,來全面升級Linkis 對 用戶任務的執行管控能力。

全棧計算存儲引擎架構支持。作爲計算中間件,將接收、執行和管理針對各種計算存儲引擎的任務和請求,包括離線批量型、交互式型、實時流式型和存儲型任務,並提供強大的複用、預熱、限流、切換、全生命週期管理等計算治理能力;

更強大的資源管理能力。ResourceManager不僅具備Linkis0.X對Yarn和Linkis EngineManager的資源管理能力,還將提供基於標籤的多級資源分配和回收能力,讓ResourceManager具備跨集羣、跨計算資源類型的強大資源管理能力;

全流程標籤化。基於多級組合標籤,提供跨IDC、跨集羣的計算任務路由管控能力,和EngineConnManager, EngineConn的多租戶隔離能力;

統一上下文服務。統一用戶和系統資源文件(JAR、ZIP、Properties等),跨用戶、系統、計算引擎的參數和變量統一管理,一處設置,處處自動引用;

統一物料。系統和用戶級物料管理,可分享和流轉,跨用戶、系統共享物料,支持全生命週期自動管理。







    全新特性



[Linkis-572] 在“Entrance”模塊中新增了EngineConn管理插件。

[Linkis-576] 新增EngineConnPlugin模塊,簡化用戶實現Linkis新計算存儲引擎。

[Linkis-579] 新增EngineConn的交互式類型頂層設計,讓用戶實現交互式引擎更加簡單容易。

[Linkis-584]新增LinkisManager Common模塊,爲LinkisManager提供常用工具類。

[Linkis-585]新增LinkisManager Monitor模塊,用於LinkisManager實時監控EngineConn和EngineConnManager的健康狀態。

[Linkis-587] 新增EngineConn Common模塊,爲EngineConn提供常用工具類。

[Linkis-590] 新增EngineConn的核心模塊,提供了EngineConn核心接口的定義。

[Linkis-591] 新增Computation Governance Common模塊,爲計算治理的所有服務提供常用工具類。

[Linkis-599] 新增Linkis ResourceManager Common模塊,提供常用工具類。

[Linkis-600] 新增LinkisManager Service Common模塊,爲AppManager和ResourceManager提供常用工具類。

[Linkis-602] 新增LinkisManager Persistence模塊,用於持久化EngineConn和EngineConnManager的信息。

[Linkis-604] 新增微服務標籤功能,並支持爲每個微服務添加標籤。

[Linkis-609] 新增Linkis Label模塊,爲Linkis全流程的標籤化能力 提供基礎支撐。

[Linkis-611] 強化Linkis的管控能力,全新抽象Linkis AppManager模塊,用於管理EC和ECM的全生命週期。

[Linkis-630] 新增EngineConn Launch模塊,提供EngineConn的main class入口。







    功能增強



[Linkis-569] 增強Linkis RPC的處理能力,並向下兼容Linkis0.X的 RPC。

[Linkis-574] 增強Linkis的標籤管理功能,支持對EngineConnManager和EngineConn進行標籤管理。

[Linkis-575] 增強ResourceManager的能力,並將其集成到LinkisManager中。

[Linkis-578] 增強EngineManager,全新定義實現EngineConnManager模塊。

[Linkis-580] 增強SparkEngineConn,以適配Linkis1.0新架構。

[Linkis-583] 增強ShellEngine,以適配Linkis1.0新架構。

[Linkis-592] 增強JDBCEngine,以適配Linkis1.0新架構。

[Linkis-594] 增強IOEngine,以適配Linkis1.0新架構。

[Linkis-596] 增強HiveEngine,以適配Linkis1.0新架構。

[Linkis-597] 增強PipelineEngine,以適配Linkis1.0新架構。

[Linkis-606] 拆分Linkis0.X的EngineReceiver爲多種Service,封裝到Executor模塊。

[Linkis-608] 增強Linkis啓動和關閉服務的腳本,優化啓動步驟。

[Linkis-618] 增強PublicService和ContextService模塊,以適配Linkis1.0新架構。

[Linkis-638] 增強Linkis Common的加密功能。

[Linkis-643] 增強DataSource模塊,以適配Linkis1.0新架構。

[Linkis-645] 增強Linkis Hadoop模塊,使Linkis支持多套Hadoop 集羣。

[Linkis-648] 增強Linkis httpclient模塊以支持PUT和Delete請求。

[Linkis-650] 優化Linkis mybatis模塊,以與mybatis-plus集成。

[Linkis-652] 增強Linkis protocol模塊,以適配Linkis1.0新架構。

[Linkis-654] 增強Linkis Gateway模塊,支持通過標籤路由轉發前端請求。

[Linkis-655] 增強Linkis JobHistory模塊,支持緩存Job的結果集,強化Job標籤的管理功能。

[Linkis-656] 優化Linkis RPC模塊序列化器的底層實現。

[Linkis-660] 增強Linkis Scheduler模塊,支持自動清除空閒的Consumer。

[Linkis-662] 增強Linkis user control模塊,以適配Linkis1.0新架構。

[Linkis-663] 增強Linkis Entrance模塊,以適配Linkis1.0新架構。

[Linkis-666] 優化目錄層次結構並刪除無用的目錄。

[Linkis-668] 增強Linkis storage模塊,以支持viewFS和多hadoop集羣。

[Linkis-674] 增強PythonEngineConn,以適配Linkis1.0新架構。

[Linkis-675] 優化目錄,更新所有pom文件的版本信息。







    社區貢獻



Linkis 1.0.0-RC1的發佈與WeDataSphere社區的貢獻者密不可分。他們無私奉獻自己的時間,併爲文檔的構建、簡化部署和完善用戶體驗提出了許多有價值的建議。沒有他們的幫助,Linkis 1.0.0-RC1不能如此順利地發佈。

謝謝社區的所有貢獻者!







    升級嚮導



原則上,Linkis 1.0.0-RC1的所有接口都向下兼容,因此升級對上層應用無感。

作爲計算中間件,除了PublicService的用戶配置數據外,Linkis數據庫中的其他數據無需遷移。

有關PublicService用戶配置數據的遷移,請參閱Linkis Wiki:Linkis1.0.0-RC1升級文檔



WeDataSphereBIG DATA MADE EASY.

~~


 : WeDataSphere

GitHubWeDataSphere

GitHubstarfork~~



本文分享自微信公衆號 - WeDataSphere(gh_273e85fce73b)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章