openLooKeng&Linkis打開數據互聯互通新場景

Linkis 是上層應用程序和底層引擎之間做構建的計算中間件。通過使用Linkis 提供的REST/WebSocket/JDBC 等標準接口,上層應用可以方便地連接訪問MySQL/Spark/Hive/Presto/Flink 等底層引擎,同時實現變量、腳本、函數和資源文件等用戶資源的跨上層應用互通。自2019年開源,已積累800+試驗企業和1800+沙盒用戶,涉及金融、電信、製造、互聯網等多個行業。許多公司已經將Linkis 作爲大數據平臺底層計算存儲引擎的統一入口,和計算請求/任務的治理管控利器。


openLooKeng是一款開源的高性能數據虛擬化引擎,提供統一 SQL 入口,無論是大數據生態的Hive、Hbase,或是OLTP數據庫PostgreSQL、MySQL,都可輕鬆駕馭。openLooKeng 具備可靠強大的跨多種數據源聯合查詢的能力,其開發的跨數據中心Data Center Connector提供高性能跨域協同計算,進一步延伸引擎查詢性能,並解決以往跨源查詢架構複雜、編程入口太多、系統集成度差的問題,實現了數據從“搬運”到“連接”的模式轉換,方便用戶快速實現海量數據的價值變現。


隨着大數據技術的發展, 以及在各個領域的廣泛應用, 過程中產生了大量的碎片化數據,在業務需求旺盛的背景下,如何做到快速響應又能完好規避數據系統的風險問題,成爲大家所關注的熱點。另外,如何充分的利用數據分析、數據挖掘,發現更有價值的信息,從而帶來經濟收益,也是大家在進行大數據分析計算時面對的重要挑戰。


爲了滿足不同場景的業務需求,豐富大數據平臺架構,讓用戶更輕鬆駕馭各種類型的數據,近期,openLooKeng與Linkis達成合作,實現數據資源的互聯互通,讓大數據更簡單。


數據虛擬化引擎 openLooKeng 簡單易用,具備統一的SQL接口,可實現對底層各種數據源SQL 方言的屏蔽,方便用戶消費數據。此外,openLooKeng不僅提供跨多種數據源聯合查詢能力,還將跨源查詢能力進一步延展,使地理上遠程的 openLooKeng 集羣能夠參與相同的查詢,且達到接近“本地”的性能。


此次雙方的聯合,也將彼此的優勢進一步擴大,openLooKeng 強大的跨源跨域特性讓 Linkis擁有更豐富的性能,使其實現支持跨源異構查詢、跨域跨 DC 等查詢型任務。而 Linkis 作爲計算中間件,通過利用 openLooKeng Connector 基於Linkis 的 EngineConn Plugin(ECP)的聯通能力,可以連接更多的底層計算存儲組件,從而消除數據孤島,實現數據融合,減少資源浪費,滿足業務發展的不同需求。


               

架構圖


此次 Linkis 和 openLooKeng 雙方結合開發的新版本,將提供如下性能:

  • 基於Linkis的計算中間件層的連接能力可以讓上層應用工具快速對接使用openLooKeng,提交任務,並獲取日誌、進度、結果;

  • 基於Linkis的公共服務能力可以做到對 openLooKeng 的 SQL 完成自定義變量替換、UDF管理等;

  • 基於 Linkis 的上下文能力可以打通openLooKeng的結果傳遞給下游 Spark、Hive 等 EC 進行查詢;

  • 基於 Linkis 的資源管控和多租戶能力可以將任務進行租戶隔離和 openLooKeng 資源的使用;

  • 基於openLooKeng 的連接器能力上層應用工具可以做到完成提交跨源異構查詢、跨域跨 DC 查詢型任務,並獲得秒級返回。


社區研發人員預計 Linkis 將在 4 月中下旬發佈該版本,後續雙方社區也將進一步合作,推出其他功能,如 Linkis 支持 openLooKeng on Yarn 模式、基於openLooKeng的混算能力優化Linkis Orchestrator 的能力去完成後續計劃的 EC 間的混算能力等等。希望屆時小夥伴們能夠下載體驗,爲後續的優化提供更加強有力的建議與幫助,一起打造全面連通融合的金融級大數據平臺。




    
關於Apache Linkis(Incubating)

Linkis 在上層應用程序和底層引擎之間構建了一層計算中間件。通過使用Linkis 提供的REST/WebSocket/JDBC 等標準接口,上層應用可以方便地連接訪問MySQL/Spark/Hive/Presto/Flink 等底層引擎,同時實現變量、腳本、函數和資源文件等用戶資源的跨上層應用互通。


作爲計算中間件,Linkis 提供了強大的連通、複用、編排、擴展和治理管控能力。通過計算中間件將應用層和引擎層解耦,簡化了複雜的網絡調用關係,降低了整體複雜度,同時節約了整體開發和維護成本。

官網地址:https://linkis.apache.org/

開源倉庫: https://github.com/apache/incubator-linkis、https://gitee.com/WeBank/Linkis

         

關於openLooKeng

openLooKeng的LooKeng取自中國著名數據家華羅庚先生的英文名Loo-keng Hua。同時LooKeng的發音也與Looking相近,寓意查詢分析各種數據,讓大數據更簡單。

openLooKeng是一種"開箱即用"的引擎,支持在任何地點(包括地理上的遠程數據源)對任何數據進行原位分析。它通過SQL 2003接口提供了所有數據的全局視圖。openLooKeng具有高可用性、自動伸縮、內置緩存和索引支持,爲企業工作負載提供了所需的可靠性。

傳統分析模型圖

openLooKeng用於支持數據探索、即席查詢和批處理,具有100+毫秒至分鐘級的近實時時延,而無需移動數據。openLooKeng還支持層次化部署,使地理上遠程的openLooKeng集羣能夠參與相同的查詢。利用其跨區域查詢計劃優化能力,涉及遠程數據的查詢可以達到接近“本地”的性能。

使用openLooKeng統一入口進行協同分析


官網:https://openlookeng.io

社區代碼倉:https://gitee.com/openlookeng、https://github.com/openlookeng


寫在最後


openLooKeng&Linkis 的聯合版本發佈後將面向社區用戶邀請試用,屆時如果你有這方面的需求,可以和我們取得聯繫(小助手ID:WeDataSphere) 。



本文分享自微信公衆號 - WeDataSphere(gh_273e85fce73b)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章