【活動回顧】Apache Linkis集成OceanBase的探索與實踐

公衆號回覆“活動資料0613“獲取講師分享材料



近日,Apache Linkis與OceanBase線上聯合舉辦Meetup活動,主要討論了Linkis的開源歷程和OceanBase的發展歷程、Apache Linkis與OceanBase的集成解決方案、以及其在數據存儲和計算領域的應用案例。


下面,我們來一起回顧活動的精彩內容。


主題一:《OceanBase+Linkis全增量一體化數據集成方案》

分享嘉賓:鄭曉鋒 OceanBase技術專家

內容概要:

OceanBase的發展歷程和特點

從2010到2022年,OceanBase經歷了1.0到4.0的高速發展,完全自研的分佈式數據庫。支持原生分佈式、單機分佈式一體化、HTAP、MySQL平滑遷移、低成本、多租戶等特性。

原生分佈式

OceanBase 使用普通服務器和數據中心網絡組成的 Shared-nothing 集羣部署,無需基於專用網絡環境的 SAN 存儲設備。集羣原生自動管理計算資源和存儲資源的分配和動態資源均衡。支持彈性水平或垂直擴縮容,讀寫性能可線性擴展。所有服務節點都支持SQL計算和數據存儲,每個節點自主管理所服務的分區數據。整個集羣只有一種數據庫服務進程,無外部服務依賴,運維管理簡單。對外提供統一的數據庫服 務,支持 ACID 事務和全局索引,對應用開發來說與單機無異。


HTAP 混合事務與實時分析處理

OceanBase 團隊一開始就決定做基於“一個系統,一份數據”的 HTAP 數據庫,以將性價比做到極致,希望在高性能 OLTP 數據庫的基礎上擴展 OLAP 的能力,很好地支持實時分析。OceanBase 通過原生分佈式技術提供高性能的 HTAP 能力,真正通過“一個系統” 提供同時處理交易及實時分析,“一份數據”用於不同的工作負載,從根本上保持數據的一 致性並最大程度降低數據冗餘,幫助企業大幅降低總成本。 


OceanBase的CDC組件

OceanBase 對於增量數據的獲取提供了一些組件。因其本身是分佈式數據庫,那麼它的數據在落到日誌時也是分散狀態。它提供了一個 obcdc 組件用於獲取數據庫日誌。它會與 OceanBase server 端通過 RPC 進行交互,拉取到原始的日誌信息。經過一定的處理後,可以吐出有序的日誌流,下游再通過接入 obcdc 組件消費有序的日誌流。

OceanBase和Links的結合

講述了在增量同步中,如何結合使用Oceanbase和Links來管理不同類型的數據庫和數倉產品。在這種場景下,底層應用和數據源是一個雜亂無章的網狀結構,管理和開發都比較困難。Linkis在其中起到了計算治理和資源管控的作用,支持豐富的底層計算存儲引擎。OceanBase 可以作爲 Linkis 的數據源來做管理。同時,也可以使用Links平臺來直接管理任務。這種結合可以極大簡化開發、運維和管理工作。


主題二:《Apache Linkis 整合 OceanBase的實踐》

分享嘉賓:郗世豪 Apache Linkis Committer
內容概要:
Apache Linkis與OceanBase的整合

介紹了Apache Linkis與OceanBase的整合以及OceanBase數據源配置。先簡單介紹了Linkis的功能和架構,接着講述了數據源配置,以及JDBC插件的訪問。最後,作者以一個應用程序爲例,說明了如何使用JDBC插件訪問OceanBase。


介紹Spark ETL功能及其配置

主要介紹了Spark的ETL功能和與其他數據庫進行跨雲計算的能力。ETL功能是將數據從各種數據源中提取出來進行轉換和加工,以降低用戶對接和使用難度。支持各種數據源和目標系統,可以進行分析和轉換操作。總體來說,Spark的功能可以用於數據加工和各種數據源之間的轉換。


公衆號回覆“獲取資料0613“獲取講師分享材料

— END —

如何成爲社區貢獻者

 官方文檔貢獻。發現文檔的不足、優化文檔,持續更新文檔等方式參與社區貢獻。通過文檔貢獻,讓開發者熟悉如何提交PR和真正參與到社區的建設。參考攻略:保姆級教程:如何成爲Apache Linkis文檔貢獻者


 代碼貢獻。我們梳理了社區中簡單並且容易入門的的任務,非常適合新人做代碼貢獻。請查閱新手任務列表:https://github.com/apache/incubator-linkis/issues/1161


 內容貢獻:發佈WeDataSphere開源組件相關的內容,包括但不限於安裝部署教程、使用經驗、案例實踐等,形式不限,請投稿給小助手。例如:


 社區答疑:積極在社區中進行答疑、分享技術、幫助開發者解決問題等;


 其他:積極參與社區活動、成爲社區志願者、幫助社區宣傳、爲社區發展提供有效建議等;

本文分享自微信公衆號 - WeDataSphere(gh_273e85fce73b)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章