公衆號回覆“活動資料0613“獲取講師分享材料
近日,Apache Linkis與OceanBase線上聯合舉辦Meetup活動,主要討論了Linkis的開源歷程和OceanBase的發展歷程、Apache Linkis與OceanBase的集成解決方案、以及其在數據存儲和計算領域的應用案例。
下面,我們來一起回顧活動的精彩內容。
主題一:《OceanBase+Linkis全增量一體化數據集成方案》
分享嘉賓:鄭曉鋒 OceanBase技術專家
內容概要:
原生分佈式
OceanBase 使用普通服務器和數據中心網絡組成的 Shared-nothing 集羣部署,無需基於專用網絡環境的 SAN 存儲設備。集羣原生自動管理計算資源和存儲資源的分配和動態資源均衡。支持彈性水平或垂直擴縮容,讀寫性能可線性擴展。所有服務節點都支持SQL計算和數據存儲,每個節點自主管理所服務的分區數據。整個集羣只有一種數據庫服務進程,無外部服務依賴,運維管理簡單。對外提供統一的數據庫服 務,支持 ACID 事務和全局索引,對應用開發來說與單機無異。
HTAP 混合事務與實時分析處理
OceanBase 團隊一開始就決定做基於“一個系統,一份數據”的 HTAP 數據庫,以將性價比做到極致,希望在高性能 OLTP 數據庫的基礎上擴展 OLAP 的能力,很好地支持實時分析。OceanBase 通過原生分佈式技術提供高性能的 HTAP 能力,真正通過“一個系統” 提供同時處理交易及實時分析,“一份數據”用於不同的工作負載,從根本上保持數據的一 致性並最大程度降低數據冗餘,幫助企業大幅降低總成本。
OceanBase的CDC組件
OceanBase 對於增量數據的獲取提供了一些組件。因其本身是分佈式數據庫,那麼它的數據在落到日誌時也是分散狀態。它提供了一個 obcdc 組件用於獲取數據庫日誌。它會與 OceanBase server 端通過 RPC 進行交互,拉取到原始的日誌信息。經過一定的處理後,可以吐出有序的日誌流,下游再通過接入 obcdc 組件消費有序的日誌流。
OceanBase和Links的結合
講述了在增量同步中,如何結合使用Oceanbase和Links來管理不同類型的數據庫和數倉產品。在這種場景下,底層應用和數據源是一個雜亂無章的網狀結構,管理和開發都比較困難。Linkis在其中起到了計算治理和資源管控的作用,支持豐富的底層計算存儲引擎。OceanBase 可以作爲 Linkis 的數據源來做管理。同時,也可以使用Links平臺來直接管理任務。這種結合可以極大簡化開發、運維和管理工作。
如何成爲社區貢獻者
1 ► 官方文檔貢獻。發現文檔的不足、優化文檔,持續更新文檔等方式參與社區貢獻。通過文檔貢獻,讓開發者熟悉如何提交PR和真正參與到社區的建設。參考攻略:保姆級教程:如何成爲Apache Linkis文檔貢獻者
2 ► 代碼貢獻。我們梳理了社區中簡單並且容易入門的的任務,非常適合新人做代碼貢獻。請查閱新手任務列表:https://github.com/apache/incubator-linkis/issues/1161
3 ► 內容貢獻:發佈WeDataSphere開源組件相關的內容,包括但不限於安裝部署教程、使用經驗、案例實踐等,形式不限,請投稿給小助手。例如:
4 ► 社區答疑:積極在社區中進行答疑、分享技術、幫助開發者解決問題等;
5 ► 其他:積極參與社區活動、成爲社區志願者、幫助社區宣傳、爲社區發展提供有效建議等;
本文分享自微信公衆號 - WeDataSphere(gh_273e85fce73b)。
如有侵權,請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”,歡迎正在閱讀的你也加入,一起分享。