Oracle Goldengate 打通數據貫通的金橋--原廠筆記

主要議程

在這裏插入圖片描述

雲下雲上數據貫通

在這裏插入圖片描述
從報告中我們可以看到一些有趣的數據:93%的企業採用了多雲策略,41%的應用程序在多雲之間數據集成,61%的組織計劃將重點放在雲遷移上。通過這些數據可以預見未來多雲環境下的數據同步需求將出現爆發式的增長

數據集成的需求

在這裏插入圖片描述
在這裏插入圖片描述
零停機遷移、爲數據湖/數倉供數、讀寫分離、多雲之間數據同步、雙活容災、流數據實時分析這些需求都需要實時數據同步來解決,所以在今天人們比以往更需要數據實時同步。

技術調整

在這裏插入圖片描述
在這裏插入圖片描述
我們的Oracle解決之道就是GoldenGate數據實時同步解決方案。GoldenGate是一座橋,它不光是金門大橋的意思,它還是在不同數據源之間架起的一座數據實時複製的橋樑。GoldenGate是非侵入式數據同步工具,因爲它是通過讀取和分析數據庫的日誌文件捕獲變化的數據,不需要訪問生產表,對數據庫的影響很小,能夠實現同構/異構數據庫間實時數據同步,可單向也可雙向,兩邊數據庫都是可讀可寫的。所以GoldenGate的特點就是異構、雙活、實時和保證事務的完整性。

平臺功能

在這裏插入圖片描述
GoldenGate平臺的基礎是數據庫事務複製。 GoldenGate是全球領先的數據複製技術,可實現最大數據可用性,零停機遷移,數據集中和分發和數據倉庫加載等應用場景。 近年來,數據湖管道, 用goldengate爲kafka、大數據環境供數是GoldenGate平臺增長最快的應用領域之一,也是實現企業業務創新的助推器。

多雲的能力

在這裏插入圖片描述
爲了滿足用戶多雲數據同步的需求,GoldenGate已經認證的Oracle、Azue、AWS等衆多雲廠商RDS數據庫。

生態的整合能力

在這裏插入圖片描述
GoldenGate是一個真正的企業級平臺,支持所有最常見的企業數據庫,數據倉庫,近幾年Goldengate的創新使得我們現在可以全面支持雲數據庫,大數據環境,NoSQL引擎和流數據處理平臺, 是企業數據移動和數據加載的理想平臺,因爲與ETL工具不同,GoldenGate對數據源影響很少,不需要批處理窗口,並且與其他複製工具相比,GoldenGate可以執行的更好,更可靠

靈活的拓撲

在這裏插入圖片描述
GoldenGate以靈活的拓撲結構滿足多種應用需求,GoldenGate能夠實現單向查詢分流, 整合多個數據源到ODS實現實時數據倉庫,數據庫雙活容災,數據分發、集中,多主分佈式等多種應用場景。

Goldengate的持續創新能力

在這裏插入圖片描述
Oracle GoldenGate成爲行業領先的數據複製軟件已有20多年了。我們可以看到 90年代DR,2000年數據複製,2010 數倉,2015至今 數據湖和雲, 在過往的20年中goldengates始終緊跟IT發展的潮流。下面我爲大家詳細的介紹一下緊貼用戶需求的獨特創新。

遠程抽取和投遞的能力

在這裏插入圖片描述
2017年的時候GoldenGate研發了一種新的遠程抽取和投遞模式,使得goldengate可以部署在中間層服務器上,遠程連接到源數據庫捕獲增量數據,然後遠程投遞到目標數據庫。在源和目標數據庫上不需要安裝goldengate軟件,把goldengate對數據庫服務器的影響降到最低。
GoldenGate19C新增支持跨操作系統的遠程抽取和投遞,比如裝在linux上的goldengate可以遠程抽取aix,solairs,hpunix,windows上的數據庫,大大減少了GoldenGate部署量和日常運維量
另外,對於雲廠商的RDS數據庫,因爲RDS數據庫是無法訪問底層數據庫服務器的,Oracle goldengate的遠程抽取模式能夠支持實時捕獲雲廠商的RDS數據庫變化數據。

Oracle內核級別的集成

在這裏插入圖片描述
Oracle GoldenGate對於Oracle數據庫的數據複製性能,沒有其他第三方軟件可以和GoldenGate比較。自2009年收購GoldenGate以來,Oracle每年投入數千人天研Oracle專用事務捕獲接口XStream APIs,以保證數據捕獲的性能和穩定性。另外Oracle數據庫的redo log日誌格式從來沒有公開過的, redo log格式每個數據庫版本都是不同的,目前Oracle19c的實時數據捕獲只有goldengate能支持。

現在GoldenGate 19c的抽取性能比之前版本提升了10多倍,比其他第三方軟件快了幾十倍,完全能夠滿足用戶的需求。GoldenGate19c 新增的並行投遞特性使得投遞性能比之前提升5倍以上;Goldengate19C遠程捕獲經過優化,使得延遲時間小於100ms的網絡,遠程捕獲性能與本地捕獲類似。

非Oracle數據庫性能極具競爭力,已廣泛應用在DB2,MYSQL,SQL Server和其他非Oracle數據庫的同步項目中

對於GoldenGate Big Data,已與kafka的創始者LinkedIn和Confluent直接合作以優化GoldenGate for Kafka的性能,全球最大的5個kafka集羣中有4個已使用了GoldenGate for Kafka。

Goldengate的marketplace三步部署

在這裏插入圖片描述
lilichao:
我們在Oracle cloud上發佈了GoldenGate Markplace,現在我們的客戶可以通過3個簡單的步驟,在不到10分鐘的時間內在Oracle Cloud成功部署GoldenGate。目前goldengate marketplace支持Oracle,mysql,SQLserver和DB2數據庫,並且現在goldengate marketplace是免費的,用戶只需要花費很少的租用虛機的費用。

微服務版本的Goldengate

在這裏插入圖片描述

在之前的版本中GoldenGate都是配置管理都是命令行的方式,現在發佈的Goldengate微服務版本提供了基於瀏覽器的圖形化配置、管理和監控能力,並且提供RESTful APIs接口,便於用戶將GoldenGate的監控加入到自己的監控平臺和DEVOPS中。

對cloud,saas,big data的支持


您是否知道,至2017年以來Oracle GoldenGate新增支持的平臺超過了過去20年的總和,我們支持絕大多數主流的大數據技術,比如kafka, HDFS,Hive,HBase,Mongodb,Greenplum,Elasticsearch等等,Goldengate for bigdata已經被數千家企業所採納,成爲近幾年GoldenGate增長的應用領域。GoldenGate對雲廠商RDS數據庫的支持能力也是用戶急需的

項目案例

在這裏插入圖片描述
GoldenGate助力某企業數據上雲
1.內網GoldenGate捕獲內網數據庫的變化數據,併發送到DMZ的GoldenGate
2.DMZ區的GoldenGate將變化的數據加密後轉發到雲端的GoldenGate
3.雲端GoldenGate將接受到的變化數據按照源數據庫事務發生的先後次序,應用到目標端ADW數據庫,使得源和目標數據庫保持一致

GoldenGate的作用:

  1. GoldenGate非入侵式的捕獲源端數據庫的增量數據,實時同步到雲端ADW,保證了雲端報表的準確性
  2. GoldenGate 能夠滿足用戶嚴格的網絡端口開放要求,將內網數據庫數據同步到雲端ADW
    3.斷點續傳,簡單易用易維護,IT人員很快就能上手掌握

在這裏插入圖片描述
我們來看一下EBay 正在做什麼?
EBay使用GoldenGate將數據從EBay應用系統實時同步到 Kafka集羣,用於用戶和購買行爲的流數據分析。
5年前:Ebay計劃數據加工的方式從批處理轉爲增量處理,嘗試使用Shareplex失敗後,轉用GoldenGate;
今天:Ebay擁有世界上第二大的Kafka集羣,使用GoldenGate與Kafka相結合,每天從超過150套Oracle和MYSQL數據庫中抽取超過1000億筆事務。
在這裏插入圖片描述
讓我們來看看QuickBooks正在做什麼?
QuickBooks使用GoldenGate 實現數據高可用和流數據的分發,在AWS的RDS上創建了30多個數據庫,每個庫數據量將近6TB,使用Oracle GoldenGate將數據從雲端數據庫同步到本地Kafka集羣(每張表對應一個主題)。
5年前:GoldenGate用於將大量數據庫從本地遷移到 AWS;
今天:GoldenGate用於將數據從雲端數據庫同步到本地Kafka集羣,爲數據湖和數據倉庫供數。

OGG上雲

在這裏插入圖片描述
GoldenGate另一個常用場景就是零停機遷移,GoldenGate可以實現異構數據庫,業務近似零中斷的遷移,並且支持反向同步便於失敗回退,降低遷移風險。

OGG的0停機

在這裏插入圖片描述
在這裏插入圖片描述

基於數據泵的數據庫初始化步驟包括:
1.開啓抽取進程
2.檢查有無長時間未提交的事務(事務開始時間早於捕獲啓動時間),記錄當前SCN號
3.按照scn號導出數據
4.數據導入至目標端
5.指定投遞進程從scn號之後應用增量數據

GoldenGate常見錯誤

在這裏插入圖片描述
採用GoldenGate遷移的常見錯誤
1.因爲goldengate已經在源端捕獲了觸發器、job產生的增量數據,所以需要在目標端需要禁用觸發器、級聯刪除和數據庫job,不然就重複了
2.在導出數據時要查一下有沒有有沒有事務開始時間在啓用捕獲之前的,否則目標端就會丟失這個事務的數據,導致數據不一致
3.Goldengate進程捕獲模式不支持RAC數據庫有XA事務,需要採用集成抽取模式
4.Goldengate進程捕獲模式不支持TDE透明加密,需要採用集成抽取模式
5.GoldenGate集成抽取模式支持從redo log中捕獲DDL語句,避免源和目標庫表結構不一致
6.採用GoldenGate集成抽取模式後rman備份不會刪除Goldengate需要的歸檔日誌文件

Goldengate的演示

在這裏插入圖片描述

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章