Oracle GoldenGate技術參數

一、系統平臺支持

1.支持主流操作系統,包括:IBM AIX、HP-UX、Linux、Sun Solaris、Microsoft Windows等32和64位平臺。
答:滿足
Oracle GoldenGate產品支持Windows 2000,2003,2008, XP,Sun Solaris,HP-UX,IBM AIX,Linux(Novell SuSE,RedHat Enterprise,Oracle Enterprise Linux),HP TRU64,HP OpenVMS,HP NonStop,IBM z/OS等32和64位操作系統平臺,支持上述平臺的主流版本。

二、數據庫支持
2.支持主流數據庫,包括:Oracle 9i/10G/11G/RAC、IBM DB2、MS SQL Server、Sybase ASA、MySQL和MS ODBC
答:滿足
Oracle GoldenGate支持將Oracle 9i、10G、11G、RAC、IBM DB2、MS SQL Server、Sybase ASE、MySQL、Teradata、Ingres、Enscribe, SQL/MP, SQL.MX等數據庫作爲源數據庫,將Oracle 9i、10G、11G、RAC、IBM DB2、MS SQL Server、Sybase ASE、MySQL、Enscribe、Teradata、Ingres等數據庫。
3.支持異構環境複製

  • 支持不同廠商硬件(主機、存儲)之間數據庫的數據複製

答:滿足
由於採用數據庫層面的複製技術,而非存儲和主機層面的複製,Oracle GoldenGate可以在兩個運行在完全異構的硬件環境之上的數據庫之間進行數據複製,而無需源和目標數據庫必須運行在一樣的硬件配置。

  • 支持不同數據庫之間複製,如Oracle到DB2或DB2到Oracle之間的複製,支持同類數據庫不同版本之間數據複製,如Oracle 10G到11G的複製

答:滿足
GoldenGate軟件將捕捉進程獲得的交易數據轉換爲與數據庫類型無關的專用格式,在目標端,投遞進程再將專用格式的數據轉換爲與目標端數據庫類型一致的動態SQL語句進行投遞,因此,GoldenGate軟件在進行數據複製時,不會受到數據庫類型和版本的限制,基於該軟件的數據複製方案不僅能夠支持同構環境下的數據備份,還可以支持在異構的軟硬件環境之間實現複製,如在不同廠商主機和存儲之間、不同操作系統之間甚至不同數據庫之間實現數據複製。

三、技術標準
4.數據捕獲模式

  • 通過數據庫日誌捕獲數據變化,能夠解析源數據庫在線日誌或歸檔日誌

答:滿足
GoldenGate軟件是一種基於日誌的結構化數據複製軟件,它通過解析源數據庫在線日誌或歸檔日誌獲得數據的增刪改變化,再將這些變化應用到目標數據庫,實現源數據庫與目標數據庫同步。同時主、備端數據庫都保持活動狀態。支持Oracle中所有的常用數據類型,包括Blob,Clob,Long,Spatial等的複製。

答:滿足
Oracle GoldenGate

  • 支持對Oracle中常用DDL操作的複製

答:滿足
Oracle GoldenGate支持對數據庫DDL操作的複製,GoldenGate通過打開復制數據庫DDL的功能,可以支持對數據庫DDL的複製,缺省該選項爲關閉狀態。

四、主要功能
5.複製可靠性

  • 數據複製應當只複製提交交易,不復制回滾交易;

答:滿足
Oracle GoldenGate的複製過程是基於事務進行的,即只複製已經提交到數據庫中的有效交易數據。對於還在數據庫內存中沒有提交,或回滾的無效數據都不進行復制。

  • 數據複製需要嚴格遵守Oracle事務的一致性,目標系統需要完整順序地再現原系統的事務

答:滿足
Oracle GoldenGate可以提供可靠的數據複製,主要體現在下面三點:保證事務一致性GoldenGate應用複製操作的順序與在源系統上的順序相同,並且按照相同的事務環境提交,確保在目標系統上數據的完整性和讀一致性,爲實時查詢和事務處理創造了條件。檢查點機制保障數據無丟失。GoldenGate的抽取和複製進程使用檢查點機制記錄完成複製的位置。對於抽取進程,其檢查點記錄當前抽取日誌的位置,以便下次複製。可靠的數據傳輸機制GoldenGate使用應答機制傳輸交易數據,只有在得到確認消息後才認爲數據傳輸完成,否則將自動重新傳輸數據,從而保證了抽取出的所有數據都能發送到備份端。

  • 備份端數據應當處於活動狀態,以便於進行數據驗證和實時準備接管服務

答:滿足
Oracle GoldenGate

  • 源系統和目標系統的任何故障都不會影響到複製環境。這些故障包括:源主機故障、數據庫故障、複製軟件故障,網絡故障、目標系統的主機故障、數據庫故障等。要能夠在各種異常出錯後,保證數據複製不間斷,提供複製軟件的持久運行記錄。在出現鏈路中斷或目標端數據庫出錯的故障恢復後,數據複製功能能夠從斷點繼續運行。

答:滿足
針對各種系統異常,Oracle GoldenGate的數據捕獲、傳輸、加載過程中都有檢測點機制,保證數據複製功能從斷點繼續運行,確保數據複製的可靠性。
1、網絡故障,如數據傳輸過程中出現傳輸不穩定甚至中斷等情況,GoldenGate可以自動的處理網絡中斷,在網絡恢復後重新啓動複製,中斷期間的數據可以在網絡恢復後複製到備份端數據庫。在網絡中斷出現後,GoldenGate的抽取進程會自動停止,此時共享陣列中的檢查點記錄最後一次成功複製數據的位置。GoldenGate能夠以用戶自定義的間隔自動重新啓動抽取進程,直到網絡恢復進程重啓成功。抽取進程重新啓動後首先去讀取檢查點,找到中斷位置從對應日誌中重新開始讀取,開始正常複製過程,整個過程無需人工干涉。
2、數據庫實例停止,在日常維護中,經常會遇到需要停止數據庫的情況,此時GoldenGate抽取或者投遞進程也會終止。GoldenGate可以配置自動重起的功能,在自定義的時間間隔內監測進程狀態,一旦發現其終止會重新試圖啓動該進程。因此,在數據庫重新啓動之後,GoldenGate可以各進程根據自己的檢查點自動繼續數據複製,保證無數據丟失。
3、生產中心RAC當前節點停機,在RAC當中,如果運行GoldenGate當前節點停機,可以將GoldenGate轉移到其它節點繼續運行。當節點1停機後,GoldenGate進程終止,此時共享陣列中的檢查點記錄最後一次成功複製位置。我們可以通過網管軟件監測節點失敗,然後通過腳本將GoldenGate切換到另外一個活動的節點上重新啓動。由於GoldenGate安裝於共享陣列,配置文件、斷點信息等信息對此節點也是可見的,抽取進程可以正常啓動。抽取進程首先去讀取檢查點,獲取中斷位置,然後繼續從該位置解析數據庫日誌,恢復正常的複製過程。整個過程中備份中心不受影響,投遞進程會一直等待新數據的到來,直到複製恢復。
4、備份中心當前節點故障,如果備份中心運行GoldenGate的RAC節點停機,類似於生產中心當前節點停機,可以將GoldenGate切換到其他節點繼續運行。同樣,在當前節點停機後,可以通過網管軟件或者人工切換GoldenGate到其他節點繼續運行,投遞進程的檢查點可以保證從隊列的中斷位置繼續複製。需要注意的是此時生產中心的抽取進程也會停止,可以通過配置自動啓動或者採用手動方式重啓抽取進程即可繼續複製。
5、兩端數據不一致,GoldenGate的備份端數據庫處於活動狀態,可以開展實時查詢和統計的業務。如果由於人爲操作失誤等原因造成了兩端數據不一致,可以通過更改GoldenGate的複製起始點重新複製。GoldenGate提供基於時間點的複製,只要日誌(在線或歸檔狀態均可)沒有刪除,複製可以從任意時間點開始。出現誤操作以後,我們可以改變源數據庫抽取進程的時間點,從錯誤操作之前的時間點重新進行復制,結合GoldenGate衝突檢測機制,恢復備份端數據與源數據庫的一致性。

  • 源庫RAC環境下運行復制軟件的單點故障後能夠切換到其它節點繼續運行而無需重新初始化

答:滿足
GoldenGate滿足單機和RAC環境下的數據複製。在源端,配置GoldenGate軟件的捕捉進程(Capture Process),該進程讀取源數據庫的在線日誌或歸檔日誌,分析並抽取增、刪、改等交易信息,將交易信息轉換爲與數據庫類型無關的專有格式,通過網絡傳輸到目標端隊列中。複製的目標端爲一個活動的數據庫,配置GoldenGate軟件投遞進程(Delivery Process),接收由源端發送過來的數據並緩存到隊列中,然後投遞進程讀取隊列數據,轉化爲動態SQL語句並通過本地接口投遞到目標數據庫,從而實現交易數據的實時複製。
6.複製靈活性

  • 能夠實現多對一和一對多的複製

答:滿足
利用GoldenGate軟件的靈活性、對各種複雜IT環境極強的適應性的諸多優點,可以根據實際業務的需求,將數據複製到任何想要複製的站點,既支持一對多的數據複製,還支持多對一的數據複製。

  • 支持並實現數據庫雙向複製,支持並實現不同平臺不同版本數據庫之間的雙向複製

答:滿足
Oracle GoldenGate支持數據庫雙向複製,支持異構環境下的數據庫雙向複製。不需要重新安裝、部署軟件,GoldenGate在雙向複製的時候提供了自動的數據庫的衝突檢測功能,可以有效地保證數據庫雙向複製的正常運行。

  • 能夠只複製部分數據,也可以指定只複製指定部分表

答:滿足
Oracle GoldenGate提供數據過濾功能,通過在從日誌文件中抽取數據進程的配置文件中指定表名來實現對部分表進行數據同步;另外GoldenGate還可在上述配置文件中通過指定“where”、“range”和 “filter”參數實現只對一個表的部分數據進行復制。

  • 能夠在複製過程中對數據進行變換,如對某些列使用sql、存儲過程和定製的java代碼作特定轉換

答:滿足
Oracle GoldenGate在從源數據庫中抓取數據的過程中對數據進行過濾,可以使用SQLEXEC參數,以便直接調用數據庫的SQL和存儲過程對數據進行轉換操作。另外,還可以通過定製Java代碼,繼承並實現Filters,Formatters和Handlers來實現定製化的數據轉換。

  • 能夠對被複制的數據質量進行檢查和確認。

答:滿足
Oracle GoldenGate提供SQLEXEC參數,允許通過對數據查找其參考引用表,將質量較差的數據用參考引用表中的數據替換。
另外GoldenGate還提供了STRCMP、COLSTAT、COLTEST、STREQ、STRSUB、STRUP等函數,可以對數據進行各種質量的檢查。

  • 可以將被複制的數據直接發給ELT等中間件進行處理

答:滿足
通過預集成的知識模塊,Oracle GoldenGate可以和Oracle的數據集成中間件Oracle Data Integrator進行直接集成,數據可以直接從源數據庫獲取後進入ODI的ETL處理過程。

  • 可以將被複制的數據發給基於JMS的消息服務器和MQ消息服務器。

答:滿足
Oracle GoldenGate提供的JMS適配器能從JMS消息服務器中讀取消息數據,並把消息發給目標數據庫,還可將消息數據發給其它JMS服務器(例如Weblogic JMS、MQ)或用戶定製的java應用,或者將消息數據寫入文件中。

  • 提供兩端數據對比和數據修復的工具或方案,能夠對源數據庫和目標數據中的數據內容進行對比,以查找出來兩邊數據表中內容的差異。

答:滿足
Oracle GoldenGate提供了數據對比工具Veridata,能夠實現在不停機的情況下對數據進行高速對比。
典型配置是在兩端數據庫主機安裝Veridata Agent,在第三臺機器上安裝Veridata Server。通過Veridata Agent可以獲取數據庫中需對比的數據,然後經過計算Hash和壓縮,可以發送到Veridata Server中執行對比。Veridata Server放在第三方機器上,可以降低數據對比給生產庫帶來的影響。Veridata Server對數據進行對比,一旦發現不一致則重新由Veridata Agent讀取具體信息進行再次確認,最後將不一致數據顯示到報告中,供客戶進行判斷和處理。

五、性能擴展
7.複製實時性和性能

  • 數據複製正常情況下延遲應當控制在5秒以內

答:滿足
Oracle GoldenGate在缺省情況下每1秒就可將獲取變化的數據,另外還可通過修改GoldenGate的配置參數“EOFDELAY | EOFDELAYCSECS”來定製捕獲變化數據的頻率。

  • 能夠支持大數據量的數據複製,如有每日分析日誌量在800G以上案例

答:滿足
通過基於併發讀取數據庫日誌文件機制,Oracle GoldenGate可以支持大數據量的捕獲、傳輸和同步。在移動、銀行的等用戶可以達到每日分析大於800G的日誌量。

  • 能夠使用多進程並行複製提高複製性能

答:滿足
Oracle GoldenGate可以根據應用情況,可以配置多個進程和多個隊列,各個進程和隊列相互獨立,發生故障時,可以只對發生錯誤的進程和隊列進行獨立處理,而其他進程和隊列保保持繼續的運行。

  • 提供傳輸高性能,可只複製變化字段的數據內容,支持數據傳輸壓縮,提供在4M或更低帶寬下實現大數據量遠程數據複製的案例。

答:滿足
Oracle GoldenGate提供基於TCP/IP的高性能數據傳輸,配合GoldenGate只傳輸變化的數據,並且可對數據進行平均10倍左右的高密度數據壓縮,因此對網絡帶寬要求很低,這樣GoldenGate就尤其適合實現遠程容災中心的需要。中國海關、中國體彩、國家稅務等用戶實施的遠程容災中心都是在2M-4M帶寬的網絡條件下實現的大數據量遠程數據複製。

六、安裝和部署
8.部署和運行

  • 能夠直接在源數據庫和目標數據庫服務器間進行數據同步

答:滿足
Oracle GoldenGate分別安裝在源數據庫和目標數據庫所運行的操作系統中。不需要經過中間的服務器,GoldenGate可以通過數據庫日誌直接獲得變化的數據,並將其直接發給目標服務器的GoldenGate,從而完成數據同步過程。

  • 能夠跨防火牆、網閘等設備,間接在源數據庫和目標數據庫服務器間進行數據同步。

答:滿足
Oracle GoldenGate運行在TCP/IP網絡協議中,只要在源端、目標端之間開通防火牆打開的的端口即可跨防火牆進行數據庫的同步。
對於只能單向聯通的網閘,可以通過人工複製的方式,將網閘一側的被複制數據從源數據庫中抽取出,並生成的數據文件。手動將這些文件複製到網閘另一側,另一側的GoldenGate即可將這些數據從文件中同步到目標數據庫。

  • 支持自動化執行腳本,能快速將開發和測試環境中的配置移植到生產環境。

答:滿足
GoldenGate允許將常用的配置過程存放在文本文件中,並使用OBEY命令執行這些文件來完成重複性配置,來簡化從開發和測試環境中的配置移植到生產環境的過程。
另外對於參數化的配置信息,GoldenGate還提供宏功能,能對配置信息進行參數化,從而能靈活適應不同的測試環境和生產環境之間的差異。

七、管理功能
9.管理工具和報警

  • 配置簡單,能夠提供圖形化的管理和配置工具

答:滿足
GoldenGate管理包(Management Pack for GoldenGate)提供豐富的客戶端和Web界面,集中配置、管理和監控GoldenGate平臺

  • 具有一定的監控、告警功能,對關鍵設備、事務、應用的故障能夠將信息發送到監控軟件中,實現自動報警並記錄日誌。

答:滿足
GoldenGate提供完整的運行日誌,命令行方式和圖形化方式。GoldenGate有自己的日誌記錄機制,它會監控和記錄進程的啓動、停止狀況、進程啓動的環境變量、進程運行過程中數據的處理進度、可以通過參數的配置讓系統具有靈活的報警機制,支持對關鍵進程、事務、應用故障的報警和日誌記錄功能。既能把這些報警信息發佈到第三方的監控軟件中,也能使用GoldenGate管理包(Management Pack for GoldenGate)產品實現圖形化的管理和靈活的報警、監控功能。

八、安全性
10.數據傳輸保密性

  • 能通過配置對同步數據進行加密,以確保數據在傳輸中的保密性

答:滿足
GoldenGate提供128-bit 的加密算法可對同步數據進行加密,其中使用ENCRYPTTRAIL參數對數據文件進行加密,使用DECRYPTTRAIL參數對數據文件進行解密;另外,還可以使用ENCRYPT參數,以確保GoldenGate在TCP/IP網絡傳輸中的數據保密性。

發佈了61 篇原創文章 · 獲贊 92 · 訪問量 1萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章