ogg三大進程常用參數

============================================1、管理進程
oggCI (ogg1) 22> edit params mgr
PORT 7809
DYNAMICPORTLIST 7810-7860
AUTORESTART ER , RETRIES 3, WAITMINUTES 5
PURGEOLDEXTRACTS ./dirdat/pd
, USECHECKPOINTS, MINKEEPDAYS 30
lagreporthours 1
laginfominutes 30
lagcriticalminutes 60

參數說明:
PORT 7809
管理進程的監聽端口,默認使7809,當7809不可用時會從DYNAMICPORTLIST定義的列表中選擇一個可用的端口,主要用於本地goldengate進程之間的通信
DYNAMICPORTLIST 7810-7860
動態端口,可以指定最大256個可用端口列表,用於主端和備端的進程通信,當目標端有防火牆設置時或者主端的投遞進程傳送數據要經過防火牆(就是主端有防火牆設置時)才能到達備端時,需要在網絡上開通指定的端口。源端和目標段的Collector、Replicat、GGSCI進程通信也會使用這些端口,指定足夠的端口去容納進程數的擴張,這樣就不需要停止和重啓管理器進程
AUTORESTART ER , RETRIES 3, WAITMINUTES 5
AUTORESTART 自動啓動所有的進程,包含所有的抓取進程和投遞進程
RETRIES 3, WAITMINUTES 5 自動重啓參數設置,本處設置表示每3分鐘對所有失敗的EXTRACT進程嘗試重新啓動,共嘗試5次
PURGEOLDEXTRACTS ./dirdat/pd
, USECHECKPOINTS, MINKEEPDAYS 30
定期清理trail文件設置,本處設置表示對於超過30天的trail文件進行刪除
lagreporthours 1
laginfominutes 30
lagcriticalminutes 60
定義數據延遲的預警機制,本處設置表示MGR進程每隔1小時檢查EXTRACT的延遲情況,如果超過了30分鐘就把延遲作爲信息記錄到錯誤日誌中,如果延遲超過了60分鐘,則把它作爲警告寫到錯誤日誌中

============================================2、抽取進程配置

GGSCI (m25) 1> edit params e_prd

extract e_prd
setenv(NLS_LANG=“AMERICAN_AMERICA.UTF8”)
setenv(ORACLE_SID=“prd”)
userid ogg@PRD,password ogg0826
reportcount every 10 minutes,rate
numfiles 5000
discardfile ./dirrpt/e_prd.dsc,append,megabytes 1000
warnlongtrans 2h,checkinterval 3m
exttrail ./dirdat/pd
threadoptions maxcommitpropagationdelay 60000
dboptions allowunusedcolumn
tranlogoptions archivedlogonly
tranlogoptions altarchivelogdest primary /oracle/PP2/oraarch
tranlogoptions altarchivedlogformat %t_%s_%r.dbf
dynamicresolution
ddl include mapped
notcpsourcetimer
nocompressupdates
fetchoptions nousesnapshot
----------T_MIDDECLAREPREMIUM
table T1.T_MIDDECLAREPREMIUM,tokens(
TKN-CSN = @GETENV(“TRANSACTION”, “CSN”),
TKN-COMMIT-TS = @GETENV (“GGHEADER”, “COMMITTIMESTAMP”),
TKN-OP-TYPE = @GETENV (“GGHEADER”, “OPTYPE”)
);

參數說明:
extract e_prd
抓取進程的名稱
setenv(NLS_LANG=“AMERICAN_AMERICA.UTF8”)
指定ogg進程執行環境的字符集,與數據庫字符集保持一致
setenv(ORACLE_SID=“prd”)
數據庫實例名
userid ogg@PRD,password ogg0826
ogg管理員的賬戶和密碼
reportcount every 10 minutes,rate
報告自extract啓動以來處理的記錄條數統計數字,記錄的數字打印到屏幕或者報告文件內
numfiles 5000
控制OGG給多少張TABLE和MAP進行初始化的內存分配,並且此參數必須在TABLE、MAP、SOURCEDEFS、TARGETDEFS之前生效,默認值1000 ,最大值2百萬,我們這裏配置了5000,就是最多處理5000張表
discardfile ./dirrpt/e_prd.dsc,append,megabytes 1000
定義discardfile文件位置,文件路徑必須爲相對路徑,如果處理中有記錄出錯會寫入到此文件中,記錄模式爲追加,文件最大設置爲1G
warnlongtrans 2h,checkinterval 3m
每隔3分鐘檢查一下長交易,如果有超過2個小時的長交易,GoldenGate會在根目錄下的ggserr.log裏面加入一條告警信息。可以通過察看ggserr.log或者在ggsci中執行view ggsevt命令查看這些告警信息。此配置可以有助於及時發現長交易並予以處理
exttrail ./dirdat/pd
定義抓取進程trail文件存放路徑
threadoptions maxcommitpropagationdelay 60000
特定參數,在rac環境下需要配置,非rac環境下不需要配置。RAC集羣中的所有節點必須同步系統時鐘,GoldenGate通過比較本地系統的時間和事務提交的時間點來做出關鍵決策
dboptions allowunusedcolumn
在生產端庫表中存在unused列時,需要配置該參數
tranlogoptions archivedlogonly
抓取進程使用ALO(Archived Log Only)模式,只抓取歸檔日誌,不抓取redo日誌
tranlogoptions altarchivelogdest primary /oracle/PP2/oraarch
指定dg庫歸檔日誌日誌路徑
tranlogoptions altarchivedlogformat %t_%s_%r.dbf
指定歸檔日誌格式
dynamicresolution
抓取進程開啓之前將需要同步的表建立一個記錄並且存入到磁盤中,這樣就需要耗費大量的時間。使用該參數來解決此問題
ddl include mapped
配置ddl映射訪問,mapped 值映射我們下面配置的table裏的表
notcpsourcetimer
EXTRACT使用TCPSOURCETIMER參數時,數據傳遞到目標端,會調整數據庫記錄的時間戳,這個時候GETENV(“GGHEADER”,“COMMITTIMESTAMP”)得到的時間戳既不是源端數據提交時間,也不是目標端的提交時間,使用NOTCPSOURCETIMER時,反應出事物在源端的提交時間,但是時間戳的精度只到秒
nocompressupdates
目標端有update set a=1 where a=1;這種操作,extract就要配置NOCOMPRESSUPDATES
fetchoptions nousesnapshot
抽取進程從源表中獲取所需的數據,而不是從閃回日誌種獲取,默認值是usesnapshot從閃回日誌中獲取
table T1.T_MIDDECLAREPREMIUM,tokens(
TKN-CSN = @GETENV(“TRANSACTION”, “CSN”),
TKN-COMMIT-TS = @GETENV (“GGHEADER”, “COMMITTIMESTAMP”),
TKN-OP-TYPE = @GETENV (“GGHEADER”, “OPTYPE”)
);
抓取進程抓取哪些表
TKN-CSN 源端事物操作的scn號
TKN-COMMIT-TS 源端事物的提交時間
TKN-OP-TYPE 源端實物的操作類型

===========================================3、添加抽取進程
add extract e_prd,tranlog,begin now
添加抽取進程,指定進程名稱,從源端數據庫的事務日誌中抽取變化中抽取數據變化,命令結束後開始抽取
add exttrail ./dirdat/pd,extract e_prd,megabytes 500
添加trail文件,指定trail文件的相對路徑,trail文件進程歸屬,文件最大大小爲500M

===========================================4、投遞進程配置
GGSCI (m25) 3> edit params d_prd

extract d_prd
rmthost 10.1.197.242(更換爲新地址),mgrport 7809,compress
userid ogg@PRD,password ogg0826
passthru
numfiles 50000
rmttrail ./dirdat/pd
dynamicresolution
table t1.*;

參數說明:
extract d_prd
定義投遞進程名稱
rmthost 10.1.197.242(更換爲新地址),mgrport 7809,compress
災備端主機IP,管理進程端口號,投遞前壓縮隊列文件
userid ogg@PRD,password ogg0826
ogg管理賬戶密碼
passthru
投遞進程數據投遞模式有的兩種選擇: PASSTHRU(直通模式)、NOPASSTHRU(普通模式),默認是普通模式。
PASSTHRU: 不與數據庫交互,前提是源庫與目標庫objects必須一致
沒有指定PASSTHRU,就必須要有數據庫連接信息:userid ogg@ORACSOGG,password ogg
numfiles 50000
最多處理5000張表
rmttrail ./dirdat/pd
災備端保存隊列文件的目錄
dynamicresolution
動態解析表名
table t1.*;
要投遞的表清單
===========================================5、添加投遞進程
add extract d_prd,exttrailsource ./dirdat/pd
添加投遞進程,指定進程名稱,數據源爲trail文,trail文件的相對路徑
add rmttrail ./dirdat/pd,extract d_prd,megabytes 500
添加遠程投遞trail文件,指定遠程投遞trail文件的相對路徑,文件歸屬,文件最大大小爲500M

===========================================6、應用進程配置
GGSCI (m25) 1> edit params r_prd

replicat r_prd
setenv(NLS_LANG=“SIMPLIFIED CHINESE_CHINA.ZHS16GBK”)
userid ogg,password ogg
reportcount every 30 minutes,rate
reperror default,abend
numfiles 50000
checkpointsecs 40
assumetargetdefs
discardfile ./dirrpt/r_prd.dsc,append,megabytes 1000
allownoopupdates
ddl &
include mapped &
exclude objname t1._audit &
exclude optype create &
objtype ‘table’ &
exclude optype drop &
objtype ‘table’ &
exclude objtype ‘index’ &
objname t1.
_his &
exclude instr ‘constraint’ &
exclude instr ‘null’ &
exclude instr ‘trigger’ &
exclude instr ‘rename to’ &
exclude instr ‘grant’ &
exclude instr ‘revoke’ &
exclude instr ‘analyze’
ddloptions report
allowduptargetmap
----------T_MIDDECLAREPREMIUM
getinserts
getupdates
getdeletes
noupdatedeletes
map T1.T_MIDDECLAREPREMIUM,target T1.T_MIDDECLAREPREMIUM;
updatedeletes
map T1.T_MIDDECLAREPREMIUM,target T1.T_MIDDECLAREPREMIUM_HIS,keycols(SERIALNO);
getinserts
ignoreupdates
ignoredeletes
map T1.T_MIDDECLAREPREMIUM,target T1.T_MIDDECLAREPREMIUM_AUDIT,keycols(SERIALNO),colmap(
usedefaults,
csn=@token(“TKN-CSN”),
optime=@token(“TKN-COMMIT-TS”),
optype=@token(“TKN-OP-TYPE”),
inserttime=@token(“TKN-COMMIT-TS”),
curdate=@DATENOW()
);
ignoreinserts
getupdates
getdeletes
map T1.T_MIDDECLAREPREMIUM,target T1.T_MIDDECLAREPREMIUM_AUDIT,keycols(SERIALNO),colmap(
usedefaults,
csn=@token(“TKN-CSN”),
optime=@token(“TKN-COMMIT-TS”),
optype=@token(“TKN-OP-TYPE”),
curdate=@DATENOW()
);

參數說明:
replicat r_prd
定義應用進程名稱
setenv(NLS_LANG=“SIMPLIFIED CHINESE_CHINA.ZHS16GBK”)
指定ogg進程執行環境的字符集,與數據庫字符集保持一致
userid ogg,password ogg
ogg庫管理員賬戶密碼
reportcount every 30 minutes,rate
報告自replicat啓動以來處理的記錄條數統計數字,記錄的數字打印到屏幕或者報告文件內
reperror default,abend
定義出錯以後進程的響應,一般可以定義爲兩種:
ABEND,即一旦出現錯誤即停止複製,此爲缺省配置;
DISCARD,出現錯誤後繼續複製,只是把錯誤的數據放到discard文件中
numfiles 50000
最多處理5000張表
checkpointsecs 40
將寫檢查點的時間設置爲40秒,默認爲10秒,調節這兩個參數可能會使數據複製的延遲相應增大若干秒
assumetargetdefs
當源表和目標表結構一樣時,使用此參數,此參數告知ogg不要從源表定義的結構文件中查詢表結構,如果源表和目標表結構不一樣時,用SOURCEDEFS替換ASSUMETARGETDEFS
discardfile ./dirrpt/r_prd.dsc,append,megabytes 1000
定義discardfile文件位置,文件路徑必須爲相對路徑,如果處理中有記錄出錯會寫入到此文件中,記錄模式爲追加,文件最大設置爲1G
allownoopupdates
用來處理“沒有操作的操作”,例如:源表 set x=a where x=a
ddl &
include mapped &
exclude objname t1._audit &
exclude optype create &
objtype ‘table’ &
exclude optype drop &
objtype ‘table’ &
exclude objtype ‘index’ &
objname t1.
_his &
exclude instr ‘constraint’ &
exclude instr ‘null’ &
exclude instr ‘trigger’ &
exclude instr ‘rename to’ &
exclude instr ‘grant’ &
exclude instr ‘revoke’ &
exclude instr ‘analyze’
ddl應用範圍和過濾條件
ddloptions report
ddl操作打印到進程報告裏
allowduptargetmap
表和目標表表結構可映射多次,如果不指明ALLOWDUPTARGETMAP,默認表結構映射只使用第1個colmap,後面會忽略掉
getinserts
getupdates
getdeletes
哪些操作類型數據會被應用,我們insert update和delete都要
noupdatedeletes
不對delete操作進行轉換爲update
map T1.T_MIDDECLAREPREMIUM,target T1.T_MIDDECLAREPREMIUM;
配置源表目標表映射關係
updatedeletes
對delete操作轉換爲update
map T1.T_MIDDECLAREPREMIUM,target T1.T_MIDDECLAREPREMIUM_HIS,keycols(SERIALNO);
getinserts
ignoreupdates
ignoredeletes
map T1.T_MIDDECLAREPREMIUM,target T1.T_MIDDECLAREPREMIUM_AUDIT,keycols(SERIALNO),colmap(
usedefaults,
csn=@token(“TKN-CSN”),
optime=@token(“TKN-COMMIT-TS”),
optype=@token(“TKN-OP-TYPE”),
inserttime=@token(“TKN-COMMIT-TS”),
curdate=@DATENOW()
);
ignoreinserts
getupdates
getdeletes
map T1.T_MIDDECLAREPREMIUM,target T1.T_MIDDECLAREPREMIUM_AUDIT,keycols(SERIALNO),colmap(
usedefaults,
csn=@token(“TKN-CSN”),
optime=@token(“TKN-COMMIT-TS”),
optype=@token(“TKN-OP-TYPE”),
curdate=@DATENOW()
);
===========================================7、添加應用進程
add replicat r_prd,exttrail ./dirdat/pd checkpointtable ogg.ckpt
添加應用進程,指定應用進程名稱,trail文件路徑,檢查點表

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章