EDW項目中ODS源接口表清單維護方案

1、ODS的接口表信息保存在一個EXCEL表中

該表格有如下特性：

1)、所有的接口清單都在一個工作簿中；

2)、每一個sheet中存放來自一類源業務系統表的接口信息；

3)、不同階段的接口表，只要是來自同一個源業務系統，都放在同一張sheet中，有[階段]字段加以區分；

4)、每個sheet中也都會有一個[業務系統]字段，但對於同一個sheet，其應是同一值；

5)、對於一個sheet，可以添加一些衍生字段，如[edw期望加載方式]、[接口表測試環境存在情況]、[接口提出時間]等，但最重要的無非是下表所列示的7個；

6)、每一個sheet中都使用相同的表結構格式。

階段	業務系統	業務系統中文名	業務系統原表名	ODS表名	ODS加載方式	備註
倉庫1期	CMIS	授信合同	CMIS_SXHT	ODS_CMS_CMIS_SXHT	增量
倉庫1期	CMIS	擔保合同	CMIS_DBHT	ODS_CMS_CMIS_DBHT	增量
倉庫2期	WFM	其他抵押資產	BIZ_COLLATERAL_ACCEPTANCEBILL	ODS_WFM_BIZ_COL_BA	全量
倉庫2期	WFM	產品列表	BIZ_PRODUCT	ODS_WFM_BIZ_PRODUCT	全量

2、元數據進倉

初期，ODS要提供的接口表信息是存儲在如上的EXECL表格中的。爲了入倉及其他一些方面的應用，需要將EXECL中的清單信息導入到數據庫中。

1)、存儲ODS源接口表的表結構

 -- Create table create table EDW_ODS_TAB_SRC ( STAGE VARCHAR2(18), SRC_SYS VARCHAR2(18), SRC_TAB_NAME_CN VARCHAR2(36), SRC_TAB_NAME VARCHAR2(30), ODS_TAB_NAME VARCHAR2(30), ODS_LOAD_TYPE VARCHAR2(18), REMARK VARCHAR2(100) ); -- Add comments to the table comment on table EDW_ODS_TAB_SRC is '數據倉庫源數據接口清單表'; -- Add comments to the columns comment on column EDW_ODS_TAB_SRC.STAGE is '階段'; comment on column EDW_ODS_TAB_SRC.SRC_SYS is '業務系統'; comment on column EDW_ODS_TAB_SRC.SRC_TAB_NAME_CN is '業務系統表中文名'; comment on column EDW_ODS_TAB_SRC.SRC_TAB_NAME is '業務系統表原名'; comment on column EDW_ODS_TAB_SRC.ODS_TAB_NAME is 'ODS表名'; comment on column EDW_ODS_TAB_SRC.ODS_LOAD_TYPE is 'ODS數據加載方式'; comment on column EDW_ODS_TAB_SRC.REMARK is '備註';

2)、生成插入庫初始化腳本的perl程序

 ###################################################################### use Win32::OLE qw(in with); use Win32::OLE::Const 'Microsoft Excel'; ###################################################################### $Win32::OLE::Warn = 3; my $Excel = Win32::OLE->GetActiveObject('Excel.Application') || Win32::OLE->new('Excel.Application', 'Quit'); my $fielname = q(C:/Users/nisj/Desktop/倉庫源數據接口清單表設計/數據倉庫源系統接口表格式.xls); my $Book = $Excel->Workbooks->Open("$fielname"); open(F,'>C:/Users/nisj/Desktop/倉庫源數據接口清單表設計/Ods_Interface_Data_Int.SQL'); print F "TRUNCATE TABLE EDW_ODS_TAB_SRC;"; print F "/n"; foreach my $Sheetnum(1..$Book->Worksheets->count){ my $Sheet = $Book->Worksheets($Sheetnum)||die "over"; my $Source_Business_Systems = $Sheet->{Name}; print F "--源業務系統：【$Source_Business_Systems】接口表的加載..."; print F "/n"; my $error_count = 0; for(my $ROW = 2;;$ROW++){ last if ($error_count == 1); ($error_count++,next) unless defined $Sheet->Cells($ROW,5)->{'Value'}; my $stage = $Sheet->Cells($ROW,1)->{'Value'}; $stage=uc($stage); my $src_sys = $Sheet->Cells($ROW,2)->{'Value'}; $src_sys=uc($src_sys); my $src_tab_name_cn = $Sheet->Cells($ROW,3)->{'Value'}; $src_tab_name_cn=uc($src_tab_name_cn); my $src_tab_name = $Sheet->Cells($ROW,4)->{'Value'}; $src_tab_name=uc($src_tab_name); my $ods_tab_name = $Sheet->Cells($ROW,5)->{'Value'}; $ods_tab_name=uc($ods_tab_name); my $ods_load_type = $Sheet->Cells($ROW,6)->{'Value'}; $ods_load_type=uc($ods_load_type); my $remark = $Sheet->Cells($ROW,7)->{'Value'}; $remark=uc($remark); print F "INSERT INTO EDW_ODS_TAB_SRC(STAGE, SRC_SYS, SRC_TAB_NAME_CN, SRC_TAB_NAME, ODS_TAB_NAME, ODS_LOAD_TYPE, REMARK)"; print F "VALUES(TRIM('$stage'), TRIM('$src_sys'), TRIM('$src_tab_name_cn'), TRIM('$src_tab_name'), TRIM('$ods_tab_name'), TRIM('$ods_load_type'), TRIM('$remark'));/n"; } print F "commit;/n"; } # clean up after ourselves $Book->Close; close(F);

3、此方案只是針對ODS源表的接口清單元數據入倉的方便，其他的諸如SDM映射關係元數據入倉都是同樣的道理。