數據同步機制

中國電信集團綜合結算系統備份項目
江蘇、新疆、陝西、江西、廣西、貴州、甘肅、青海、寧夏、海南、重慶和總部結算中心爲中國電信集團綜合結算系統項目的統一規劃。在一期中採購了兩套DSG SnapAssure-DC用於江蘇和總部備份。
在經過江蘇和總部兩個系統的1年多運行後，中國電信的技術專家們發現DSG SnapAssure-DC解決了同時採購的DataProtector和Netbackup備份軟件所不能解決的問題，所以在該項目二期擴容時指定選擇DSG SnapAssure-DC軟件作爲重慶等8個省的結算系統備份管理軟件，用以對一期的備份系統進行升級改造。
爲此，DSG SnapAssure-DC在新疆、江西、廣西、貴州、甘肅、青海、海南、重慶等8個省各安裝一套，用於支持其綜合結算系統的備份、恢復和歷史數據管理。
如上圖所示，在採用DSG SnapAssure-DC的同時，將一期已採購的DataProtector備份軟件和磁帶庫作爲結算曆史話單數據的長期保存應用。


江西移動BOSS異地備份應用
客戶背景
爲提高業務運營支撐系統的服務質量，確保在日益激烈的市場競爭中確立主導地位，中國移動斥巨資建成了業務運營支撐系統（BOSS），將原有計費、結算、營業、賬務和客戶服務系統的數據和業務處理全部整合，形成計費、結算、賬務處理、賬務管理、業務管理和客戶服務六大業務模塊，再加上系統管理和統計分析功能，使BOSS系統形成了一套完整的體系。在對BOSS系統進行集中化改造後，全網將實現以省爲單位的集中計費。
江西移動是中國移動公司的重點企業之一、全省移動電話客戶數超過了500多萬戶。
應用需求及解決方案
根據要求，移動運營商需要建設異地備份系統用以防範各種潛在的故障。爲此江西移動BOSS系統需要建設異地容災中心，提供異地數據安全保護。
江西移動已經建設了EMC Symmetrix＋BCV爲基礎的存儲結構，因此廠商推薦用戶沿用此方式進行異地備份。但需要建設的硬件、網絡以及工程成本遠遠超出了異地備份所能夠承受的範圍。
爲此，江西移動選擇DSG SnapAssure-DC實現其異地備份。在已有的存儲系統基礎上加入增加DSG SnapAssure-DC備份系統，在已有的100Mbps網絡資源下實現了江西BOSS的異地備份功能，並且每天的備份時間只需要2小時左右。
同時，配合DSG SnapShare(VVFS)將異地備份數據打開的數據可提供查詢和統計報表使用。利用備份數據運行每天的報表功能或查詢功能。
SnapAssure-DC在滿足江西移動大容量系統的異地備份需求上具有明顯的優勢：
1. 節省帶寬資源，在100Mbps網絡的基礎上實現了大數據量的BOSS系統異地備份。而如果選用傳統技術，則需要數Gb的帶寬。
2. 降低系統總體投資：整個系統的建設成本不足傳統方案的1/2。
3. 性能得到了保障，日常備份時間僅需要2個小時左右，不影響生產系統和本地備份系統。

江蘇電信綜合結算系統備份應用
客戶背景
江蘇電信是中國電信股份有限公司在江蘇省內出資設立的獨資子公司，江蘇電信的經營範圍橫跨了基礎電信和增值電信服務的各個領域，業務包括本地電話、長途電話、公衆熱線服務，ADSL、DDN等數據多媒體服務，以及電話卡、800業務、會議電話等許多其它服務。江蘇電信的固定電話用戶已突破2000萬，電話主線普及率、互聯網用戶數、寬帶用戶數等都處於全國領先水平，種類繁多的應用服務與規模龐大的用戶網絡使公司的信息系統日趨複雜，各項數據的交織傳遞加大了信息管理的難度。
應用需求及解決方案
爲完善電信計費結算中心和省級計費結算中心的結算管理職能和生產職能，進一步加強中國電信內部各部門的管理和考覈工作，確保網間結算政策的正確執行，提高企業資金及時回籠的能力，並進而促進互聯互通工作的健康發展，中國電信建立了全國計費結算中心和省級計費結算中心綜合結算系統。
江蘇電信綜合結算系統是中國電信各省中數據量最大、業務最繁忙的結算業務的結算系統，月話單量達到幾十億張，數據庫設計容量達20TB以上。
該系統在備份方面面臨以下幾個難題：
1. 數據量龐大，無法採用傳統備份解決方案提供備份支持；
2. 系統每天業務量產生的日誌數據超過200GB，運行在noarchivelog模式。
3. 備份數據需要提供查詢和統計應用；
傳統備份解決方案無法滿足上述需求，所以江蘇電信選擇DSG SnapAssure-DC作爲備份管理系統，解決了以下幾個難題：
1. 滿足備份窗口的要求，DSG SnapAssure-DC採用了增量數據塊智能跟蹤技術、資源需求優化技術等提高備份速度數倍，能夠滿足數十TB的大容量系統的在線備份需求，日常備份任務能夠在規定的時間窗口內完成。
2. 是業界唯一支持noarchivelog模式的在線備份。
3. 備份數據通過SnapShare模塊能夠提供打開訪問功能，歷史數據的查詢需求。
4. 提供歷史數據的長期歸檔保存支持，SnapAssure-DC支持將備份數據通過接口轉移到已有的HP MSL磁帶庫系統上。


遼寧網通IBSS統計分析平臺的應用
---DSG SmartE-Oracle數據複製技術
客戶背景
遼寧省通信公司是秉承遼寧通信業一百多年發展歷史的大型通信企業，是遼寧地區實力雄厚、品牌強勁的基礎電信運營商。主要經營國際、國內各類固定電信網絡與設施（含本地無線環路），經營基於電信網絡的話音、數據、圖像及多媒體通信與信息服務業務，以及與通信及信息業務相關的系統集成、技術開發、技術服務、信息諮詢、廣告、通信設備銷售、設計施工等業務。
業務需求與解決方案
遼寧省通信公司爲了適應業務發展及日益激烈的市場競爭的需要，決定開發新一代電信運營支撐系統。整個系統建設分別圍繞利潤，服務，管理三個主題分階段分步驟的開展。
在項目實施的第一個階段建設綜合服務提供平臺，聯機採集系統，綜合業務計費帳務系統，綜合結算系統，資源管理系統，交換網網管系統等系統，在以客戶爲中心的總體企業經營理念的指導下，爲解決快速、有效和可控的服務提供與保障方面的問題。
在建設新的業務支撐系統以後，如何有效的整理分散的6大業務系統數據，實現數據的有效共問題顯得非常突出，因爲在當實現了省業務支撐系統的集中建設後，大量的統計分析應用對系統提出了很高的要求。
因此遼寧網通在省業務支撐中心決定建設一個集中的統計分析平臺，該平臺獨立於各生產系統服務器，建設專用的統計分析系統。該系統擁有獨立的數據、服務器、大容量存儲和統計應用程序，並且統計分析系統逐漸可發展爲經營決策分析系統，
遼寧網通決定採用DSG SmartE架構用於支持其業務擴展，建設以集中統計分析爲核心的數據共享平臺結構。
在該架構基礎上，通過實時複製功能將生產系統上產生的數據實時複製到統計分析系統上，保證了統計分析數據的及時更新。解決了獨立的6大業務系統的數據集中整合問題，建設了集中的統計分析系統，併爲發展成爲統一數據倉庫系統奠定了基礎。
DSG SmartE在滿足該系統需求上，存在以下幾個特點：
1. 靈活的複製結構：
支持N:1的複製，實現遼寧網通6大分散業務系統的數據集中和整合。
2. 按需複製：
SmartE系統支持對指定信息的按需複製，在方案中只需要複製指定系統中的關鍵業務數據，而對那些中間結果和臨時數據則無需複製，減少統計平臺需要的存儲容量。
3. 系統異構，可提供更多的優化空間：
目標系統與源系統可採用不同的服務器和磁盤陣列，並且源數據庫系統和目的數據庫系統的可異構，主要包括索引規則等。

天津聯通集中備份系統應用
客戶背景
天津聯通是中國聯通的重要分公司，開通了中國聯通的所擁有的GSM，CDMA，長話，固話，數據，尋呼等。天津聯通業務支撐系統包括綜合營業，綜合帳務，統一客戶資料以及各業務子系統的計費系統。採取必要的措施保護這些系統的系統安全和數據安全，將能促進天津聯通各項業務的順利開展，提高客戶服務水平，創造良好的社會形象，提升天津聯通的整體競爭力。
應用需求及解決方案
天津聯通已經購買了傳統的備份系統，但由於其固有的缺點不能滿足業務的需求，所以天津提出對其綜合帳務、營業、客服、經營分析、計費系統、繳費卡等系統進行集中備份改造，以提高備份系統的性能、可靠性和易管理性。
爲此，天津聯通選擇DSG SnapAssure-DC作爲集中備份管理軟件。實現對以上業務系統的集中備份、實現統一管理和災難保護。該方案爲天津聯通的備份系統進行了極大的升級和增強：
1. 備份更可靠
系統採用磁盤作爲備份介質，磁盤系統的RAID保護功能增強了數據的可用性，防止磁盤驅動器出現故障時導致數據丟失，而磁帶所引起的介質錯誤是很常見的事情。
其次DSG SnapAssure-DC對備份的數據可以直接打開，驗證備份數據是否可靠，保證備份數據一定能夠恢復。改變了過去磁帶庫備份的數據只有經過恢復或模擬恢復才能驗證其備份數據是否能夠恢復的弊病。
2. 恢復速度更快，恢復功能更強大
根據對其中最大的系統進行的恢復測試表明DSG SnapAssure-DC進行完全恢復的時間只需要5小時。
並且在恢復功能上，除了提供傳統技術所能提供的完全恢復、表空間恢復功能外，DSG SnapAssure-DC還提供了更爲精確的表恢復、數據塊恢復等。因爲實際工程中，80%以上的情況是數據庫部分遭到破壞（如數據文件、數據塊的破壞等），傳統方案只有花費大量時間進行完全恢復。DSG的精確恢復技術，可智能地直接恢復被破壞的部分，將恢復時間縮短到秒級、分鐘級。
尤其是對經常出現的表恢復，傳統備份軟件沒有有效的解決方案，而DSG SnapAssure-DC提供了最直接的支持。
3. 更適合基於LAN的集中備份
因爲通過LAN的集中備份對網絡帶寬資源的需求是非常大的，也往往是限制備份和恢復性能的主要因素。而DSG SnapAssure-DC採用流壓縮算法，降低帶寬佔用率75%以上，提高網絡帶寬利用率4倍以上，提高備份和恢復性能。
4. 佔用更少的磁盤空間
DSG SnapAssure-DC採用獲得專利的“壓縮版本文件系統”存儲減少備份存儲容量70%以上。
5. 備份數據可讀取
在備份存儲系統中，採用DSG的專利版本文件系統技術，對備份的數據進行管理，配合DSG公司的虛擬文件系統（VVFS），數據庫管理軟件能夠在VVFS系統上直接對備份的數據進行打開讀取，實現備份數據的可共享。
6. 充分利用已有的磁帶備份資源
SnapAssure-DC作爲對生產系統的快速數據保護，作爲一級備份。而將已有的磁帶庫作爲歷史數據歸檔使用，不再依賴磁帶庫對系統進行恢復。
DSG SnapAssure-DC爲歷史歸檔提供了集成化的支持，通過DSG SnapAssure-DC系統支持無縫的將歷史數據歸檔到磁帶庫上，並且可從磁帶庫上隨時將需要的歷史數據恢復回來加載到數據庫中進行查詢，實現歷史數據的按需查詢。


江蘇聯通綜合營帳系統查詢統計優化應用
---DSG SmartE-Oracle數據複製技術

江蘇聯通爲滿足其全省1200多萬用戶的業務量，實現話音和Internet業務的綜合管理，建設了全省的綜合營帳系統。該系統在經過了較長一段實踐的運行後，需要進一步優化系統結構以滿足其進一步的業務發展，主要包括：
1. 如何提高綜合營帳系統的運行性能，減少綜合營帳運行負荷；
2. 如何提高系統查詢和統計分析性能；如何滿足地市個性化業務需求和業務二次開發
3. 如何提高綜合營帳與外部系統之間的數據接口效率
4. 如何進一步利用綜合營帳數據進行數據挖掘、分析業務發展規律、發現業務問題、進行業務二次開發等；
5. 如何爲聯通統一經營分析平臺提供整合後的數據來源；
爲此，江蘇聯通率先採用DSG SmartE架構用於優化其企業信息系統平臺。通過該架構，將江蘇聯通的綜合營帳系統和計費系統上的主要業務數據實時複製到DSG數據平臺上，形成江蘇聯通“第二數據中心”，該數據中心主要承擔了以下幾類業務：
1. 提供VIP客戶的快速業務管理功能，提供VIP客戶的業務發展情況實時監控和VIP客戶的優質客戶服務；
2. 提供江蘇聯通帳務統計報表業務；
3. 提供江蘇聯通系統接口平臺；
在建設了該架構後，江蘇聯通的營帳和計費系統的壓力得到了合理的分擔、提高了系統運行效率，減輕了不斷對營帳和計費系統升級帶來的投資負擔，提高了江蘇聯通的系統部署靈活性。
DSG SmartE在滿足江蘇聯通業務需求具有明顯的特點：
1. 降低查詢系統存儲空間
提供選擇性複製功能，所以對於查詢系統而言，無需複製生產系統上的所有數據，從而減少查詢系統的存儲空間。
源系統上的數據庫容量總共達到有幾個TB，而需要複製到查詢系統上的數據只有幾十GB。這是採用磁盤鏡像技術所不能達到的。
2. 滿足電信級性能指標
在能夠提供邏輯複製功能的工具中，SmartE針對電信級大業務量數據所設計的，因此在性能上完全滿足江蘇聯通的需求。
3. 可提供優化的查詢系統
源數據庫系統和目的數據庫系統的可異構，主要包括索引規則和存儲參數（如數據塊大小、回滾段等）。因此可以在查詢數據庫上根據業務特點進行調整和優化，完全不受源系統的限制。


山東聯通容災應用案例
客戶背景：
中國聯通的電信業務的重要支撐系統，肩負着各專業計費處理、營業/收費和客服後臺支撐、結算處理、部分業務提供的後臺支撐、企業輔助決策和管理數據支持等功能，其安全性直接關係到企業和客戶的切身利益，也關係到中國聯通的企業形象。實現計費營帳系統的容災備份，這是市場競爭的需要，更是進一步提高服務水平和改善服務質量、提升業務支撐能力的重要技術手段。
震驚世界的“9.11”事件發生後，全世界都看到了金融、電信等行業用戶在災難中的巨大損失。這樣，在災難後如何快速、正確地恢復運營就成爲擺在電信企業面前的一個難題。
爲了防範地震、火災、水災等自然災害、電力中斷、以及人爲破壞而導致系統遭到嚴重損壞、失效的異常情況，中國聯通提出了對系統進行容災備份的需求。
爲此，聯通公司決定在全國範圍內進行綜合電信業務支撐系統中容災備份系統的建設，並且制定了相應的總體方案。通過容災備份系統的建設，將爲客戶提供更加安全、可靠的服務。
山東聯通也根據自身系統現狀和發展需要，提出了容災系統的建設要求,並進行了容災一期工程的建設,對營業和賬務所需的數據包括:用戶基本資料、用戶繳費信息、帳單信息進行了同步複製，實現了營帳數據級的容災備份，保證了重要業務數據的安全性，同時還做了營業的業務系統容災。對二次批價後的詳單做了準實時的數據備份。根據山東聯通的需求和有關現狀、以及中國聯通關於綜合電信業務支撐系統建設的精神，提出了容災備份系統二期的建設要求。本項目二期的建設對山東聯通增強系統的高可用性、提高服務質量、增加業務量、提高市場競爭力有重要的作用，並將間接帶來可觀的經濟效益和很好的社會效益。

系統建設目標
山東聯通現有電信業務支撐系統已經建設的主要子系統有GSM專業計費子系統、CDMA專業計費子系統、193/17911融合計費子系統、短信專業計費子系統、綜合營帳子系統、綜合客服子系統和大客戶子系統、繳費卡子系統、綜合結算子系統、經營統計分析等子系統，以及即將建設客戶關係管理系統、綜合聯機指令子系統、綜合繳費子系統以及綜合採集子系統。
隨着山東聯通業務的快速發展，用戶量的急劇增加，支撐系統的各子系統在不斷建設和完善過程中，如何在不影響業務的情況下，綜合考慮，做到支撐系統應用級的容災。
爲此本期工程的目的是利用DSG RealSync軟件提供重要業務系統的應用級容災方案，包括：
ü GSM專業計費子系統的應用級容災方案。
ü 繳費卡系統的容災方案。
通過該容災方案達到兩個目的：
（1） 實現災難的快速恢復和業務接管
本工程需要對繳費卡系統和GSM計費系統上的數據提供數據複製支持，提供容災功能。計費系統在線系統保存5+1的數據，容災系統上只要求保存2月（上月＋當前月）的數據用於容災。
（2） 建設第二數據平臺，用於數據查詢和統計分析等功能。
與其他任何保險策略一樣，對容災系統而言，沒有災難出現時，我們根本無法意識到容災系統所起到的作用，無法回收容災系統建設所需的大量投資。當未出現災難時，我們的容災端系統總是處於空閒狀態，花費大量投資買來的系統根本無法有效利用。這個問題一直困擾着用戶。
因次採用RealSync複製技術，容災站數據庫系統始終處於打開狀態，不同於磁盤鏡像技術中的容災數據庫系統在進行數據複製是不可用的。在RealSync熱容災解決方案中，可以通過容災系統爲其它系統提供數據共享服務。
（3） 將第二數據平臺用作測試平臺。

系統組成
山東聯通的計費系統包括GSM計費系統、CDMA計費系統、193/17911融合計費子系統和165專業計費系統。本期工程只針對GSM計費系統進行容災建設和試點：
ü 系統名稱：GSM計費系統
數據庫：Oracle 9i
計費主機：HP N4000 8G內存 8CPU 2臺； HP RP8400 20G內存 10CPU 2臺；四臺主機以負載分擔方式負責全省的GSM集中計費,及各專業計費二次批價，四臺主機各負責部分地市，
磁盤陣列：EMC8830
ü 繳費卡及大客戶系統現狀
數據庫：Oracle 8i
大客戶主機兼服務器：HP L2000 4G內存 4CPU 2臺。
磁盤陣列： EMC8730
業務規模
ü 用戶規模：
山東聯通GSM用戶到2004年低發展到650萬戶。
ü 業務量規模：
每個用戶平均每天話單數10條，峯值每小時約處理一天話單總量的12%：
日處理話單數6500萬條；高峯期的每分鐘處理話單數130000條。
ü 數據量規模：
每用戶話單在線保存2個月（上個月+當月），系統數據量爲1.2TB左右。
ü 繳費卡系統：
繳費卡系統是山東聯通綜合營賬支撐系統中的兩個重要子系統。通過1001系統，用戶可以7*24小時通過繳費卡系統進行繳費。繳費卡的數據安全是非常重要的，在容災一期中沒有對繳費卡的數據數據進行容災保護。在容災二期系統中，將會考慮對繳費卡系統數據進行容災保護，繳費卡系統目前容量約爲200G左右，

DSG解決方案
採用DSG RealSync實現山東聯通繳費卡和計費系統容災方案結構如下：
如上圖所示：
採用DSG RealSync將繳費卡上的兩個數據庫中的4個用戶複製到1個容災系統上。並且該容災系統同時作爲測試平臺。
將GSM計費系統上的2個RP8400和2個HP N4000上的4個數據庫複製到1個容災系統上。
ü 使用RealSync完成計費系統數據表複製功能；
ü 實現選擇性複製，只複製那些需要容災的數據，在本方案中就是1+1月的數據；
ü 實現容災系統上的數據只保存1+1月數據的方案，在每月末，通過腳本定時執行的方式或人工操作的方式將前3個月的數據刪除；
ü 實現容災系統的數據查詢功能，當數據複製過程中，容災端數據也可以提供外部查詢功能。


廣西移動BOSS1.5之營業和客服數據庫容災應用
業務需求
將在白沙機房（BOSS1.5機房）新建一個基於SAN環境的計算機系統，有6個數據庫(Oracle 9i RAC)，其中的2個數據庫（一個是Oracle 9i RAC，兩個節點，另外一個是雙機互備模式）根據業務需要分別複製到應急數據庫（Oracle 9i Single）的2個實例，因此需採購相應的複製軟件進行數據庫的複製。
本工程是對其中的營業數據庫和客服數據庫進行復制，複製到應急數據庫。
數據庫複製系統的建立應實現將營業庫和客服庫的數據變化分別複製到應急庫，使得應急營業庫和應急客服庫的數據和生產系統的營業庫及客戶庫的數據同步。並能在生產系統的營業庫或者客戶庫有故障時，替代故障庫，接管應用。當故障庫修復以後，能及時將應急庫中的數據同步到修復後的生產數據庫。
方案設計
根據廣西移動數據複製系統的業務需求，採用DSG RealSync軟件實現數據複製：系統總體結構如下圖所示：

ü 生產系統
廣西移動BOSS 1.5系統中需要本期工程進行復制的業務類型主要包括三種：
客服：系統的數據量約爲100GB
帳務：系統的數據量約爲800GB
營業：系統的數據量約爲500GB
客服數據庫單獨運行，運行在兩臺IBM P690服務器上，組成RAC環境；
帳務和營業兩個業務運行在一個ORACLE DATABASE的兩個USER上，運行在兩臺IBM P690服務器上，組成RAC環境；
在容災系統上安裝兩個ORACEL INSTANCE，運行兩個ORACEL DATABASE。分別對應生產系統的客服數據庫和營業帳務數據庫中的兩個用戶。
性能參考
ü 全同步
DSG RealSync提供了不停機的首次全同步功能，該功能支持數據庫在正常業務時間不中斷的情況下進行全同步。避免了採用存儲拷貝方式進行全同步時必需要求的業務中斷。
對於廣西移動的數據量，兩個用戶數據量約爲800GB，採用10個併發任務進行全同步，同步時間共計約5小時左右。
ü 日誌分析速度
系統每天處理的日誌量達到400GB左右.
ü CPU資源速度
源端日誌分析CPU佔用量爲單個CPU的10%，高峯期可達到單個CPU的60%.
解決方案特點
容災與其他任何保險策略一樣，當沒有災難出現時，我們根本無法意識到容災系統所起到的作用，無法回收容災系統建設所需的大量投資。但從系統安全性角度考慮，我們又必須爲關鍵的業務支撐系統建設最有效的災難恢復解決方案。但是在大部分情況下，當未出現災難時，我們的容災端系統總是處於空閒狀態，花費大量投資買來的系統根本無法有效利用。這個問題一直困擾着用戶。
爲此我們採用雙active的結構，讓容災系統的數據庫也處於OPEN狀態，這樣實際上廣西移動就擁有了第二數據中心，而不僅僅是一個災難備份系統，通過第二數據中心可以實現如下功能：
ü 核心業務的災備平臺
通過數據同步建立的第二數據中心可以實現對業務關鍵數據的容災及保護，在不影響生產數據庫性能的同時爲生產數據庫在本地或異地建立一份準實時鏡像，以保證在生產數據庫發生災難時可使用容災數據庫進行業務接管和數據恢復。
ü 業務負載分擔
第二數據中心的數據處於實時可讀取狀態，數據庫處於OPEN狀態，實現BOSS系統業務模塊的重新部署。
通過第二數據中心實現對BOSS核心系統的業務模塊進行負載分擔，將那些只對數據進行讀取操作的模塊都遷移到第二數據中心上來，主要包括：
ü 地市統計報表
ü 地市業務查詢
ü 提供其他系統的數據訪問接口；
這樣作將達到兩個好處：
ü 提高數據訪問的效率，提高外圍系統部署的靈活性；
ü 提高核心系統的運行效率，提高核心系統運行的穩定和可靠性；