数据同步机制

中国电信集团综合结算系统备份项目
江苏、新疆、陕西、江西、广西、贵州、甘肃、青海、宁夏、海南、重庆和总部结算中心为中国电信集团综合结算系统项目的统一规划。在一期中采购了两套DSG SnapAssure-DC用于江苏和总部备份。
在经过江苏和总部两个系统的1年多运行后，中国电信的技术专家们发现DSG SnapAssure-DC解决了同时采购的DataProtector和Netbackup备份软件所不能解决的问题，所以在该项目二期扩容时指定选择DSG SnapAssure-DC软件作为重庆等8个省的结算系统备份管理软件，用以对一期的备份系统进行升级改造。
为此，DSG SnapAssure-DC在新疆、江西、广西、贵州、甘肃、青海、海南、重庆等8个省各安装一套，用于支持其综合结算系统的备份、恢复和历史数据管理。
如上图所示，在采用DSG SnapAssure-DC的同时，将一期已采购的DataProtector备份软件和磁带库作为结算历史话单数据的长期保存应用。


江西移动BOSS异地备份应用
客户背景
为提高业务运营支撑系统的服务质量，确保在日益激烈的市场竞争中确立主导地位，中国移动斥巨资建成了业务运营支撑系统（BOSS），将原有计费、结算、营业、账务和客户服务系统的数据和业务处理全部整合，形成计费、结算、账务处理、账务管理、业务管理和客户服务六大业务模块，再加上系统管理和统计分析功能，使BOSS系统形成了一套完整的体系。在对BOSS系统进行集中化改造后，全网将实现以省为单位的集中计费。
江西移动是中国移动公司的重点企业之一、全省移动电话客户数超过了500多万户。
应用需求及解决方案
根据要求，移动运营商需要建设异地备份系统用以防范各种潜在的故障。为此江西移动BOSS系统需要建设异地容灾中心，提供异地数据安全保护。
江西移动已经建设了EMC Symmetrix＋BCV为基础的存储结构，因此厂商推荐用户沿用此方式进行异地备份。但需要建设的硬件、网络以及工程成本远远超出了异地备份所能够承受的范围。
为此，江西移动选择DSG SnapAssure-DC实现其异地备份。在已有的存储系统基础上加入增加DSG SnapAssure-DC备份系统，在已有的100Mbps网络资源下实现了江西BOSS的异地备份功能，并且每天的备份时间只需要2小时左右。
同时，配合DSG SnapShare(VVFS)将异地备份数据打开的数据可提供查询和统计报表使用。利用备份数据运行每天的报表功能或查询功能。
SnapAssure-DC在满足江西移动大容量系统的异地备份需求上具有明显的优势：
1. 节省带宽资源，在100Mbps网络的基础上实现了大数据量的BOSS系统异地备份。而如果选用传统技术，则需要数Gb的带宽。
2. 降低系统总体投资：整个系统的建设成本不足传统方案的1/2。
3. 性能得到了保障，日常备份时间仅需要2个小时左右，不影响生产系统和本地备份系统。

江苏电信综合结算系统备份应用
客户背景
江苏电信是中国电信股份有限公司在江苏省内出资设立的独资子公司，江苏电信的经营范围横跨了基础电信和增值电信服务的各个领域，业务包括本地电话、长途电话、公众热线服务，ADSL、DDN等数据多媒体服务，以及电话卡、800业务、会议电话等许多其它服务。江苏电信的固定电话用户已突破2000万，电话主线普及率、互联网用户数、宽带用户数等都处于全国领先水平，种类繁多的应用服务与规模庞大的用户网络使公司的信息系统日趋复杂，各项数据的交织传递加大了信息管理的难度。
应用需求及解决方案
为完善电信计费结算中心和省级计费结算中心的结算管理职能和生产职能，进一步加强中国电信内部各部门的管理和考核工作，确保网间结算政策的正确执行，提高企业资金及时回笼的能力，并进而促进互联互通工作的健康发展，中国电信建立了全国计费结算中心和省级计费结算中心综合结算系统。
江苏电信综合结算系统是中国电信各省中数据量最大、业务最繁忙的结算业务的结算系统，月话单量达到几十亿张，数据库设计容量达20TB以上。
该系统在备份方面面临以下几个难题：
1. 数据量庞大，无法采用传统备份解决方案提供备份支持；
2. 系统每天业务量产生的日志数据超过200GB，运行在noarchivelog模式。
3. 备份数据需要提供查询和统计应用；
传统备份解决方案无法满足上述需求，所以江苏电信选择DSG SnapAssure-DC作为备份管理系统，解决了以下几个难题：
1. 满足备份窗口的要求，DSG SnapAssure-DC采用了增量数据块智能跟踪技术、资源需求优化技术等提高备份速度数倍，能够满足数十TB的大容量系统的在线备份需求，日常备份任务能够在规定的时间窗口内完成。
2. 是业界唯一支持noarchivelog模式的在线备份。
3. 备份数据通过SnapShare模块能够提供打开访问功能，历史数据的查询需求。
4. 提供历史数据的长期归档保存支持，SnapAssure-DC支持将备份数据通过接口转移到已有的HP MSL磁带库系统上。


辽宁网通IBSS统计分析平台的应用
---DSG SmartE-Oracle数据复制技术
客户背景
辽宁省通信公司是秉承辽宁通信业一百多年发展历史的大型通信企业，是辽宁地区实力雄厚、品牌强劲的基础电信运营商。主要经营国际、国内各类固定电信网络与设施（含本地无线环路），经营基于电信网络的话音、数据、图像及多媒体通信与信息服务业务，以及与通信及信息业务相关的系统集成、技术开发、技术服务、信息咨询、广告、通信设备销售、设计施工等业务。
业务需求与解决方案
辽宁省通信公司为了适应业务发展及日益激烈的市场竞争的需要，决定开发新一代电信运营支撑系统。整个系统建设分别围绕利润，服务，管理三个主题分阶段分步骤的开展。
在项目实施的第一个阶段建设综合服务提供平台，联机采集系统，综合业务计费帐务系统，综合结算系统，资源管理系统，交换网网管系统等系统，在以客户为中心的总体企业经营理念的指导下，为解决快速、有效和可控的服务提供与保障方面的问题。
在建设新的业务支撑系统以后，如何有效的整理分散的6大业务系统数据，实现数据的有效共问题显得非常突出，因为在当实现了省业务支撑系统的集中建设后，大量的统计分析应用对系统提出了很高的要求。
因此辽宁网通在省业务支撑中心决定建设一个集中的统计分析平台，该平台独立于各生产系统服务器，建设专用的统计分析系统。该系统拥有独立的数据、服务器、大容量存储和统计应用程序，并且统计分析系统逐渐可发展为经营决策分析系统，
辽宁网通决定采用DSG SmartE架构用于支持其业务扩展，建设以集中统计分析为核心的数据共享平台结构。
在该架构基础上，通过实时复制功能将生产系统上产生的数据实时复制到统计分析系统上，保证了统计分析数据的及时更新。解决了独立的6大业务系统的数据集中整合问题，建设了集中的统计分析系统，并为发展成为统一数据仓库系统奠定了基础。
DSG SmartE在满足该系统需求上，存在以下几个特点：
1. 灵活的复制结构：
支持N:1的复制，实现辽宁网通6大分散业务系统的数据集中和整合。
2. 按需复制：
SmartE系统支持对指定信息的按需复制，在方案中只需要复制指定系统中的关键业务数据，而对那些中间结果和临时数据则无需复制，减少统计平台需要的存储容量。
3. 系统异构，可提供更多的优化空间：
目标系统与源系统可采用不同的服务器和磁盘阵列，并且源数据库系统和目的数据库系统的可异构，主要包括索引规则等。

天津联通集中备份系统应用
客户背景
天津联通是中国联通的重要分公司，开通了中国联通的所拥有的GSM，CDMA，长话，固话，数据，寻呼等。天津联通业务支撑系统包括综合营业，综合帐务，统一客户资料以及各业务子系统的计费系统。采取必要的措施保护这些系统的系统安全和数据安全，将能促进天津联通各项业务的顺利开展，提高客户服务水平，创造良好的社会形象，提升天津联通的整体竞争力。
应用需求及解决方案
天津联通已经购买了传统的备份系统，但由于其固有的缺点不能满足业务的需求，所以天津提出对其综合帐务、营业、客服、经营分析、计费系统、缴费卡等系统进行集中备份改造，以提高备份系统的性能、可靠性和易管理性。
为此，天津联通选择DSG SnapAssure-DC作为集中备份管理软件。实现对以上业务系统的集中备份、实现统一管理和灾难保护。该方案为天津联通的备份系统进行了极大的升级和增强：
1. 备份更可靠
系统采用磁盘作为备份介质，磁盘系统的RAID保护功能增强了数据的可用性，防止磁盘驱动器出现故障时导致数据丢失，而磁带所引起的介质错误是很常见的事情。
其次DSG SnapAssure-DC对备份的数据可以直接打开，验证备份数据是否可靠，保证备份数据一定能够恢复。改变了过去磁带库备份的数据只有经过恢复或模拟恢复才能验证其备份数据是否能够恢复的弊病。
2. 恢复速度更快，恢复功能更强大
根据对其中最大的系统进行的恢复测试表明DSG SnapAssure-DC进行完全恢复的时间只需要5小时。
并且在恢复功能上，除了提供传统技术所能提供的完全恢复、表空间恢复功能外，DSG SnapAssure-DC还提供了更为精确的表恢复、数据块恢复等。因为实际工程中，80%以上的情况是数据库部分遭到破坏（如数据文件、数据块的破坏等），传统方案只有花费大量时间进行完全恢复。DSG的精确恢复技术，可智能地直接恢复被破坏的部分，将恢复时间缩短到秒级、分钟级。
尤其是对经常出现的表恢复，传统备份软件没有有效的解决方案，而DSG SnapAssure-DC提供了最直接的支持。
3. 更适合基于LAN的集中备份
因为通过LAN的集中备份对网络带宽资源的需求是非常大的，也往往是限制备份和恢复性能的主要因素。而DSG SnapAssure-DC采用流压缩算法，降低带宽占用率75%以上，提高网络带宽利用率4倍以上，提高备份和恢复性能。
4. 占用更少的磁盘空间
DSG SnapAssure-DC采用获得专利的“压缩版本文件系统”存储减少备份存储容量70%以上。
5. 备份数据可读取
在备份存储系统中，采用DSG的专利版本文件系统技术，对备份的数据进行管理，配合DSG公司的虚拟文件系统（VVFS），数据库管理软件能够在VVFS系统上直接对备份的数据进行打开读取，实现备份数据的可共享。
6. 充分利用已有的磁带备份资源
SnapAssure-DC作为对生产系统的快速数据保护，作为一级备份。而将已有的磁带库作为历史数据归档使用，不再依赖磁带库对系统进行恢复。
DSG SnapAssure-DC为历史归档提供了集成化的支持，通过DSG SnapAssure-DC系统支持无缝的将历史数据归档到磁带库上，并且可从磁带库上随时将需要的历史数据恢复回来加载到数据库中进行查询，实现历史数据的按需查询。


江苏联通综合营帐系统查询统计优化应用
---DSG SmartE-Oracle数据复制技术

江苏联通为满足其全省1200多万用户的业务量，实现话音和Internet业务的综合管理，建设了全省的综合营帐系统。该系统在经过了较长一段实践的运行后，需要进一步优化系统结构以满足其进一步的业务发展，主要包括：
1. 如何提高综合营帐系统的运行性能，减少综合营帐运行负荷；
2. 如何提高系统查询和统计分析性能；如何满足地市个性化业务需求和业务二次开发
3. 如何提高综合营帐与外部系统之间的数据接口效率
4. 如何进一步利用综合营帐数据进行数据挖掘、分析业务发展规律、发现业务问题、进行业务二次开发等；
5. 如何为联通统一经营分析平台提供整合后的数据来源；
为此，江苏联通率先采用DSG SmartE架构用于优化其企业信息系统平台。通过该架构，将江苏联通的综合营帐系统和计费系统上的主要业务数据实时复制到DSG数据平台上，形成江苏联通“第二数据中心”，该数据中心主要承担了以下几类业务：
1. 提供VIP客户的快速业务管理功能，提供VIP客户的业务发展情况实时监控和VIP客户的优质客户服务；
2. 提供江苏联通帐务统计报表业务；
3. 提供江苏联通系统接口平台；
在建设了该架构后，江苏联通的营帐和计费系统的压力得到了合理的分担、提高了系统运行效率，减轻了不断对营帐和计费系统升级带来的投资负担，提高了江苏联通的系统部署灵活性。
DSG SmartE在满足江苏联通业务需求具有明显的特点：
1. 降低查询系统存储空间
提供选择性复制功能，所以对于查询系统而言，无需复制生产系统上的所有数据，从而减少查询系统的存储空间。
源系统上的数据库容量总共达到有几个TB，而需要复制到查询系统上的数据只有几十GB。这是采用磁盘镜像技术所不能达到的。
2. 满足电信级性能指标
在能够提供逻辑复制功能的工具中，SmartE针对电信级大业务量数据所设计的，因此在性能上完全满足江苏联通的需求。
3. 可提供优化的查询系统
源数据库系统和目的数据库系统的可异构，主要包括索引规则和存储参数（如数据块大小、回滚段等）。因此可以在查询数据库上根据业务特点进行调整和优化，完全不受源系统的限制。


山东联通容灾应用案例
客户背景：
中国联通的电信业务的重要支撑系统，肩负着各专业计费处理、营业/收费和客服后台支撑、结算处理、部分业务提供的后台支撑、企业辅助决策和管理数据支持等功能，其安全性直接关系到企业和客户的切身利益，也关系到中国联通的企业形象。实现计费营帐系统的容灾备份，这是市场竞争的需要，更是进一步提高服务水平和改善服务质量、提升业务支撑能力的重要技术手段。
震惊世界的“9.11”事件发生后，全世界都看到了金融、电信等行业用户在灾难中的巨大损失。这样，在灾难后如何快速、正确地恢复运营就成为摆在电信企业面前的一个难题。
为了防范地震、火灾、水灾等自然灾害、电力中断、以及人为破坏而导致系统遭到严重损坏、失效的异常情况，中国联通提出了对系统进行容灾备份的需求。
为此，联通公司决定在全国范围内进行综合电信业务支撑系统中容灾备份系统的建设，并且制定了相应的总体方案。通过容灾备份系统的建设，将为客户提供更加安全、可靠的服务。
山东联通也根据自身系统现状和发展需要，提出了容灾系统的建设要求,并进行了容灾一期工程的建设,对营业和账务所需的数据包括:用户基本资料、用户缴费信息、帐单信息进行了同步复制，实现了营帐数据级的容灾备份，保证了重要业务数据的安全性，同时还做了营业的业务系统容灾。对二次批价后的详单做了准实时的数据备份。根据山东联通的需求和有关现状、以及中国联通关于综合电信业务支撑系统建设的精神，提出了容灾备份系统二期的建设要求。本项目二期的建设对山东联通增强系统的高可用性、提高服务质量、增加业务量、提高市场竞争力有重要的作用，并将间接带来可观的经济效益和很好的社会效益。

系统建设目标
山东联通现有电信业务支撑系统已经建设的主要子系统有GSM专业计费子系统、CDMA专业计费子系统、193/17911融合计费子系统、短信专业计费子系统、综合营帐子系统、综合客服子系统和大客户子系统、缴费卡子系统、综合结算子系统、经营统计分析等子系统，以及即将建设客户关系管理系统、综合联机指令子系统、综合缴费子系统以及综合采集子系统。
随着山东联通业务的快速发展，用户量的急剧增加，支撑系统的各子系统在不断建设和完善过程中，如何在不影响业务的情况下，综合考虑，做到支撑系统应用级的容灾。
为此本期工程的目的是利用DSG RealSync软件提供重要业务系统的应用级容灾方案，包括：
ü GSM专业计费子系统的应用级容灾方案。
ü 缴费卡系统的容灾方案。
通过该容灾方案达到两个目的：
（1） 实现灾难的快速恢复和业务接管
本工程需要对缴费卡系统和GSM计费系统上的数据提供数据复制支持，提供容灾功能。计费系统在线系统保存5+1的数据，容灾系统上只要求保存2月（上月＋当前月）的数据用于容灾。
（2） 建设第二数据平台，用于数据查询和统计分析等功能。
与其他任何保险策略一样，对容灾系统而言，没有灾难出现时，我们根本无法意识到容灾系统所起到的作用，无法回收容灾系统建设所需的大量投资。当未出现灾难时，我们的容灾端系统总是处于空闲状态，花费大量投资买来的系统根本无法有效利用。这个问题一直困扰着用户。
因次采用RealSync复制技术，容灾站数据库系统始终处于打开状态，不同于磁盘镜像技术中的容灾数据库系统在进行数据复制是不可用的。在RealSync热容灾解决方案中，可以通过容灾系统为其它系统提供数据共享服务。
（3） 将第二数据平台用作测试平台。

系统组成
山东联通的计费系统包括GSM计费系统、CDMA计费系统、193/17911融合计费子系统和165专业计费系统。本期工程只针对GSM计费系统进行容灾建设和试点：
ü 系统名称：GSM计费系统
数据库：Oracle 9i
计费主机：HP N4000 8G内存 8CPU 2台； HP RP8400 20G内存 10CPU 2台；四台主机以负载分担方式负责全省的GSM集中计费,及各专业计费二次批价，四台主机各负责部分地市，
磁盘阵列：EMC8830
ü 缴费卡及大客户系统现状
数据库：Oracle 8i
大客户主机兼服务器：HP L2000 4G内存 4CPU 2台。
磁盘阵列： EMC8730
业务规模
ü 用户规模：
山东联通GSM用户到2004年低发展到650万户。
ü 业务量规模：
每个用户平均每天话单数10条，峰值每小时约处理一天话单总量的12%：
日处理话单数6500万条；高峰期的每分钟处理话单数130000条。
ü 数据量规模：
每用户话单在线保存2个月（上个月+当月），系统数据量为1.2TB左右。
ü 缴费卡系统：
缴费卡系统是山东联通综合营账支撑系统中的两个重要子系统。通过1001系统，用户可以7*24小时通过缴费卡系统进行缴费。缴费卡的数据安全是非常重要的，在容灾一期中没有对缴费卡的数据数据进行容灾保护。在容灾二期系统中，将会考虑对缴费卡系统数据进行容灾保护，缴费卡系统目前容量约为200G左右，

DSG解决方案
采用DSG RealSync实现山东联通缴费卡和计费系统容灾方案结构如下：
如上图所示：
采用DSG RealSync将缴费卡上的两个数据库中的4个用户复制到1个容灾系统上。并且该容灾系统同时作为测试平台。
将GSM计费系统上的2个RP8400和2个HP N4000上的4个数据库复制到1个容灾系统上。
ü 使用RealSync完成计费系统数据表复制功能；
ü 实现选择性复制，只复制那些需要容灾的数据，在本方案中就是1+1月的数据；
ü 实现容灾系统上的数据只保存1+1月数据的方案，在每月末，通过脚本定时执行的方式或人工操作的方式将前3个月的数据删除；
ü 实现容灾系统的数据查询功能，当数据复制过程中，容灾端数据也可以提供外部查询功能。


广西移动BOSS1.5之营业和客服数据库容灾应用
业务需求
将在白沙机房（BOSS1.5机房）新建一个基于SAN环境的计算机系统，有6个数据库(Oracle 9i RAC)，其中的2个数据库（一个是Oracle 9i RAC，两个节点，另外一个是双机互备模式）根据业务需要分别复制到应急数据库（Oracle 9i Single）的2个实例，因此需采购相应的复制软件进行数据库的复制。
本工程是对其中的营业数据库和客服数据库进行复制，复制到应急数据库。
数据库复制系统的建立应实现将营业库和客服库的数据变化分别复制到应急库，使得应急营业库和应急客服库的数据和生产系统的营业库及客户库的数据同步。并能在生产系统的营业库或者客户库有故障时，替代故障库，接管应用。当故障库修复以后，能及时将应急库中的数据同步到修复后的生产数据库。
方案设计
根据广西移动数据复制系统的业务需求，采用DSG RealSync软件实现数据复制：系统总体结构如下图所示：

ü 生产系统
广西移动BOSS 1.5系统中需要本期工程进行复制的业务类型主要包括三种：
客服：系统的数据量约为100GB
帐务：系统的数据量约为800GB
营业：系统的数据量约为500GB
客服数据库单独运行，运行在两台IBM P690服务器上，组成RAC环境；
帐务和营业两个业务运行在一个ORACLE DATABASE的两个USER上，运行在两台IBM P690服务器上，组成RAC环境；
在容灾系统上安装两个ORACEL INSTANCE，运行两个ORACEL DATABASE。分别对应生产系统的客服数据库和营业帐务数据库中的两个用户。
性能参考
ü 全同步
DSG RealSync提供了不停机的首次全同步功能，该功能支持数据库在正常业务时间不中断的情况下进行全同步。避免了采用存储拷贝方式进行全同步时必需要求的业务中断。
对于广西移动的数据量，两个用户数据量约为800GB，采用10个并发任务进行全同步，同步时间共计约5小时左右。
ü 日志分析速度
系统每天处理的日志量达到400GB左右.
ü CPU资源速度
源端日志分析CPU占用量为单个CPU的10%，高峰期可达到单个CPU的60%.
解决方案特点
容灾与其他任何保险策略一样，当没有灾难出现时，我们根本无法意识到容灾系统所起到的作用，无法回收容灾系统建设所需的大量投资。但从系统安全性角度考虑，我们又必须为关键的业务支撑系统建设最有效的灾难恢复解决方案。但是在大部分情况下，当未出现灾难时，我们的容灾端系统总是处于空闲状态，花费大量投资买来的系统根本无法有效利用。这个问题一直困扰着用户。
为此我们采用双active的结构，让容灾系统的数据库也处于OPEN状态，这样实际上广西移动就拥有了第二数据中心，而不仅仅是一个灾难备份系统，通过第二数据中心可以实现如下功能：
ü 核心业务的灾备平台
通过数据同步建立的第二数据中心可以实现对业务关键数据的容灾及保护，在不影响生产数据库性能的同时为生产数据库在本地或异地建立一份准实时镜像，以保证在生产数据库发生灾难时可使用容灾数据库进行业务接管和数据恢复。
ü 业务负载分担
第二数据中心的数据处于实时可读取状态，数据库处于OPEN状态，实现BOSS系统业务模块的重新部署。
通过第二数据中心实现对BOSS核心系统的业务模块进行负载分担，将那些只对数据进行读取操作的模块都迁移到第二数据中心上来，主要包括：
ü 地市统计报表
ü 地市业务查询
ü 提供其他系统的数据访问接口；
这样作将达到两个好处：
ü 提高数据访问的效率，提高外围系统部署的灵活性；
ü 提高核心系统的运行效率，提高核心系统运行的稳定和可靠性；