選型寶分享Informatica中國數據管理5大經典案例

寫在前面

5月18日,選型直播曾做過一期題爲“移動+社交時代,如何治理大數據洪水?”的節目,在那期節目中,Informatica北方區總經理李晨先生系統地介紹了Informatica公司的背景、大數據治理的完整框架,以及最新的“智能數據湖”解決方案。

節目播出後,大家反響非常熱烈,但又感覺意猶未盡。畢竟,關於數據的話題實在是太多,而一期節目的容量又非常有限。

爲了彌補大家的遺憾,我們這次又特意請來了Informatica大中國區的首席架構師但彬先生,和大家接着聊數據和數據管理的話題。

如果說上期節目是對數據治理的一次全景展示的話,那麼,這期節目但總將爲大家切一些近景,帶我們看看金融、教育、醫療、電力、航空等典型行業的典型用戶,他們是怎麼用數據管理工具激活企業數據價值的。

古人說:他山之石,可以攻玉。借鑑同行們的成功案例,是提高我們自身的數據治理水平的最簡單、最有效的方式。

下面,就讓我們一起來聽,選型寶首席架構師李維良與Informatica大中國區首席架構師但彬的精彩對話吧。

李維良(主持人)

在數據管理這個大概念下,有哪些細分領域?在每個細分領域中,Informatica又佈局了哪些產品?

但彬

我們常說IT(Information Technology信息技術),其中一半是I,也就是信息,尤其在今天,數據和信息變得越來越重要。從數據庫(Database)到數據倉庫(Data Warehouse)和數據挖掘,再到今天的大數據(Big Data)和數據治理,數據管理的概念一直在變化和延伸,而Informatica則一直是這一領域的辛勤耕耘者。

大家最初認識Informatica,大多是從Power Center和Power Exchange這樣的數據集成軟件開始的,認爲它只是一個ETL工具。而今天,經過近25年的不懈努力,Informatica已經建立起了從智能數據平臺到數據管理解決方案,從數據集成到數據質量管理、大數據管理、雲數據管理等的完整的數據管理框架和產品線。

我們的數據管理框架分爲三層。最下面是支撐層,稱爲 “ 智能數據平臺 ”。爲什麼這樣說呢?因爲其中應用了很多AI(人工智能)技術,比如數據模式識別,它會智能地區分出,哪些是客戶數據,哪些是交易數據。平臺層通過企業級統一元數據管理、人工智能、數據監控、管理與計算等功能,爲產品和解決方案提供統一的支撐。

在平臺層之上,是產品和解決方案。這其中,除了經典的數據集成、數據歸檔、數據質量管理、數據安全、主數據管理等,我們近年來又不斷推出了很多新的產品和解決方案,比如:企業信息目錄(EIC),以及面向數據交換的DIH(Data Integration Hub)、面向流式數據處理的IIS(Informatica Intelligent Streaming)等。再比如,數據湖和數據治理在幾年前還只是概念,現在也都被產品化了(IDL和Axon)。

李維良

您剛纔提到了主數據、元數據、大數據、ETL等,請您先爲大家普及一下這些基本概念。

但彬

在這幾個概念中,大數據(Big Data)可能是大家瞭解最多的,它的特徵可以用幾個V來概括:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)和Veracity(真實性)。對大數據來說,量大並不是難題,真正具有挑戰性的,是數據來源的多樣性和數據結構的複雜性。當然,大數據的挑戰,對我們來說,也是創新的機遇。

主數據和元數據是兩個容易混淆的概念。主數據(MD Master Data)通常是相對於交易數據而言的,它描述了交易數據中的各種主體,比如:客戶、商品等,而“某客戶在某個時間以某個價格買了某件商品”則是交易數據。主數據有時也被稱爲基準數據,只有主數據得到正確的維護,才能保證交易數據的正確性和完整性。

元數據(Metadata)是描述數據的數據(Data about Data),是數據及信息資源的描述性信息。比如,一張數據表中的字段名稱、字段長度和字段類型等定義數據結構的信息就是元數據。另外,業務術語也通常被納入元數據的範疇,比如:餘額、期末餘額、應收、應付賬款等。

另外一個理解主數據和元數據的方法,是藉助OO(Object Oriented 面向對象)的思想。元數據是一個類(Class),而主數據是一個對象(Object),它是類的一個實例。元數據是一種定義,比如“員工”,它沒有值;而主數據則是具體的員工,比如:張三、李四……

ETL是Extract-Transform-Load的縮寫,這三個詞的意思,分別是抽取、轉換和加載。但是,現在我們說起ETL,已經不再侷限於它原來的含義,而是包含了實時數據交互、增量數據發現等更多功能的ETL。今天,ETL基本可以看成是數據集成的代名詞。

李維良

做爲Informatica大中國區首席架構師,請您介紹一下,Informatica產品的技術架構是怎麼樣的?這樣的架構有什麼優勢?

但彬

Informatica一直是非常重視底層架構的。大家可以看一下這張“Power Center 技術架構圖”。這個架構不是現在纔有的,而是十幾年前就確立了的。當時,人們大多還在討論如何從傳統的面向過程編程轉向面向對象編程,而Informatica已經開始嘗試SOA(Service Oriented Architecture 面向服務的架構)了。

SOA架構的特點是服務化、鬆耦合。大家可以看到,Informatica的軟件中有很多服務(Service),比如:Power Center集成服務、數據質量服務、元數據服務等等,這些服務可以靈活部署和擴展,並集中共享Repository(一種元數據驅動的存儲庫)服務。

除了靈活、高效、健壯,這種架構的另一個優勢是平臺依賴性低,更適合跨平臺使用。比如,我想從Unix切換到Windows,就很容易平滑過渡。在今天的大數據時代,我們也可以很容易地過渡到Hadoop分佈式基礎架構。因此,技術架構先進,也是我們能在今天佔得先機的重要原因之一。

李維良

Informatica是一家有將近25年曆史的國際化公司,那麼,它是哪一年進入中國的?目前在中國的發展情況怎麼樣?

但彬

Informatica正式在中國設立公司是2005年,但在這之前,已經有很多中國企業通過代理等渠道獲得並使用Informatica的產品了。因此,Informatica在中國市場的滲透和發展,主要是靠用戶的需求和口碑帶動的。

今天,經過十多年的發展,Informatica的產品和服務已經覆蓋了國內的金融、電信、能源、商業零售、物流運輸、公共服務等各個行業和部門。我們的產品,也從Power Center這樣的單一工具,擴展到了包括數據質量管理、主數據管理、雲數據管理、大數據治理等在內的系列產品和解決方案。

李維良

數據集成是企業數據管理的基礎,您能否爲大家介紹一下數據集成的應用場景和成功案例?

但彬

數據集成的應用確實非常廣泛,比如數據倉庫和BI(商業智能),它們都會催生對數據集成的需求。數據集成的另一個應用方向,就是數據交換,在這裏,我想先舉一個清華大學的例子。

清華大學是中國的知名學府,經過多年建設,校園信息化應用已基本覆蓋了學校運行的各個方面。但是,由於在校園信息系統的建立過程中,缺乏頂層和統一的信息標準,致使信息流通不暢,數據不能共享,形成了一個個 “ 信息孤島 ” 和 “ 應用孤島 ”。

要解決這個問題,第一步就是要打通數據流通的渠道,就在這時,他們發現了Informatica的價值。首先,它可以實現各個系統之間的對接與溝通,能夠完成各種數據格式之間的轉換,而且,系統越是複雜多樣,越能體現出Informatica的優勢。

其次,清華大學很看重系統架構的靈活性和穩定性,他們希望各系統之間的數據訪問能通過Web Service來完成。正好,Informatica的SOA架構可以把數據和數據的訪問過程封裝成服務,併爲清華的校園系統提供底層的數據集成和數據交換支持,從而實現了真正的數字化校園。

還有一些企業或組織,是用Informatica的數據集成工具,完成了數據倉庫的升級轉型。這裏,我正好有一個南京市兒童醫院的案例。

南京市兒童醫院原先已經建成了包括HIS、LIS、PACS、移動護理、病案管理、財務管理、物流管理和手術麻醉等幾十個應用系統,這些異構系統間的數據非常分散,無法實現集中統一和標準化的管理。而且,緊耦合式的數據交互接口爲應用開發和後期維護帶來了很大困難,數據交換、信息共享的問題日益突出。

爲解決這些問題,醫院開始嘗試使用一些開源工具來實現數據的集成和交換,但隨着項目的深入,系統的性能和穩定性等問題慢慢凸顯了出來。

經過反思和比較,醫院最終選用了 Informatica的數據集成工具。利用Power Center和Power Exchange等軟件,他們提升數據倉庫系統,並基於數據倉庫,建成了醫院數據調用公共資源中心庫,從而實現了實時的數據交互和信息共享,乾淨、標準的數據,爲跨應用系統數據關聯分析打下紮實的基礎。

李維良

主數據是企業最核心的、最有價值的數據,針對主數據管理,請您爲大家介紹一些應用案例。

但彬

主數據管理也是這兩年很火的一個話題。如果說大數據能讓人心潮澎湃的話,那麼主數據則是一個能讓你冷靜下來思考的東西。一般來說,主數據不會像大數據那樣,直接爲企業帶來讓人眼前一亮的創新價值,但它所反映的問題,通常是和業務直接相關的,是企業數據真正的本質上的痛點。

關於主數據管理,我給大家介紹一個國泰航空的案例。國泰航空一直非常注重客戶數據的管理,並已經在數據集成、數據標準化、數據模型建設等方面取得了很多成果,但是他們發現,企業在主數據管理方面,還有待進一步加強。

國泰航空的客戶來源非常複雜,超過50%的客戶是非會員或線上預訂者,還有一些是來自非官方的旅遊獎勵計劃。客戶記錄是企業內部能夠跨業務、跨系統重複使用的高價值數據,但由於缺乏對應的制度、流程和系統支撐,導致各業務系統間主數據的不一致性日益明顯,無法給分析人員提供統一口徑的主數據信息和及時的差異比較。

爲解決這些問題,國泰航空引入了Informatica MDM主數據管理平臺,從而使企業的數據管理能力得到了全面的提升。Informatica MDM爲國泰航空建立了客戶統一視圖,確保了客戶記錄的完整性和唯一性。通過高效查詢和精準分析功能,業務人員能夠及時洞察客戶信息變化,實現個性化營銷和服務。主數據管理平臺還縮短了數據處理時間,節省了數據管理成本。

主數據管理的另一次成功應用,是幫助南方電網建成了數據資源管理平臺。Informatica MDM產品能夠用靈活的數據模型定義任何類型的主數據,允許南方電網快速、方便地進行二次開發,大大提升了工作效率。Informatica MDM 支持對數據模型、業務規則、安全和數據管理功能的完整配置,實現了對主數據整個生命週期的全面跟蹤管理,從而能夠幫助南方電網輕鬆適應不斷變化的業務需求。

李維良

數據安全是企業CIO最關注的問題之一,針對數據安全,Informatica有哪些技術、產品和應用案例?

但彬

最近有兩件事,大家可能還記憶猶新。一個是5月12日,WannaCry勒索軟件病毒大面積爆發,讓我們感到,安全威脅就在身邊。第二件事,是 6月1日起《中華人民共和國網絡安全法》開始正式實施。可以說,網絡安全和數據安全,從來沒有像今天這麼重要。

信息安全的範疇很大,而Informatica則主要專注于敏感信息、隱私信息的保護。在這個領域,我們的主要產品包括:TDM(Test Data Management 測試數據管理)、DDM(Dynamic Data Masking動態數據遮蔽/脫敏)、Secure@Source(數據安全智能)等。

關於數據脫敏,我可以給大家介紹一下大連銀行的應用案例。

做爲一家業務發展十分迅速的金融機構,大連銀行的業務系統積累了大量包含客戶賬戶等敏感信息的數據,這些數據在銀行的很多工作場景中都會用到,例如:業務分析、開發測試、審計監管,甚至一些外包業務等。如果這些數據發生泄露或損壞,不僅會給銀行帶來經濟上的損失,更會大大影響用戶對於銀行的信任度。

爲此,大連銀行通過採用Informatica的數據脫敏解決方案,幫助他們管理對敏感數據的訪問,建立了企業內部完善統一的脫敏機制與管理流程。通過創建可在內部和外部安全共享的真實但無法識別歸屬的數據,成功防止了信用卡卡號、電話號碼等個人或組織機構信息的意外泄露。

Informatica成熟的數據脫敏解決方案,滿足了大連銀行對易用性、可用性、高可擴展性以及高效率等方面的要求。我們的DDM等產品,能夠爲任意格式的敏感數據創建數據脫敏算法,包括替換、隨機化、順序、時滯和取消,並且數據處理加工的速度更快,效率更高,原始數據可直接在內存中計算,不侵入應用程序或數據庫,大大減輕了數據外泄的風險。

李維良

在雲時代,企業數據的分佈、數量等出現了很多新的變化,Informatica是如何應對這種變化的?

但彬

在雲時代,客戶數據問題確實變得更加複雜,但越是這樣,越需要Informatica這樣完整而專業的數據管理產品和解決方案。

積極擁抱雲時代,向雲端數據管理轉型,也是這兩年Informatica最重要的努力方向之一。目前,我們的產品已經可以全面支持雲端數據管理,併爲混合架構提供了成熟的解決方案,包括雲集成、雲安全、雲交互、雲主數據管理等等。

以CRM爲例,我們的產品可以既可以連接本地CRM系統中的數據,也可以輕鬆連接Salesforce這樣的雲平臺中的數據,從而屏蔽了底層的複雜性,使數據管理問題變得簡單。

憑藉我們在數據管理領域多年的積澱,Informatica很快就走在了雲數據管理的前列。大家可以關注一下Gartner發佈的iPaaS(Integration Platform as a Service 集成平臺即服務)魔力象限,Informatica是處在Leader位置的。

李維良

對企業來說,數據管理工具最核心的價值是什麼?

但彬

我們可以從兩個角度去思考這個問題,一是做減法,它爲我們解決了什麼問題?二是做加法,它爲我們帶來了什麼?

一方面,企業的數據越來越複雜,導致數據的使用成本越來越高,在這個日益高企的成本中,有很大一部分是隱性成本,比如人員工資等。而數據管理工具可以提高數據處理的效率,使複雜、繁瑣的問題變得簡單、快捷,從而將人解放了出來,也因此大幅降低了使用數據的成本。

另一方面,通過清理、匹配、優化、集成等一系列處理,數據管理工具使數據變得更一致、更有效,從而能夠爲業務提供更好的支撐,爲創新提供更好的支持。

降低數據獲取和使用的成本,提高數據價值的利用水平,是數據管理工具最核心的價值。

李維良

Informatica獲得了衆多中國用戶的信任,您認爲主要靠的是什麼?

但彬

我認爲,Informatica能獲得國內大量用戶的青睞,靠的是四大法寶:產品、技術、服務和夥伴。

Informatica與時俱進的產品和解決方案,覆蓋了數據管理的各個細分領域,它們具有良好的穩定性、可用性,靈活性,可從多個角度,幫助用戶激活數據價值。

在技術層面,我們有靈活、開放、極具前瞻性的基礎架構,有性能卓越的核心算法。在今天的IT新時代,我們又將機器學習、模式識別等人工智能技術融入到產品之中,以不斷創新的精神,努力滿足客戶日益複雜的數據管理需求。

在服務方面,我們建立了北京、上海和廣州三大服務中心,有一個強大的售後服務團隊,可通過電話、網站、微信等多種渠道,爲客戶提供7×24小時的服務支持。Informatica連續11年獲得客戶忠誠度第一的評價,這是非常了不起的。

第四個,也是最重要的因素,就是我們的合作伙伴。目前,我們在全國已經擁有了上百家合作伙伴,共同爲不同行業和需求的客戶提供有針對性的解決方案。同時、客戶是需求的提供者,是最瞭解數據業務的人羣,也是我們最好的合作伙伴。通過構建完整的生態體系,我們可以匯聚最專業的技術和人才,並形成最好的產品和解決方案。

李維良

對於那些有志於發掘企業數據價值的CIO們,您還有什麼好的建議?

但彬

依據我個人的經驗,我在這裏給大家提供三個原則性的建議:

第一:大處着眼、小處着手。我們首先要有全局觀,對企業數據管理的現時狀況和未來目標要做到心中有數。以此爲基礎,我們需要制定一個切實可行的計劃,將大的目標分解成階段性的任務,一步一步去解決、去完成。

第二:認清難度、長期規劃。在任何一個數據管理項目啓動之前,我們都需要對項目的難度、週期、預算等做出正確的預判,並根據預判,制定一個長期的規劃。很多數據管理項目的失敗,都是由於初期低估了難度和預算。

第三:既重展示,也重數據。我發現,有些客戶急於去做那些看得見的東西,比如華麗的報表,可是,仔細去看報表,數據卻是錯誤的。Informatica更側重底層數據的支撐,我們認爲,對任何一個業務支持系統來說,數據就是血液,只有源源不斷地提供健康血液,我們的信息系統、我們的企業才能保持旺盛的生命力。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章