主流大數據廠商激烈角逐湖倉一體新架構，華爲雲引領技術潮流

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"2021年上半年，湖倉一體儼然已經成爲大數據領域最火熱的流行詞，各大雲廠商推出自己的湖倉一體產品，在衆多產品中，企業如何找到符合自身需求的數據管理產品？"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"近日，國際權威分析機構弗若斯特沙利文 Frost & Sullivan（以下簡稱“沙利文”）發佈了《2020 年中國數據管理解決方案市場報告》，對中國主流大數據廠商從產品創新能力、成長能力、基礎能力三個維度進行了全面評估。華爲雲憑藉 FusionInsight 的持續創新位居中國數據管理解決方案領導者，並在中國大數據廠商中全面領先。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"image","attrs":{"src":"https:\/\/static001.geekbang.org\/wechat\/images\/53\/53168c0638d1b0c4d8dab051f090d277.jpeg","alt":null,"title":null,"style":null,"href":null,"fromPaste":false,"pastePass":false}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"沙利文用 Frost Radar（弗若斯特雷達）清晰明瞭地展示中國數據管理解決方案市場態勢。橫座標代表“創新指數”，體現服務豐富度和產品調優能力；縱座標代表“成長指數”，衡量產品功能和性能的競爭力，色深代表“基礎指數”，體現大數據平臺基礎能力。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"華爲雲位居右上角的領導者區間，三項指標均領先國內其他大數據廠商，其主打解決方案華爲雲 FusionInsight 智能數據湖是獲得沙利文認可的關鍵。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"報告還指出，預計到 2024 年，中國大數據硬件市場規模爲 111 億美元，中國大數據軟件市場規模爲 162.3 億美元，中國大數據整體市場規模即爲兩者之和——273.3 億美元，即將到來的百億級美元市場，考驗着數據管理廠商的能力邊界。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"大數據管理：不僅要存得好更要用得好"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在行業發展的不同階段，數據管理解決方案所要面臨的主要矛盾截然不同，此前數據管理解決方案的重點分別是數據的數量、種類和速度，現階段企業對數據管理解決方案的需求，逐漸聚焦於數據如何支撐重要決策，並不斷促使數據管理解決方案走向湖倉一體，提升企業的數據價值創造力。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"數據倉庫與數據湖是企業經常會使用到的兩種數據管理解決方案，數據倉庫到數據湖的演進並不是替代關係，數據倉庫誕生較早，借鑑了數據庫的數據理念，通過預先定義 schema，將結構化數據清洗提煉，提供數據服務和管理能力。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"數據湖則誕生於半結構化、非結構化數據的海量增長背景之下，以原始形態存儲數據並且逐漸發展數據處理能力，成爲可以運行不同類型的大數據工具，對數據進行大數據處理、實時分析和機器學習等操作的統一數據管理平臺。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在面對愈發複雜的大數據場景時，數據倉庫與數據湖各自的弊端顯現，也就有了湖倉一體產品的誕生，相較於單一使用數據湖或數據倉庫，湖倉一體將兩者的優勢兼容幷蓄。湖倉一體的數據管理解決方案具備事務支持、數據的模型化和數據治理、BI 支持、存算分離、靈活開放、支持多種數據類型、支持各種工作負載、端到端流等特性，此外，數據的安全和訪問控制也十分重要，契合雲計算時代企業的業務模型。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"華爲雲 FusionInsight 智能數據湖爲政企客戶提供“湖倉一體”的解決方案，提供 MRS 雲原生數據湖、GaussDB(DWS) 雲數據倉庫、DGC 數據湖治理中心、GES 圖引擎、DLI 數據湖探索等雲服務，用於離線分析、實時分析、數倉集市、交互查詢、實時檢索、多模分析、數據接入治理、圖計算等海量數據分析場景，實現政企客戶一企一湖、一城一湖的業務模式。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"湖倉一體、雲化部署已是大數據主流趨勢"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"大數據平臺的發展歷史就是一部企業探索數據價值的歷史，當業務發展與現有技術產生矛盾，總會有新的技術浮現，Spark、Flink、Hudi、ClickHouse、HetuEngine 等等技術盡皆如此，大數據平臺不斷查漏補缺，最終由單點式的工具演變爲全棧式的系統。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"傳統數據管理解決方案一般部署在通用服務器之上，近年來數據倉庫和數據湖的整體上雲趨勢愈演愈烈，美國市場還誕生出一些備受關注的獨角獸企業，而在中國市場，雲化部署也成爲數據管理解決方案的大趨勢。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"沙利文報告提出，大數據雲化部署方案將成爲主流。在存算分離理念的基礎上，雲化服務完美應對了彈性擴展、功能迭代、成本控制等需求，在資源需求差異化的場景中實現資源的合理配置。同時，按客戶業務需要，彈性發放的雲化服務顯著節約了使用等待時間。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"華爲雲得以進入領導者區間，很大程度上也是因爲其覆蓋數據全生命週期的全棧式數據管理能力，由採、存、算、管、用的全面雲化，再到湖倉一體的一站式融合分析，FusionInsight 智能數據湖提供的湖倉一體架構，幫助客戶構建一企一湖、一城一湖。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"華爲雲 FusionInsight 湖倉一體架構提供靈活的多樣性算力和存算分離方案，符合當下的企業需求。MRS 雲原生數據湖實現了一個架構可構建邏輯、實時、離線 3 種數據湖，HetuEngine 提供跨湖、跨倉、跨雲的協同分析，Hudi 支持 ACID 數據實時增量入湖，提供 ClickHouse 毫秒級 OLAP 分析、Flink 批流合一等實時處理能力，離線數據湖擁有交互式、BI、AI 等多個計算引擎，一個平臺實現海量數據多場景分析。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"GaussDB(DWS) 雲數據倉庫同時具備分析及混合負載能力，具有高性能、高擴展、高可用等特點，廣泛應用於汽車、製造、零售、互聯網、金融、政府、電信等行業核心分析決策系統。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"DGC 數據湖治理中心是一站式數據開發集成管理平臺，包含數據架構、標準規範、數據開發、數據質量等功能，支持 40+ 異構數據源、全拖拽開發，效率提升 3 倍，助力企業快速構建從數據接入到分析的 E2E 數據治理體系，統一數據標準，加速數據資產沉澱。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"GES 圖引擎是中國首個商用的、擁有自主知識產權的原生圖產品，具備多項自主專利。針對以關係爲基礎的圖結構數據，應用於社交 APP、關係分析、物流配送、知識圖譜等場景。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"數據湖探索 DLI 提供 Serverless 的融合處理分析服務，企業使用標準 SQL、Spark、Flink 就可輕鬆完成多數據源的聯合計算分析，挖掘和探索數據價值。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"數據兌現價值，FusionInsight 深入核心業務場景"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"伴隨數據管理解決方案的底層設施逐漸成熟，技術升級和服務應用場景拓展的加速及深化，數據管理解決方案行業應用逐漸向各領域的核心業務延伸，數據管理解決方案產品與應用場景融合加深。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"華爲雲 FusionInsight 智能數據湖深入各行業客戶需求，已經規模商用湖倉一體創新技術方案，以數據驅動各行業業務增長。據瞭解，華爲雲 FusionInsight 客戶覆蓋全球 60 多個國家 3000 多家客戶，覆蓋政府、金融、運營商、電力、傳媒、醫療、教育、交通、油氣、物流、零售、製造等行業。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在"},{"type":"text","marks":[{"type":"strong"}],"text":"政務"},{"type":"text","text":"領域，在政務數字化參與部委、各省市智慧城市、數字城市建設。在某市，華爲雲 FusionInsight 聯合夥伴建成“一雲二網三平臺”，針對民生、產業、政府的“痛點”和“難點”，從構建城市數據資源庫爲開端，以大數據分析支撐政府智慧決策，在 “數聚惠民”、“數聚興業”、“數聚善政”三大方面，支撐 “一號、一窗、一網” 政務服務，讓簡政放權、百姓辦業務“最多跑一次”成爲現實。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在"},{"type":"text","marks":[{"type":"strong"}],"text":"金融"},{"type":"text","text":"領域，華爲雲 FusionInsight在工商銀行、建設銀行、招商銀行等銀行、證券、保險行業廣泛應用。在某行使用華爲雲 FusionInsight 構建大數據基礎平臺，支撐了一湖兩庫建設，保障銀行 BI、AI、數據挖掘、數據分析等日常數據分析，實現全行即時 BI，加速銀行數字化轉型進程。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在"},{"type":"text","marks":[{"type":"strong"}],"text":"運營商"},{"type":"text","text":"領域，已覆蓋國內三大運營商以及海外運營商客戶。其中廣東移動基於華爲雲 FusionInsight，聯合政企客戶共同打造智慧電網、智慧港口、高清視頻等系列標杆應用，打通數據全生命週期鏈路，實現對內業務支撐、對外應用賦能，全面支撐了各類政務、民生等大數據應用服務。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"面向大企業客戶，覆蓋"},{"type":"text","marks":[{"type":"strong"}],"text":"能源、交通、製造"},{"type":"text","text":"等行業客戶大數據平臺建設。其中深圳地鐵採用華爲城軌雲解決方案，利用雲計算、大數據、5G、人工智能等技術核心，建立了統一、開放、智能的城軌數字平臺，利用華爲雲 FusionInsight MRS 雲原生數據湖能力構建深圳地鐵大數據分析平臺，在智慧車站、智慧運維方面，對新技術與地鐵場景進行創新融合，推進了車站業務全日自動運行、線上線下一體化客服、設備主動檢測、健康管理等應用，探索數字化、高效化的新業務模式，爲城市提供更優質的公共交通服務。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"寫在最後"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"隨着 IoT、AI 等新技術的大量應用，未來 4 年裏數據量將激增 4 倍，到 35 年呈 50 倍增長。在政企數字化轉型的過程中，湖倉一體將是政企客戶實現一企一湖、一城一湖的最佳選擇，使得業務洞見更準，數據價值兌現更快。華爲雲等廠商所倡導的湖倉一體，將持續引領2021年大數據領域技術創新潮流，讓我們拭目以待。"}]}]}