想構建Cloud Lakehouse,你的數據管理基礎夠堅實嗎?

 

作者:Jitesh Ghai

Informatica高級副總裁兼數據管理總經理

您如何看待最近的熱門話題——Cloud Lakehouse?在我腦海中,湖邊小屋讓我聯想到和平與安寧的畫面:景色秀美的湖泊旁矗立着一棟美麗的小屋。在技術世界裏,Cloud Lakehouse也有類似的烏托邦願景。然而,如果沒有堅實的雲原生數據管理基礎,您的烏托邦可能會因爲不穩定、不可信、不乾淨的數據而成爲泡影。

 

 

什麼是Cloud Lakehouse?

 

Cloud Lakehouse是一種看待雲數據的新方式,其中包含數據湖和數據倉庫的最佳特徵。Cloud Lakehouse具有各種管理區域,可以輕鬆地把數據從數據湖中移動到數據倉庫,爲更多的用戶提供可信的數據。

儘管Cloud Lakehouse是新出現的事物,但數據倉庫和數據湖已經存在多年。數據倉庫設計用於存儲、更新和檢索高度結構化的數據和管理的數據,主要用於業務分析和決策。數據湖旨在以較低的成本存儲大量數據——無論是結構化還是非結構化,其主要用於探索性分析和數據科學。

Cloud Lakehouse雖然青出於藍,但仍然面臨着和它的前輩們一樣的挑戰:需要企業級的數據集成、數據質量和元數據管理來幫助其發揮最大價值。

 

爲什麼從雲數據倉庫和數據湖中獲取價值如此困難?

 

如今,越來越多的公司構建新的雲數據倉庫或數據湖,或者對其本地部署的數據倉庫或數據湖進行整合和現代化,以運行在雲上。

問題是,許多組織都難以從雲數據倉庫和數據湖投資中很快的看到價值和投資回報。這是爲什麼?因爲數據。根據TDWI的調查,大多數組織認爲阻礙其雲數據倉庫和數據湖取得成功的主要障礙是缺乏足夠的數據集成、數據質量和元數據管理。

聽上去似曾相識,這與我們10多年來在本地部署的數據倉庫和數據湖世界中所看到(並解決)的問題一樣。那我們如何才能避免在雲計算中犯同樣的錯誤,進行同樣的戰鬥呢?

三種常見的數據管理錯誤

首先,讓我們退後一步思考,爲什麼企業無法從雲分析中獲得最大化價值?有三個特別突出的原因。

 

採用手工編碼解決數據集成、數據質量和元數據管理問題。手工編碼可能在簡單應用中還能應付,但它會變得越來越複雜,尤其在企業級規模應用和可維護性方面無法滿足數據管理最佳實踐的要求。而且,當基礎技術堆棧改變時,原來手工寫的代碼無法重複使用。如果需要更改或升級技術、平臺或處理引擎,則必須重新設計並重新編碼。這是昂貴且費時的,並且會妨礙快速進行創新的能力,從而增加了項目取得長期成功的風險。

 

通過集成多個單點產品來實現端到端的數據管理。使用非集成的多個產品會增加複雜性和成本。可能需要10個以上的單點產品來實現端到端的數據管理。將這些彼此脫節的產品捆綁在一起,意味着將捲入不斷的DIY模式,因爲需要處理不斷變化的路線圖、成本和時間超支,最重要的是會帶來不一致的數據治理和降低數據質量。這就是由不同供應商所提供的不同產品造成的系統集成噩夢。

 

依賴雲計算公司提供的有限解決方案,僅提供最基本的數據集成和數據接入能力。儘管PaaS或IaaS供應商提供的產品都是針對雲計算設計的,但它們往往同時具有上述兩方面的缺點。它們通常只提供最基本的數據集成和數據接入能力,通過手工編碼進行開發,並且提供的是僅能在它們自己平臺上擴展的功能。而現代企業的雲數據管理必須擺脫單一的PaaS供應商限制,擴展到多雲的策略和部署模式。

現代企業需要的是:一個可以解決所有這些問題的領先的、獨立的Cloud Lakehouse數據管理解決方案

 

Informatica Cloud Lakehouse數據管理解決方案

 

Informatica Cloud Lakehouse數據管理是業內唯一針對Lakehouse、數據倉庫和數據湖的企業級、雲原生、端到端數據管理解決方案。

Informatica Cloud Lakehouse數據管理解決方案構建在行業領先的企業級iPaaSInformatica Intelligent Cloud Services (IICS)之上,結合了Informatica先進的數據集成、數據質量和元數據管理能力。

雲原生的解決方案擁有強大的自動化和先進的元數據驅動的人工智能功能。解決了當今企業面臨的諸多複雜的數據管理挑戰。有了它,就可以:

 

■消除使用手工編碼和功能有限的單點解決方案進行數據管理的風險;

■確保數據的乾淨、標準、可信和安全;

■在整個企業環境實現智能化、自動化、端到端的可見性和數據沿襲;

■快速高效地構建數據管道,滿足雲數據倉庫和數據湖的需要;

■實現雲解決方案能提供的所有優勢:可伸縮性、敏捷性、最少的安裝和設置、自動升級、高可用性和高安全性;

■加速實現數據湖和數據倉庫向雲上遷移,快速獲得投資回報;

■在不斷變化的基礎分析堆棧技術裏(還記得本地部署的倉庫、Hadoop、大數據、Spark和轉向雲端嗎?),爲未來的數據分析計劃提供保障。

藉助Informatica Cloud Lakehouse數據管理解決方案,就可以釋放蘊藏於雲數據倉庫、數據湖和Cloud Lakehouse裏的強大力量,甚至還可以在異構的多雲、混合雲環境中使用。現在,只要擁有了堅實的Cloud Lakehouse數據管理基礎,就能夠成功地實現重要的業務轉型,盡情地享受美好的烏托邦。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章