雲數據庫時代:企業數據架構的雲化智能重構和變革(含大會PPT)

在2018年11月16日舉行的『數據技術嘉年華』大會上,我對行業近期的觀察和思考做了一個總結,在此和大家分享

我以爲,近代數據庫技術的發展可以劃分爲三個階段,分別是:

  1. 商業數據庫時代:以Oracle、DB2、Sybase、SQL Server 等產品爲代表,開創了一個企業級軟件時代
  2. 開源數據庫時代:以MySQL、PostgreSQL、MongoDB、Redis 等產品爲代表,推動了互聯網時代
  3. 雲數據庫時代:以Oracle的自治數據庫、AWS 的 Aurora、阿里雲的PolarDB等產品爲代表,開創了雲時代
  • 商業數據庫時代,發展出一批偉大的產品和公司,Oracle 是其中的代表,至今仍以 2000億美元 的市值巍峨屹立,這個時代的商業數據庫成就了一系列龐大的企業級軟件,ERP、CRM 等領域都有相當體量的企業存在,這個時代也是企業級軟件的時代,微軟 和 IBM 都有卓越的數據庫產品,曾經是一個三足鼎立的數據庫時代漸漸被 Oracle 一枝獨秀.
  • 開源數據庫時代,呈現百花齊放的生態,支撐和成就了互聯網時代,然而這些開源數據庫產品本身並未獲得應有的價值回報,近期很多開源數據庫都在調整其開源協議,尤其是面對雲的時代變革。歷數開源時代的代表 ,MySQL 以10億美金賣身SUN公司,輾轉落入Oracle的囊中,大數據的標誌 Cloudera 和 Hortonworks 合併也僅僅 50億左右的市值,MongoDB 市值 40億美元左右,Elastic 市值 25億左右,這些數據庫產品似乎還不及『微軟以262 億美元全現金收購的LinkedIn』,這個時代是互聯網的時代
  • 雲數據庫時代,數據庫則成爲了雲內核的一部分、一個組件,甚至不復單獨存在,Amazon 提供 Redshift 和 Aurora 等多種數據庫產品,阿里雲有 PolarDB 等多種數據庫,在這個時代雲纔是永恆的主角,數據庫漸漸沉澱在底層,依託雲的價值,AWS、微軟、Google、阿里巴巴 成爲了雲時代的主角。

數據庫領域經歷了分分合合,再次呈現出百花齊放的局面,這讓我想起《易經》的一句『見羣龍無首,吉』,唯有百花齊放,才見活力,企業也纔有了選擇上的自由

誠然,大時代風起雲涌,但是如果落地到企業級,我們認爲用戶的核心訴求仍然是不變的,雲和恩墨從創業開始,就在企業手冊中描述了這樣一個認知,無論對於數據庫還是IT架構,用戶的核心訴求安全、連續、高效 和 智能 不曾改變。所以我的主題演講用了八個字:穩築基石,雲帆萬里。只有打好基礎,才能雲途高遠,否則一切都只是空中樓閣,遇到真正的危機就可能轟然倒塌。

就企業的核心數據而言

  • 安全:安全是基石,尤其是雲時代的數據安全,沒有數據安全甚至就沒有企業生存,歐盟在2018年5月25日生效了 GDPR 法案,對於安全做出了嚴格的要求,對違反者做出2000萬歐元或企業全球年營業額4%的重量級處罰。在國內,今年漢庭的嚴重數據泄露已經將近2億用戶的信息泄露;
  • 連續:永續運行是雲時代和互聯網時代的核心訴求,無連續就無發展,傳統企業也漸漸的走上了24x7不間斷服務的道路上來,數據庫的連續運行只是其中的一環;
  • 高效:性能是支持業務高速增長,獲得競爭力的關鍵,是成本和效率的核心。
  • 智能:智慧智能是未來科技的必然發展方向,是企業競爭的制高點,是產品和技術演進的終極目標,信息技術的各個環節都在走向智能化。

就數據庫而言,Oracle 數據庫在不同版本中,同樣是圍繞這四個維度在不斷的改進產品,以下是幾個例證。

在 Oracle 12.2 中,針對由來已久的索引分裂問題,Oracle 做出了優化提升,尤其是在 RAC 集羣中,通過消息改進、算法優化,極大的降低了索引分裂的競爭,圖中可以看到 12.2 在索引分裂時幾乎保持事務率的穩定增長:

爲了提升性能,Oracle 在擴展性方面不斷做出改進,在 12.2 引入 Sharding 技術之後,18c 進一步實現了 Sharded RAC 的新特性,可以將單一數據庫中的表數據根據條件分片到不同實例的內存中,透明路由訪問應用,減少了跨實例的交互,實現了近乎線性的擴展能力,測試曲線中,5個節點能夠實現 4.6倍的性能,解決了 RAC 人工分片或分散訪問的複雜性。

在多租戶的特性中,12.2 和 18c 分別實現了 Container Map 和 動態 Container Map 的特性,事實上可以通過 MAP 映射將不同的表分區放置在獨立的 PDB 當中,形成了一個 PDB Sharding 。

爲了保證業務連續性和容災,Oracle 的 Data Guard 技術一直在演進,爲了加速主備切換,12.2 中實現了切換過程的連接保持,18c 實現了切換過程中的內存保持,這兩個小的改變都能夠極大的減少切換時間,確保業務連續性的實現:

在 19c 中,Oracle 進一步完善實現了 Data Guard 的自動 DML 轉發,在偶爾發現到備庫的 DML 時,自動轉發到主庫執行,傳遞日誌到備庫應用,實現備庫的透明化,讀寫分離更加靈活。

Oracle 18c 自治數據庫,其實也是 Oracle 的雲數據庫,基於雲的環境,自治才得以靈活的實現,自動供應環境、自動安全保護、自動擴展、自動更新等。Oracle 正在全力的將其核心產品轉移到雲上來。

如前所訴,今天數據庫的競爭已經轉移到了雲上來,而云時代的數據庫更多的是依託前兩個時代的技術積累,繼承其一致性、可用性,增強其分佈式、彈性伸縮、安全能力,應雲而生、爲雲而生,誰能夠在雲上掌握話語權,誰才能夠在未來的雲時代掌握數據先機

聊完了雲上,我們再看看雲下,其實在很多企業的工作日常中,基礎運維工作還處在比較初級的狀態,很多工作仍然需要依賴人肉手工作坊式進行工作。如何從手工運維快速迭代,進入 自動運維 和 AIOps ,是現階段工作的主要核心。

固然企業級應用和互聯網有着一定的差異性,但是隨着雲時代的快速發展,我們認爲企業級系統建設應當着眼於雲模式進行,以雲理念建設企業環境

雲和恩墨雲時代的願景就是,緊緊圍繞數據,幫助和促進用戶實現從 應用到數據庫、基礎設施的安全、連續、高效、智能的雲化環境。

雲和恩墨致力於在 基礎設施、數據庫和應用三個層面,圍繞數據核心,展開產品創新:

  • 基礎設施 層:雲和恩墨可以爲用戶提供基於雲時代的分佈式存儲一體機 zData,以低成本、高性能,爲雲時代數據環境加速,zData 可以作爲存儲資源池,實現彈性伸縮,作爲IaaS層設施構建企業級數據庫私有云,支持Oracle 、MySQL等多種數據庫。
  • 數據庫 層:隨着越來越多的數據庫被引入到企業應用環境中(今天的一款企業級CRM就可能使用3種以上的數據庫),傳統的數據環境粗放式建設和管理模式應該改變,數據庫底層部署時代應該演進到平臺納管部署時代,通過 PaaS 層平臺自助、自動式進行數據庫的部署和維護,實現企業級RDS服務提供,由此才能解決數據環境不斷複雜化的挑戰。以前系統建設是先安裝數據庫,再向上尋求管理監控,通過zCloud的多數據庫支持,可以實現自上而下的統一部署和監控管理的企業RDS
  • 應用 層,業務總是通過 SQL 來訪問數據,控制住 SQL 性能也就控制住了系統的性能和穩定性,我們可以想象,以前DBA面對一個數據庫時就曾經四處救火焦頭爛額,如果在雲時代面臨 5~10 種數據庫將會是什麼局面?我們必須改變線上優化排障的局面。雲和恩墨的 SQM (SQL 性能管理)平臺致力於在前端發現和解決SQL性能問題,通過自動化和智能化實現性能管控也就規避了線上救火。SQM 也已經在雲上提供了 SaaS 服務。

雲和恩墨的 SQM 產品,在支持 Oracle、MySQL 的基礎之上,進一步擴展支持了 DB2 數據庫 正式發佈,除了基於規則的審覈之外,2019年發佈版本將支持智能的SQL優化建議,智能算法支持從10多個維度的詳盡分析:

雲和恩墨的 zCLoud 產品,將多數據庫納管於統一的雲管平臺,改變了原來的底層人工分散部署模式,通過平臺的自動化部署和納管,實現雲化數據庫管理模式,甚至可以爲企業提供內部RDS服務:

zCLoud 在自動部署的功能之後,實現了高可用容災自動部署,即可以支持 RAC 集羣、DataGuard 部署,又可以支持 MySQL 集羣主備環境的部署,將原本複雜低效的低層次工作完全自動化:

有了容災和高可用環境,還要有可視化管理,近期雲和恩墨幫助某銀行客戶實現了自動化的數據庫容災切換可視化,一鍵切換,自動檢測:

統一的納管之後,就可以輕鬆實現多數據庫的統一監控和性能管理,zCloud 的理念是用同一個界面、同一套步驟實現異構數據庫的統一化管理:

雲和恩墨zCloud的監控可以獨立剝離出來,通過 Bethune 提供給用戶,將 性能監控、智能巡檢建議和安全掃描融於一體,特別適合中小規模的企業客戶,Bethune 經過精心打磨,『漂亮的不像實力派』,徹底替代人力繁重的巡檢等工作。歡迎大家瞭解測試:

雲和恩墨的 zData 一體機已經經過了長達5年的客戶實踐考驗,以零故障率獲得了客戶的信賴和認同。在傳統的標準版之後,今天特別發佈了 3節點融合版、2節點精簡版,可以讓小規模數據庫以低廉的價格體驗到硬件加速帶來的卓越體驗。

本次大會,雲和恩墨的備份一體機正式發佈,ZDBM 以 0 數據損失的技術,爲用戶實現5~10倍的存儲縮減,而且可以通過備份一體機即時提供和生產一致的測試環境,讓備份和測試『雙網合一』:

在中國移動某省公司,雲和恩墨已經通過創新的技術爲用戶打造了完整的數據庫雲平臺,通過 zData 資源池,用戶的統計、結算、電渠和計費數據庫已經徹底資源池雲化,通過多租戶的數據庫架構實現了雲數據庫部署,通過 zCloud 雲管實現了多數據庫的統一管理。

無論是互聯網時代還是雲時代,數據始終是用戶的核心,雲和恩墨致力於通過底層的基礎架構加速、中層的PaaS數據庫雲平臺納管、頂層的SQL審覈管理,爲企業數據環境提供雲時代的端到端解決方案。

面向雲時代,雲和恩墨的產品也在走向雲化和免費化,雲和恩墨的SQL審覈、Bethune 智能巡檢、MySQL 一體機 都已經免費提供,歡迎大家體驗垂詢。

在雲數據庫時代,我們更加堅信:數據驅動,成就未來!雲和恩墨,不負所托!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章