數據庫春風得意,一文看盡花落何方

2020年,新冠疫情既帶給我們傷痛和教訓,也帶給我們很多啓迪和機會。

毫無疑問,疫情加速了企業與整個社會的數字化,數據作爲一種資產,逐漸成爲至關重要的生產要素。連帶數字化科技普遍看漲,包括微軟、蘋果、亞馬遜、谷歌、英偉達等美國7家大科技公司市值一年增長了3.4萬億美元。

管理數據資產離不開數據庫,甚至可以說每個應用都需要數據庫。數據庫也已經從傳統的關係型數據庫,發展出十幾種新的類型,如關係、非關係(文檔/鍵值/寬列/圖)、地理空間、時間序列及其他數據模型等,滿足用戶越來越多的應用需求。

一篇文章寫不完數據庫的未來,但是循着2020年以及過往數據庫的發展脈絡,中國軟件網想抓住2021年甚至更遠未來數據庫發展的幾個方向,與我們的用戶、讀者一起贏。

01

向雲轉移趨勢加快

數據庫向雲轉移的大趨勢勢不可擋,在2021年的表現就更加強勁。

第一,超過一半的數據庫應用將被部署或遷移到雲平臺。

數據庫本地部署還是上雲託管,以前對大多數用戶而言,都是一個大問題,這麼關鍵的數據資產放到雲上,是否會安全呢?雲能保證數據庫實時運營嗎?

事實證明,雲上的數據庫託管不但安全,而且用戶應用的成本大大降低。

2020年12月2日,AWS就宣稱使用AWS數據庫遷移服務(DMS)將30多萬個數據庫遷移到了其雲平臺上。Amazon DMS早在2016年推出,使亞馬遜的客戶可以將傳統的關係數據庫、非關係數據庫和數據倉庫輕鬆地遷移到其雲基礎架構上,同時避免停機。

在過去幾年,成千上萬的客戶包括三星電子、道瓊斯等已使用AWS數據庫遷移服務遷移了數據庫。

雲服務商自己也身先士卒。2009年,阿里巴巴用開源的MySQL替代了Oracle。2010年,阿里巴巴又基於MySQL着手打造開源數據庫AliSQL,並對淘寶商品庫進行改造。2012年,AliSQL支撐了首個“雙11”。2013年,已經家喻戶曉的淘寶下線最後一個Oracle數據庫

早在2019年,AWS就將其消費者業務近7500個Oracle數據庫遷移到了多個AWS數據庫服務,涉及超過75 PB的內部數據。

2020年10月,Gartner發佈的報告稱,到2022年,所有數據庫中的75%將被部署或遷移到雲平臺,只有5%被考慮返回到本地部署環境。到2023年,雲數據庫管理系統的收入將佔DBMS市場收入總額的50%。

中國軟件網認爲,2021年,在國內超過一半的數據庫應用將被部署或遷移到雲平臺。

第二,將數據庫應用遷移到雲上,其優勢不斷得到強化。

Amazon DMS總經理Dan Neault曾在一篇博文中表示,客戶改用亞馬遜的替代雲託管數據庫,獲得諸多好處,比如降低資金和運營成本,提高可擴展性,以及享用按需付費的商業模式,僅針對使用的服務向客戶收費等。

正如前文所說,AWS將存儲在近7500個Oracle數據庫中的75 PB內部數據遷移到多項AWS數據庫服務,仔細分析了成本和性能,並得出如下的結論:

降低成本。基於AWS的應用規模以及所享受的折扣率,將數據庫成本降低了60%以上。從Oracle切換到AWS可使週期客戶報告的成本節省90%。

提升性能。面向消費者的應用程序延遲降低40%。

管理簡化。切換到託管服務可將數據庫管理支出減少70%。

三星電子將三大洲的逾11億用戶從Oracle數據庫遷移到了Amazon Aurora,數據庫成本降低了44%。益百利將其消費者平臺從Microsoft SQL Server遷移到了Amazon DynamoDB,將之前的整體式架構改造成了基於微服務的架構。因此,處理數據最多增加75%,並將服務器的部署時間從60天至90天縮減至數小時。

第三,雲數據庫成爲數據庫應用增長最快的領域。

Gartner DBMS市場數據表明,2020年DBMS的市場總收入爲554億美元,其中170億美元來自雲DBMS產品,佔DBMS市場總額的31%。在DBMS收入增長的76億美元總額中,雲DBMS這個部分貢獻了60億美元,佔DBMS總收入增長的70%。

雲收入在DBMS總收入中佔比增加,用戶對本地產品的興趣不斷下降。AWS就宣稱,數據庫服務是其業務增長最快的領域。

Forrester的研究發現,自動化、性能和安全性是數據庫雲服務三個關鍵的差異化因素。AWS、Oracle、MongoDB、微軟和谷歌是這個市場的領導者;Redis Labs、阿里雲、SAP和IBM是強勁表現者;騰訊、EnterpriseDB和Rackspace是競爭者。

02

我家的數據庫“雲原生”了嗎?

參加數據庫應用的大會,幾乎沒有不談雲原生數據庫。2021的發展趨勢是雲原生數據庫實力越來越大,用戶不得不考慮,“我家的數據庫雲原生了嗎?”

第一,雲原生數據庫發展迅猛。

數據庫上雲是將傳統的數據庫搬遷到雲上,在雲上進行託管,形成搬遷式的雲數據庫,保留了傳統數據庫的問題,有可能不適合於雲環境的發展。

雲原生數據庫是一種通過雲平臺構建、部署並交付給用戶的服務。與其他類型的數據庫相比,它最大的不同是完全基於雲環境構建。隨着雲原生數據和海量計算的重要性不斷提高,企業比以往任何時候都更加重視部署此類服務,爲企業提供增強的可靠性和可伸縮性。

圖片來源:信通院

信通院領導制定了雲原生數據庫標準。標準分爲基礎能力要求、平臺可觀測能力要求、資源管理能力要求、服務可用性、數據可靠性、安全性、按需付費能力及數據庫性能八大方面。

目前已有阿里雲、華爲、騰訊雲三家廠商通過雲原生數據庫的首批評估。

第二,雲原生數據庫的核心是存儲與計算分離。

相關專家認爲,雲原生數據庫的核心是存儲與計算分離,同時還必須具備高性能、高可擴展、一致性、符合標準、容錯、易於管理和多雲支持等特性。

從數據庫用戶的角度來說,計算和存儲分離架構可以使得計算和存儲獨立伸縮,需要存儲時添加存儲,需要計算時增加計算,雲計算中存儲和計算獨立計費的模式,可以彈性滿足用戶的需求。

同時,使用同樣的計算環境下擁有更優的查詢響應時間,並支持高併發,得到更好的用戶體驗。

阿里雲李飛飛曾經表示,“傳統數據庫會像馬車一樣被淘汰。” 而在雲生態發展下,雲原生數據庫已成爲不可逆的趨勢之一。在規模化帶來的邊際成本下降即雲原生帶來的技術紅利以及經濟紅利,向雲原生技術演進的趨勢是自然發生並非常清晰的,不論用公共雲還是專有云私有化部署,都一樣。

03

Serverless數據庫青出於藍而勝於藍

從開發者角度而言,雲原生是一種最大化享受雲計算紅利的技術理念,包括但不限於彈性伸縮、按量付費、開放標準、Serverless化等能力,將推動軟件重塑生命週期。在支持Serverless化等能力方面,數據庫應用走到前面。

第一,推出Serverless數據庫服務的企業不斷增加。

2018年,Amazon Aurora Serverless v1問世,目前已被成千上萬的客戶用做高效益的數據庫選項,以應對低流量、間歇性或不可預知流量(如測試和開發工作負載)的應用需求。2020年12月,Amazon Aurora Serverless v2推出。

2020年12 月 20 日,騰訊雲重磅發佈了自研雲原生數據庫 TDSQL-C Serverless (原 CynosDB Serverless),這是國內首款計算和存儲全Serverless 架構的雲原生MySQL。

此前,2020年4月,騰訊雲正式發佈了國內首個基於Serverless技術開發的新型數據庫“PostgreSQL for Serverless”,其具備完全自動化的擴容能力,能夠最快1秒完成部署,讓成本降低達70%。

阿里云云原生Lindorm重點打造Serverless能力:用戶可以通過API定義對數據庫資源的要求,包括可用性、延遲、一致性、部署位置等,並且不再需要爲不確定的業務流量去評估存儲、請求等資源,完全收斂精力到業務的開發,加速數據應用創新,體現雲計算的按需使用、極致彈性。

第二,Serverless數據庫服務性能越來越好。

Amazon Aurora Serverless v1可在5到50秒內擴展數據庫容量,在需要時每次將容量翻倍,且由於它是無服務器的,客戶也無需操心數據庫容量管理。

升級版本Amazon Aurora Serverless v2能夠在不到一秒鐘的時間內將數據庫工作負載擴展到數十萬個事務。它能精細化調整容量,而不是每次需要擴展工作負荷時都將容量翻倍,從而爲滿足應用程序需求提供合適的數據庫資源。

藉助Amazon Aurora Serverless v2,客戶只需爲使用的容量付費,與按高峯負載而配置的容量成本相比,可以節省多達90%的數據庫成本。

Serverless具備完全自動化的無感擴容能力,能夠隨着用戶業務的請求數的增加和減少,智能化“膨脹”和“縮小”,實現資源的自動“吞吐”。從此以後,開發者可以真正的完成 Serverless 架構應用的開發,專注於業務本身,免除運維,按需付費。

專家認爲,實現真正的數據庫Serverless能力的核心關鍵是隔離和調度,前者需要解決共享資源下的穩定性問題,確保租戶之間不會產生影響;後者需要解決資源的按需供應和高效利用,確保集羣負載均衡,並能根據業務流量快速彈性伸縮。

04

開源數據庫種類和性能雙提升

數據庫市場一方面傳統的商業數據庫系統就幾個老面孔,增高乏力,排名靠前依然是Oracle、SQL Sever、DB2、Microsoft Access這幾個。

另一方面,開源數據庫數量逐漸增多,種類增加,應用擴大,與商業數據庫幾乎平分天下。

因此,開源數據庫因倡導羣策羣力、免費應用而日益壯大。根據DB-Engines相關統計數據,目前商用數據庫與開源數據庫所佔的市場份額日漸趨近對半分的成度,分別接近50%的份額。

第一,開源數據庫市場增大,商用數據庫市場萎縮

IDC預計到2021年,年產值296億美元的商業數據庫市場會收縮20%至30%,原因是並認爲Oracle無法足夠快地從傳統的商業數據庫轉向基於雲的訂購產品實現轉型。

市場發展顯示,數據庫服務逐漸遷移到SaaS,大多數產品使用免費開源數據庫。

社交媒體、物聯網和非結構化/半結構化數據等快速的增長,這些使用場合不適合SQL標準。衆多的免費開放源代碼選項日益穩定、功能日益強大,其中大多數選項是“Not Only SQL”(NoSQL),因此極其適合上述使用場合。

專家認爲,由於摩爾定律帶來了處理器、內存、固態存儲和網絡吞吐量等方面的改進,同時提升快速處理NoSQL使用場合和SQL使用場合的能力,並逐漸使純SQL數據庫淪爲邊緣化。

第二,開源數據庫企業上市增多,創造更多高市值神話。

紮根數據服務領域,衆多數據庫新派企業,在開源自己的產品同時,不斷通過商業運營,發展壯大自己。

MongoDB是支持現代商業應用程序的最流行的NoSQL數據庫之一。MongoDB的文檔式的數據庫產品長期位列NoSQL數據庫第一。2017年10 月 20 日,MongoDB 在納斯達克上市。2020年12月市值達到163億美元。

MongoDB於2016推出了MongoDB的雲版本——Atlas。Atlas的產品可以跨多個雲平臺,可在AWS、谷歌雲平臺和微軟Azure上運行,給客戶帶來了更多的便利和好處,提供了更多的選擇,支持衆多使用場景。

雲數據庫服務供應商Redis Labs是一家專注於內存數據庫的公司。和傳統開源數據庫公司一樣,它針對普通用戶提供免費的服務,但會對企業用戶進行收費。相比同行,公司提供的數據庫解決方案的處理速度要更加快,因爲它能在服務器的內存裏直接對數據庫進行操作。

Redis Labs的DBaaS繼續擴大產品種類,以支持新的使用場景。Redis Cloud Essentials在衆多雲平臺(包括AWS、谷歌雲平臺、IBM SoftLayer和微軟Azure)上提供全面管理、Serverless和託管的Redis Enterprises數據庫即服務。企業使用Redis支持實時分析、大批量事務、社交應用、操作型報告和移動應用。

EnterpriseDB是第一家在雲端提供PostgreSQL數據庫的供應商。自2012年發佈第一個版本以來,它顯著改進了服務,更易於支持龐大複雜的數據庫部署環境。如今,EnterpriseDB的雲端DBaaS for PostgreSQL包括AWS和Azure雲平臺上的配置和管理。藉助EnterpriseDB,所有設置、維護、備份和監控都通過一個簡單易用、基於Web的圖形界面來進行。

相信不久將來,Redis Labs和EnterpriseDB在IPO時都會創造高估值。

05

國產數據庫持續增長步入“好用”階段

《2019網信自主創新調研報告》就認爲,經過多年發展,國產數據庫除部分引入商用授權外,大多擁有自主知識產權,在技術、專利、標準等方面實現了可控、可供應、可持續發展的能力,供應鏈相對安全。

國產數據庫已經逐步從“可用”步入“好用”階段。目前,我國數據庫核心關鍵技術水平與國外基本相當,部分數據庫產品的性能和安全指標達到甚至超過國外同類產品。

第一,國產數據庫市場在國內市場份額不斷擴大。

根據IDC數據,2019年中國關係型數據庫軟件市場規模爲13.4億美元。其中,傳統部署模式市場規模爲7.9億美元,公有云模式市場規模爲5.5億美元,整體市場同比增長30.8%。IDC預測,到2024年,中國關係型數據庫軟件市場規模將達到38.2億美元,未來5年整體市場年複合增長率(CAGR)爲23.3%。

在雲數據庫服務市場,阿里巴巴集團(含螞蟻金服數據庫業務收入)以48.1%的市場份額排名第一;騰訊以20.4%的市場份額排名第二,2019年騰訊加快數據庫服務產品化的速度,連續發佈多款新產品;AWS以10.4%的市場份額排名第三;Oracle、華爲、微軟分別以7.0%、3.0%、2.5%的市場份額位列第四到第六位。

在中國關係型數據庫軟件市場中,傳統部署模式廠商國際廠商仍占主導地位,Oracle、Microsoft、SAP、IBM分別佔據市場第一到第四的位置,超過超過一半的市場份額。

華爲、阿里巴巴集團,以及傳統數據庫廠商南大通用(Gbase)和人大金倉(Kingbase)排在其後,佔據近40%市場。

隨着國內雲廠商技術能力不斷提升,數據庫等核心技術的國產化也取得重大突破,對本土客戶的需求將會有更好的適應和匹配,數據庫國產化成爲行業發展的必然。

第二,國產數據庫產品不斷豐富。

在Gartner公佈2020年度全球數據庫魔力象限中,國內廠商阿里、騰訊、華爲入圍。其中,阿里雲,作爲中國科技公司代表,首次挺進全球數據庫第一陣營——領導者(LEADERS)象限,這也是中國數據庫40年來首次進入全球頂級數據庫行列。

各種國產數據庫百花齊放,並且應用到各行各業,很多核心繫統都開始切換到國產數據庫,如PolarDB、TiDB、達夢等等,國產數據庫必將全面崛起。

數據庫產品對穩定性、安全性、實時性等指標尤爲關注,國內數據庫在這些特性上接近甚至超越國外同類產品。

阿里雲數據庫在國際 TPC-C 性能測評達到 6000 萬 tpmC 以上。達夢、神通、優炫等企業先後通過數據庫安全分級評估 EAL4+ 認證。

第三.國產數據庫應用場景不斷擴大。

專家介紹,國產數據庫的發展一般會經過互聯網企業、民生政務、傳統行業應用、金融核心業務這幾個階段的打磨,其中金融行業對數據庫要求最爲苛刻,不僅數據容錯度低,而且還要符合信息安全等級規範。

在金融場景中,目前騰訊雲數據庫已在平安銀行信用卡A+新核心系統、人保財險系統、張家港農商行的核心繫統中落地應用。

在剛剛過去2020年的“雙11”,阿里雲的雲原生數據庫PolarDB和雲原生數據倉庫AnalyticDB首次在阿里巴巴大規模應用,PolarDB刷新處理峯值新紀錄,TPS高達1.4億,比去年提升60%;AnalyticDB處理了7.7萬億行實時數據。

數據庫技術突破的最大動力,一是開源,二是雲計算。相信在開源和雲計算的加持下,數據庫技術與應用進步對突飛猛進。而對於用戶而言,最重要的是不要選錯了路線。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章