阿里雲峯會 | 數據庫也能自動駕駛?DAS全天候給你保駕護航!

 

阿里雲峯會直播地址

2020年6月9日,“全速重構”2020阿里雲·線上峯會即將隆重召開。

在此次峯會上,阿里雲數據庫重磅發佈雲原生分佈式數據庫 PolarDB-X 、雲原生數據倉庫AnalyticDB、數據庫自治服務DAS、雲數據庫專屬集羣、圖數據庫GDB、雲數據庫Cassandra版、雲數據庫ClickHouse 7款跨時代產品,用技術傾情打造新數字時代的基石! 今天小編爲大家傾情呈現全球首個數據庫自動駕駛雲平臺DAS產品亮點!

過去10年,數據庫上雲儼然已成共識,雲數據庫相較於傳統線下數據庫,解決了資源、彈性、高可用、備份、監控等基本DB運維負擔。但如何用好數據庫,如何對數據庫進行快速診斷和持續優化,對一般應用開發者而言,依然充滿挑戰。

阿里雲基於阿里巴巴自身數據庫規模化運維的專家經驗,結合人工智能和機器學習技術,實現自感知、自診斷、自修復和自安全的數據庫自動駕駛能力,今天依託於阿里雲平臺,推出數據庫自治服務,正式向雲上客戶開放。

DAS是業界首次以獨立雲服務的方式實現數據庫自治能力,推出六大核心自治特性,覆蓋支持包括OLTP(RDS/PolarDB)、NoSQL(Redis/MongoDB)、OLTP(ADB)等各類數據庫引擎,並支持混合雲、SQL審計和風險識別等企業級數據庫運維特性,爲客戶數據庫的穩定安全提供全方位保駕護航。 基於數據驅動、專家經驗和機器學習,從異常發現、根因分析、執行修復/優化操作、跟蹤評估、反饋實現全流程閉環,無需人工干預,實現數據庫的自治,保障數據庫持續穩定、高效運行。

 

DAS 具備 6大核心自治特性

7 x 24實時異常檢測:通過機器學習算法,實時對數據庫的Workload進行異常檢測,相比基於閾值的告警方式,能夠更及時的發現數據庫的異常,而不是靠故障驅動;

異常自愈:DAS發現異常後,自動進行根因分析,定位到問題後,自動執行相關止損/修復/優化操作,幫助數據庫自動恢復,減少對企業業務的影響; 自動優化:基於全局workload和真實的業務場景,而不是基於單條SQL,持續的對數據庫進行SQL Review和優化,就像有一個不知疲倦的專業DBA一直在守護着您的數據庫;

智能調參:數據庫的參數成百上千,用戶的業務場景多種多樣,靠人肉的方式無法將參數調整爲最優的配置,DAS和達摩院合作,通過基於機器學習技術,和智能壓測相結合,可以爲每個數據庫實例的自動推薦最優的參數模版;

AutoScale:基於機器學習,自動對數據庫的業務模型、容量水位進行計算和預測,實現先知先覺式的自動擴縮容。

智能壓測:爲用戶提供個性化的壓測服務,DAS可以自動學習業務模型,自動生成無限多的接近真實業務的workload,同時提供給用戶更豐富的壓測場景,幫助用戶解決大促、數據庫選型等等問題。

和自動駕駛一樣,數據庫自治服務,也不是一蹴而就的,我們將數據庫的自治能力劃分爲5層:

  • Level-0:全部靠人肉,沒有任何工具/產品輔助

  • Level-1:提供基礎監控、告警等信息,不輸出任何建議;

  • Level-2:在某些場景下,能夠輸出診斷或者優化建議,但是建議是否採納和應用,還是由人來決策,例如SQL診斷引擎

  • Level-3:在某些場景下,實現完全的自治,無需人蔘與,例如自動SQL限流、自動彈性伸縮

  • Level-4:實現數據庫的完全自動駕駛,目前DAS正在努力做到Level-4的過程中。

爲了實現數據庫自治服務,我們已經實踐了6年。

從2014年開始,我們開始嘗試如何將DBA的經驗轉換成產品,爲業務開發提供更高效,更智能的數據庫服務。我們就構建了基於規則的SQL診斷引擎,即輸入一條或者多條SQL後,SQL診斷引擎會直接輸出優化建議;

2016年,CloudDBA的web版發佈,同時也升級了SQL診斷引擎,在這個階段用戶可以直接在阿里雲上通過C loudDBA直觀的查看數據庫的負載,同時進行SQL診斷和優化。

2018年我們通過在阿里巴巴的業務和場景,開始孵化和錘鍊數據庫自治能力,

通過Self-driving Database Platform,截止到2020年4月已經自動優化了4200萬+的SQL、自動回收了超過4 PB的空間、自動優化了 27 TB的內存。

2019年11月,爲了更好的服務客戶,我們將混合雲數據庫管理HDM+ CloudDBA+自治的能力,升級爲數據庫自治服務DAS。

 

DAS 在4個方面取得了核心創新和突破:

首個全局綜合自治引擎:基於根因分析以及實例全維度聚合信息,進行集中決策,衝突解決,專項自治場景決策分發,在多自治場景下實現綜合自治。

首個外置式Cost-based SQL診斷:基於代價的診斷引擎,一套獨立於數據庫之外的優化器,並以自適應的統計信息收集機制,基於執行計劃的代價評估,實現SQL精確診斷與優化建議輸出。

基於Workload全局SQL優化技術:以Workload負載爲優化單位,綜合考慮Workload中影響整體性能的特徵,如SQL執行消耗資源佔比、讀寫比等,進行整體優化,實現負載整體性能最大化提升同時,最大化降低空間消耗。

基於機器學習的Workload異常發現與預測:基於機器的Workload異常發現,自動感知引發Workload變化的異常SQL,自動觸發全局優化,變被動式優化爲即時主動式全局優化。

和達摩院的相關的研究成果,也取得了國際學術界的認可:

2018年,WWW《Unsupervised Anomaly Detection via Variational Auto-Encoder forSeasonal KPIs in Web Applications》 2019年,VLDB《iBTune: Individualized Buffer Tuning for Large-scale Cloud Databases》 2020年,VLDB《Diagnosing Root Causes of Intermittent Slow Queries in Large-ScaleCloud Databases》

通過DAS,可以幫助企業節省90%的數據庫管理成本,降低80%的運維風險,讓用戶可以更集中在業務創新,讓業務持續行駛在快車道上。

更多DAS產品性能盡在2020年6月9日阿里雲峯會數據庫新品發佈現場,我們不見不散! 預約觀看:

PS.關注公衆號,後臺回覆“峯會”即有機會免費獲得阿里雲數據庫定製太陽傘一把 詳細規則請參見: 2020年6月9號,我們準備幹一件大事

上雲就看雲棲號:更多雲資訊,上雲案例,最佳實踐,產品入門,訪問:https://yqh.aliyun.com/

本文爲阿里雲原創內容,未經允許不得轉載。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章