DTCC 年度最佳創新產品丨真正的 HTAP 數據庫是怎樣煉成的? 本屆 DTCC 以“架構革新 高效可控”爲主題,您對此有何理解?請結合這些年數據庫技術架構的演變,談談您對這個主題的見解。

12 月 21 日,在第十一屆中國數據庫技術大會(DTCC)2020 數據風雲獎評選活動中,PingCAP-TiDB 榮獲 2020 年度最佳創新產品獎。同時,PingCAP 數據庫內核研發工程師韋萬受邀在數據庫內核專場進行了《使用 TiDB 列存引擎進行實時數據分析》的主題演講。

由 PingCAP 創立的分佈式關係型數據庫 TiDB,爲企業關鍵業務打造,具備「分佈式強一致性事務、在線彈性水平擴展、故障自恢復的高可用、跨數據中心多活」等企業級核心特性,幫助企業最大化發揮數據價值,充分釋放企業增長空間。

2020 年 5 月, TiDB 推出 4.0 版本,作爲 TiDB「新一代雲原生分佈式數據庫」道路上的重要里程碑,TiDB 4.0 在提供良好的交易處理能力前提下,創新性地引入了基於 Raft 算法的 HTAP 架構解決方案。這套架構設計成功地解決了以往困擾 HTAP 架構的隔離性,一致性和性能之間的矛盾,以此爲基礎的論文《TiDB: A Raft-based HTAP Database》被國際頂級數據庫會議 VLDB 2020 收錄,標誌着該架構得到了全球學術界的認可。

韋萬 | PingCAP 數據庫內核研發工程師

在數據庫內核專場上,PingCAP 數據庫內核研發工程師韋萬分享了 TiDB 新版發佈的專爲實時分析場景設計的 TiFlash 的系統架構設計和技術特點以及案例分享。TiFlash 擁有匹配行存的實時更新數據能力,可以作爲可隨意拔插的列存鏡像實時同步在線數據。配合 TiDB 優化器的智能選擇功能,不但可以讓用戶實時查詢在線交易數據,而不必擔心影響業務穩定,也可以當做查詢加速器,爲 TiDB 分析場景提速,使得整個體系同時擁有行存和列存的性能優勢。

演講結束後,韋萬還受邀接受了 IT168 編輯高博的採訪,以下爲內容分享:

很高興有機會採訪到您,請您簡單介紹下自己以及負責和關注的領域?

我叫韋萬,來自 PingCAP,是一名數據庫內核研發工程師。目前主要負責 TiDB 的實時分析方向存儲側的研發工作,關注數據庫、高性能計算和分佈式系統等技術方向。

數據庫內核研發在大家看來似乎是份很神祕的工作,內核工程師每天的工作內容有哪些?一名合格的內核工程師都有哪些門檻和要求?

其實工作內容和其它程序員沒有太大區別,涉及技術調研,需求分析,編碼實現,測試調優等各個方面。由於是做基礎軟件的,我們重視產品功能的競爭力的同時,對質量更加註重。比如我們的方案評審相對更嚴格,新功能和 bug fix 方案,需要確保其它同學,包括社區成員都能充分理解。要達到這個程度,需要研發人員提供詳實的數據,以及完整的決策鏈路,充分聽取其它人的建議,最終說服大家,達成一致纔會動手去做。這看起來費時費力,但卻可以讓產品的設計保持在一個正確的路徑上。

如果你是一名希望進入這個行業的新人,那麼紮實的 CS 基礎,以及對數據庫的熱愛,足以讓你在數據庫研發領域起步。TiDB 作爲一個流行的數據庫開源項目,有豐富的技術資源和活躍的社區,並且有很多適合新手的任務幫助你快速成長。

本屆 DTCC 以“架構革新 高效可控”爲主題,您對此有何理解?請結合這些年數據庫技術架構的演變,談談您對這個主題的見解。

我們現在處於一個快速革新的時代,一個技術升級的時代。從單機到分佈式,從本地到雲端,從穩態到敏態等等。它對傳統數據庫廠商和新勢力來說都是巨大的機遇,未來的贏家一定是把握住了這次技術升級的紅利。

目前 TiDB 在國內外互聯網頭部公司得到廣泛的應用,造就了成熟的產品和領先的應用場景,頂級的開源社區吸引了全球的研發人才,在這個基礎上相信會誕生領先的數據庫產品。隨着企業數字化轉型的不斷升級,事實上現在已經到了一個拐點,中國數據庫廠商將迎來新一波的高速發展機遇。

TiDB 作爲貴司的主打產品,近來都進行了哪些產品的升級迭代和技術的創新?這些升級能夠對用戶業務的提升有哪些積極意義?

所有的需求最終一定是來自用戶需求的。TiDB 的策略是和社區和用戶緊密結合,共同成長,從而獲得更高的加速度。

引入 TiFlash 增強 OLAP 能力,讓 TiDB 成爲真正的 HTAP 數據庫;我們支持了悲觀鎖,優化高頻事務衝突的場景;優化分佈式事務的二階段提交降低延遲,並支持 Clustered Index,讓 TiDB 更能勝任金融場景的苛刻要求;支持雲上 DBaaS 模式,讓 TiDB 在雲上使用成本降到最低。未來,隨着 TiDB 的生態持續擴大,它的迭代速度會更快。

您本次 DTCC 的演講題目是《使用 TiDB 列存引擎進行實時數據分析》,通過該議題分享能夠給聽衆帶來哪些啓發和思考?TiFlash 作爲 TiDB 新版發佈的高性能列存引擎,其產品主要特點和優勢有哪些?

通過合理的設計,我們可以擴展單個數據庫的邊界。TiDB 通過引入 TiFlash,擁有了和其它分析型數據庫一樣甚至更強大的 OLAP 能力,即同時擁有了金融核心級別的 OLTP 能力和對實時數據進行快速分析的 OLAP 能力。同時 OLTP 和 OLAP 又能保證隔離效果,互不影響。用戶可以大大的簡化他們的技術棧,這樣的體驗對於業務開發者來說是非常友好的,並且可以降低企業的成本。

縱觀全球數據庫市場,您認爲目前國內數據庫市場和國際市場相比存在哪些差異化?相比之下國內數據庫產品有哪些優勢,又有哪些需要借鑑之處?

我認爲國內企業對於數據庫的要求,已經普遍比國際市場更高了。在中國頭部的金融與互聯網用戶的業務場景中,產生了海量規模的數據,最高的 TPS 需求,最低的延遲要求,最複雜的場景錘鍊,以及配上較差的付費習慣,活脫脫一個 Hell 模式。在這種環境下走出來的產品,必定已經包含了成爲世界級數據庫產品的基因。

在產品策略上,作爲國內的同業者作爲數據庫領域的追趕者,可以更關注如何利用新場景、新技術、新平臺的機遇。Snowflake 就是一個非常好的學習對象,它利用雲平臺的優勢,重新定義了了數據庫倉庫的商業模式。

請您做一下簡單的預測,您認爲未來數據庫市場將會發生怎樣的轉變,未來數據庫平臺的發展趨勢是怎樣的?

  • 雲原生是大趨勢,擁有云基因,充分利用雲基礎設施的數據庫將贏得未來
  • 開源將成爲基礎軟件包括數據庫的重要甚至主要的產品形態
  • 垂直領域數據庫將長期存在並越發繁榮,直到新技術的出現,將它們統一起來

貴司在今年 11 月份剛剛完成 2.7 億美元的 D 輪融資,並表示本輪融資將用於分佈式數據庫關鍵核心技術的研發,未來對通用分佈式數據庫 TiDB 有哪些升級規劃?

我們會進一步強化 TiDB 產品,擴大性能和穩定性的領先優勢,把覆蓋範圍內的功能點做透;會持續進行架構升級,以更好支撐本地以及雲上兩種部署模式;讓 TiDB 變得更易理解,更易使用,能穩定支持更多場景。

中國數據庫技術大會到今年已經是第十一屆了,對於這次大會,您又有哪些期待呢?

最近幾年是中國數據庫技術快速發展的幾年。業界誕生了不少優秀項目和人才,我非常期待能和他們交流學習,希望能看到更多幹貨技術分析。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章