基於 AWS 的一站式分佈式數據庫測試體系,簡單易上手|TiDB Hackathon 2020 優秀項目分享

近日,由 TiDB 社區主辦,專屬於全球開發者與技術愛好者的頂級挑戰賽事——TiDB Hackathon 2020 比賽圓滿落幕。今年是 TiDB Hackathon 第四次舉辦,參賽隊伍規模創歷屆之最,共有 45 支來自全球各地的隊伍報名,首次實現全球聯動。經過 2 天時間的極限挑戰, 大賽湧現出不少令人激動的項目。爲了讓更多朋友瞭解這些參賽團隊背後的故事, 我們將開啓 TiDB Hackathon 2020 優秀項目分享系列。

基於 AWS 的一站式分佈式數據庫測試體系,簡單易上手

Ti-Improve 作爲截止報名前 1 小時才臨時組建的團隊,4 位同學周強、方祝和、趙一霖、李德竹分別在北京、上海、杭州三地,在本屆 TiDB Hackathon 中他們遠程協作,在 24 小時內克服困難,藉助 AWS 的全套設施,搭建一站式分佈式數據庫測試的基本框架,最終極大地減少測試成本,擴大測試的多樣性。最終這個項目獲得華創資本 — 最具市場潛力獎。

華創資本企業軟件投資負責人謝佳對 Ti-Improve 團隊高度讚賞,他認爲, Ti-Improve 團隊的項目,不僅在技術實現上提升了整體工程效率 ,同時在 TiDB 生態中也具備很強的商業潛力。藉此契機,我們邀請謝佳與 Ti-Improve 團隊的四位同學一起進行訪談,通過投資人與程序員的思維碰撞,探尋更多 Ti-Improve 的 TiDB Hackathon 2020 精彩之旅。

Q:Ti-Improve 的組隊過程是怎樣的?這個隊名的由來有什麼故事?

**Ti-Improve :**我們團隊是臨時組成的,在截止報名前 1 小時纔有了項目的想法並且找到另外三位同學組成了戰隊,由於時間太着急,我們就沿用了去年的隊伍名稱,也就是 Ti-Improve 。

在團隊裏周強主要負責測試基礎設施,方祝和是 TiFlash 的核心開發、趙一霖是 TiCDC 的核心人員、李德竹是 HTAP 的開發人員。在本次 Hackathon 報名時間截止的前 1 小時,各種機緣巧合下才臨時組隊,最終完成了自認爲超過預期的項目。

Q:可以分享下做這個項目最初的靈感和契機是什麼嗎?

**Ti-Improve :**TiDB 本身設計就是雲原生的,也希望在雲上能夠有比較好的運行,這也是後續重點發展的方向。因此,我們就想能不能在 hackathon 上做一個在雲上很方便導入導出數據,彈性的測試體系相關的項目。

通過一些簡單的調研我們認爲這個事情是可以做的,最終定下來希望把 AWS 中足夠多的組件完全組合,比如 lambda 和 cloudformation 及 cloudwatch,再加上 pipeline ,成爲一個特別強大的平臺,我們可以隨時隨地做各種各樣的測試,比如說把錯誤注入如 Chaos Mesh,Fuzzing 等等把所有東西都能很有機的組合起來。

基於 AWS 的一站式分佈式數據庫測試體系,簡單易上手

我們也有一直做測試基礎設施的同學,在做測試平臺的實際過程中也會遇到各類問題,調研了 AWS 的這些組件,發現這些組件已經能很好的解決比如調試、編排、可觀測性問題,是可以直接看到背後的效果。其實 TiDB 也一直面臨着一個問題,我們雖然一直盡全力保證測試的案例足夠多、足夠廣,但實際上,很難將整個 TiDB 質量的全景圖全部展示出來。除了開發、測試外,我們還可以做 serverless TiDB,甚至做一些的其他的東西,比如與數據湖對接起來等。

基於 AWS 的一站式分佈式數據庫測試體系,簡單易上手

其實 Hackathon 結束之後,我們團隊的小夥伴也在一起研究,後續還可以用 AWS 的基礎設施做什麼,我們也發現了另四五個新的東西,後續可以在 TiDB 上嘗試與結合。我們最初的想法是考慮是否其可以全部在 AWS 上一步到位,我們自己不需要花太多精力去開發,從而使得整個開發、測試迭代更快。

Q:本次 Hackathon 共有 14 位評委,作爲機構評委對 Ti-Improve 一直情有獨鍾,可以分享一下最喜歡這個團隊哪一點,團隊在比賽過程中給您留下什麼深刻印象?

**華創資本謝佳:**這次 Hackathon 主要是線上協作,Ti-Improve 的 idea 本身就很吸引我。從我的角度來看,希望能儘量找到一些與另外 13 位技術評委們不同的角度,我想表達的是,有巧妙商業價值角度的創新也是一種 hacking,可能 Ti-Improve 不是最有技術難度的項目,但這個 idea 背後的商業意義我很認可。

我認爲非常寶貴的一點是在於它提升了customer adoption 的潤滑度。比方說, AWS 上的客戶想要使用 TiDB 產品,他們如何儘快的完成可用性測試,這個過程如果有可能儘量減少客戶所花的時間和摩擦的話,將非常有利於客戶把TiDB產品順利使用起來,而 Ti-Improve 就是這樣一個工具。其次,Ti-Improve 的技術特點也很好的實踐了 Cloud Native 的理念,Cloud Native 的 customer experience 就應該是能夠把公有云上的各種能力充分的調度協同起來。

Q:在這次比賽過程中,團隊有遇到過什麼比較大的技術困難?是如何解決的?

**Ti-Improve :**我們所有人都沒有想到的一個問題是在這次 Hackathon 中遇到最大的攔路虎是 AWS 的權限系統,由於 AWS 的權限系統非常複雜且龐大,是完全出乎意料的。與此同時,我們沒有操作自己賬號的權限,每操作一步就會碰到兩到三個權限問題,需要逐一去解決權限問題,效率非常低。因此我們就去找相關負責人開通權限還碰到負責人請假,直到週六(活動當天)11點才徹底解決權限問題。這其實是我們遇到的最大問題,雖然不算技術問題,但是卻在這個上面浪費了很長時間。

Q:從機構評委的角度看,爲什麼會選中這個項目?這個獲獎項目的技術和現實意義是什麼?

**華創資本謝佳:**這次我們一共有 40 多個項目,其實作爲投資機構評委我選擇起來是非常糾結的,因爲很多項目我都非常喜歡,但最終只能選出一個項目,所以特別糾結。因此,我當時是把喜歡的項目分成三類價值,每一類下再按商業價值、技術難度、商業迫切性、提案准備完成度等綜合考慮進行排序:

一、在 TiDB 生態中有機會獨立產品化、商業化的項目;

二、幫助 TiDB 在底層的穩定性和其它性能各方面有提升,對 TiDB 底層核心能力有長遠意義的項目;

三、對 TiDB 商業化 adoption 有加速、優化作用的項目;

Ti-Improve 項目完全使用 AWS 的基礎設施來進行 TiDB 的測試,我覺得屬於第三類中很典型的,不僅解決了具體的技術問題,同時也十分具有商業價值。

Q:由於今年的 Hackathon 時間只有 24 個小時,Ti-Improve 還是在週五的晚上才組隊成功,在這個過程中你們覺得會有什麼遺憾嗎?如果時間能更充裕的話還有哪些地方是可以提升的?

**Ti-Improve :**我覺得如果時間充足的化,對我們來說有以下幾個點是可以提升的:

1)整個系統的體系可以搭建的更完善一些,Hackathon 屬於喫螃蟹類型,相當於是給後面的測試體系的架構開了一條路,如果有更多的時間來完善的話,希望整個流程和細節能夠更好的擴展和完善;

2)在 PPT 和 Demo 展示上可以做的更好,如果一開始能夠很快把前面的路走通的話,展示的 PPT 的和 Talk 能夠有更多的時間準備可以做得更好;

3)應該有更多的時間去做調研,甚至應該結合特別多的東西到整個測試體系平臺,由於時間的問題我們其實當天都還在讀很多文檔,熟悉該如何使用,在初賽的時候看到有隊伍對我們最後的 Demo 有期待,但是由於時間因素,最後只跑了一個基本的流程,沒有做到更靈活、更炫,希望有更多的時間能把這個東西做得功能更全一點,更有想象力一點,這是最大的遺憾。

Q:Ti-Improve 這次獲得了華創資本的最具市場潛力獎,謝佳老師對這個項目未來有什麼展望與期待?

**華創資本謝佳:**剛剛說到遺憾,感覺應該有點 Rock Music,笑~

對 Ti-Improve 的期待方面,我覺得順着這個思路,確實可以做的事情還是蠻多的。期待看到 Ti-Improve 這個項目能更細化。另一方面,我理解 PingCAP 接下來很重要的一步是在主流的公有云 AWS 和 Google Cloud 等平臺上能夠有更好的用戶場景和更好的客戶案例出來。所以,我也期待 Ti-Improve 能夠順着它的思路把更多類似的功能完善形成體系,能夠實際到客戶那邊用起來。

Q:Ti-Improve 對自己這個項目有什麼未來的規劃或者是期望嗎?

**Ti-Improve :**此前由於人力問題,有些基礎測試設施是沒有達到我們期待的,因此對於這次 Hackathon ,我們希望能夠利用 AWS 把這部分短板完全補齊,從而節省的人力成本可以把更多事情做好。對於測試與測試體系方面,我們認爲測試是非常重要的,作爲一款非常硬核的基礎軟件,穩定性絕對是最重要的沒有之一的。

我們很期待這個事情以後能夠真正的在公司裏跑起來,對我們內部來說不僅極大的提高了效率,雲上的測試也給我們提供了另外的新思路,以後都可以在雲上去做測試,讓人很期待。

Q:作爲軟件工程專業出身的投資人,並且對企業服務領域的投資很資深,謝佳老師是如何看待 Hackathon 這類活動的?

**華創資本謝佳:**我之前參加過一些非技術性的此類活動,但基本是想一個商業模式或者 idea,最後進行演講展示,而不是最終可以 Run 起來的程序。所以決賽時候看到參賽選手們 Demo 的實際效果,我覺是非常有感染力和衝擊力的。Hackathon 本身是一個偏即興創造的過程,這種創新的發生是自底向上的,我非常喜歡這種自發性的創新形式。

Q:除了自己的項目(Ti-Improve)外,最喜歡哪個項目?

**Ti-Improve 周強:**我最喜歡的是 VR 的那個項目,名字叫滑滑蛋,讓大家看起來特別爽。

**Ti-Improve 方祝和:**我印象裏最喜歡的是做提高 Bug 修復效率的項目,團隊名字叫 zhangyushao ,我覺得在產品的穩定性、質量提升上很有意義,我很看好這個項目。

**Ti-Improve 李德竹:**我最喜歡第一名的 'or 0=0 or' 項目,我覺得特別有想象力,把一個看似很傳統的東西用在這裏,然後很好的解決這個問題,我覺得這個思路真的非常贊,可以向他們學習。

**Ti-Improve 趙一霖:**我也是比較喜歡第一名的 'or 0=0 or' ,他吸引我的點是他用 WASM 去做的這件事兒,WASM 相關的技術棧其實我一直都有關注,但是我也沒想到能結合 TiDB 實現 UDF。我覺得之後可以借鑑這種思路,是一個很好的方式。

**華創資本謝佳:**除了 Ti-Improve,我其實喜歡的項目還蠻多的,我最開始列出來有 12 個,像 Ti-Graph 團隊我也蠻喜歡的,因爲有些類型的數據分析確實更適合用圖數據庫的來解決,我覺得類似的創新也在 TiDB 生態當中開啓了一些新的可能性。

關於華創資本

成立於2006年的華創資本專注於企業軟件、前沿科技、生命科學、消費升級等領域的早期投資,並利用深厚的資源與經驗幫助所投企業進行戰略規劃、業務拓展和團隊組建。目前華創資本管理的人民幣基金和美元基金合計 80 億元人民幣。代表投資項目包括:什麼值得買(創業板:300785)、每日優鮮、Wish(NASDAQ:WISH)、同盾科技、老虎證券(NASDAQ:TIGR)、Ezbuy(NASDAQ:LITB)、別樣紅(美團 HKEX:03690 收購)、才雲科技(字節跳動收購)、小滿科技(阿里巴巴 NYSE:BABA 收購)、PingCAP、深鑑科技(賽靈思 NASDAQ:XLNX 收購)、Airlango(美團 HKEX:03690收購)、Nreal、愛筆智能、藍箭航天、華科精準、新格元、福貝生物、璧辰生物、應世生物等。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章