本文介紹了廈門笛卡爾數據（AmzTrends）在面臨數據存儲挑戰時，選擇將其數據分析服務遷移到 TiDB Serverless 的思路和實踐。通過全託管的數據庫服務，AmzTrends 實現了全局成本降低 80% 的效果，同時也充分展示了 TiDB Serverless 在簡化架構、提升性能和降低成本方面的優勢。未來，AmzTrends 計劃繼續利用 TiDB Serverless 的優勢，擴展業務並提升競爭力。
廈門笛卡爾數據是一家專注於跨境電商數據分析的 SaaS 公司，AmzTrends 爲亞馬遜賣家提供品牌分析(ABA)、商機探測以及廣告數據的可視化分析。目前，AmzTrends 主要以 SAAS 和 Chrome、紫鳥瀏覽器的插件形式爲客戶提供數據服務，以訂閱模式爲美國、日本、中國數萬計的跨境電商賣家提高數據服務，幫助賣家在選品、運營、廣告等運營環節提供專業的數據分析決策價值 。
業務挑戰
AmzTrends 的數據主要以大單表的形式進行存儲，最大的表數據量超過 22 億，字段較多且某些字段很長的大寬表，單表中存在結構化與非結構化的數據結構，因此需要建立大量的索引，佔用大量存儲空間，而且過期數據還需要定期清理，經常使用 BATCH 進行批量操作，一旦遇到異常無法無法事務的一致性，因此數據維護壓力巨大。
技術痛點
在業務初期，AmzTrends 選擇了在百度雲上自建 TiDB 集羣，資源按月付費。集羣規模包含 1 個 TiDB 節點、1 個 PD 節點（此種部署方式會損害 PD 的高可用性，爲了節約成本的部署方式，是官方不推薦的高風險方案）、3 個 TiKV 節點，技術人員通過將亞馬遜下載的原始 CSV 格式的數據批量寫入到 TiDB 中進行數據分析。此外還單獨配置了 3 臺服務器部署 Spark，進行全量複雜的數據計算分析。但 Spark SQL 與關係型數據庫不同，需要專人運維，複雜的業務架構造成了資源冗餘，使得運維成本較高。
由於集羣配置不夠加上專業運維團隊的缺失，棄用了 Spark，大量複雜且數據計算量巨大的任務由 Spark 轉到 TiDB 直接運行，集羣越來越不穩定，數據安全面臨嚴重挑戰。在這種情況下，AmzTrends 不得不尋找對技術要求更低且更安全的運維解決方案。在接觸到 TiDB Serverless 後，AmzTrends 認爲由於都是 TiDB 產品體系，全託管的一棧式數據庫服務 TiDB Serverless 不僅可以充分發揮 TiDB 數據庫原有的特性和優勢，還可以幫助公司簡化架構，提升系統的整體性能和健壯性。所以，AmzTrends 決定將整體應用從百度雲部署方案遷入 TIDB Serverless，不僅風險更低且兼容性和性能都能得到有效保證，另外通過數據容量與請求量的成本預估，AmzTrends 發現遷移後成本能比現有的雲服務器部署更低，因此有了這樣一次充滿挑戰的數據遷移過程。
爲什麼選擇 TiDB Serverless？
TiDB Serverless 是一種全託管的、自動化的數據庫服務（DBaaS），能夠快速部署集羣，並按實際使用資源量計費。結合自身業務架構特性，AmzTrends 在考慮 TiDB Serverless 時重點關注以下特性：
● 輕鬆擴展基礎設施，按實際使用量付費 ：商家只有在工作日時間纔會使用 AmzTrends 的數據分析服務，而傳統的雲模式需要爲預估的最大流量付費，容易造成閒時資源浪費。TiDB Serverless 可以秒級搭建起數據庫環境，用戶只需爲實際的數據處理和存儲付費，這讓 AmzTrends 開發團隊能夠更專注於創新和發展。
● 輕鬆上手，無需手動分片 ：以前， AmzTrends 的 20 億數據需要定期進行清理或者分片，應用 TiDB Serverless 可以幫助用戶擺脫數據分片等數據庫繁瑣的操作任務，相當於只維護一張大表即可，既可以滿足更長時間維度的查詢需求，又無需反覆對數據進行整理操作。
● 自動伸縮，成本效益顯著 ：無論是存儲、事務處理還是分析工作負載，AmzTrends 都能在幾秒內根據應用需求自動伸縮，避免造成資源冗餘浪費，既靈活又經濟。
● 全面託管，無感運維 ：爲 AmzTrends 提供最優化的 TiDB 部署方案，免去了服務器配置維護的煩惱。以前一旦出現故障就需要人工進行緊急處理，使用全託管的 TiDB Serverless 後運維人員可以安心入眠。
● 熟悉的 SQL 接口，靈活應對業務增長 ：TiDB Serverless 保持了開發者熟悉的 MySQL SQL 語言，AmzTrends 無需進行額外的學習即可高效地投入開發工作，同時 TiDB Serverless 具有一個高度靈活擴展的分佈式架構，可以隨需彈性擴縮容，應對業務的快速增長。
解決方案
決定遷移後，AmzTrends 採用 TiDB Serverless 替代了雲上自建的 TiDB 集羣，將數據全量遷移到 TiDB Serverless 中，簡化了架構，大大緩解了運維壓力，降低總體 IT 成本。
遷移後，AmzTrends 在 PingCAP 官方服務的幫助下也進行了架構簡化、優化建表、索引優化，提高了整體數據處理效率，並使 AmzTrends 業務架構演進至雲原生模式：
○ 索引優化：通過發現和刪除冗餘數據索引，節省了 50% 的數據庫成本；
○ SQL 查詢性能提升：優化索引後，不僅提高了查詢速度，也顯著減少了成本；
○ 架構簡化：自建配置中心和服務註冊要求的最小三臺雲服務器轉變爲單臺雲服務器，降低了成本和複雜性；
○ 業務緩存建立：在瞭解業務的基礎上建立了業務緩存，進一步降低了實際查詢量，節約成本。
項目收益
全託管一棧式數據庫服務庫服務
TiDB Serverless 提供全託管的服務模式，充分發揮了 TiDB 數據庫的原有特點和優勢，簡化了 Amztrends 的整體架構，提升了性能和系統健壯性，同時降低了總體成本。
數據架構成本節省 50%
通過雲原生改造，Amztrends 在數據架構方面節省了 50% 的成本。（ Serverless 採用全分離架構，Amztrends 只需爲使用付費，無需浪費閒置資源）
整體服務資源節約 30%
簡化架構後，Amztrends 前端服務資源實現了 30% 的資源節約。
全局成本降低 80%
綜合上述優化，Amztrends 實現了整體成本降低 80%。
總結
TiDB Serverless 作爲全託管一站式的數據庫服務，從根本上解決了 Startup 公司基礎架構門檻高的難題，即使缺少專業運維人員，也可以擁有簡化、健壯的數據基礎架構，獲得了更高的系統穩定性和可用性。同時，Serverless 的 “Pay as you go”模式提供了更靈活、更優化的資源利用率，AmzTrends 從百度雲遷移至 AWS 之後，總體 IT 成本實現了大幅下降。在此基礎上，這種靈活的資源使用模式也可以讓 AmzTrends 探索更靈活、更具性價比的商業方案，爲商業模式提供更多可能性。
AmzTrends PM Steve 表示：“遷移到 TiDB Serverless 後我們不會再去擔心數據庫的問題，完全放心交給 TiDB Serverless 就好了。用最簡單的話來講，沒有問題就是最好的結果。”
未來
未來，Amztrend 計劃繼續利用 TiDB Serverless 的優勢，進一步擴展其業務並探索更多的數據分析和優化機會。公司還計劃通過持續的技術改進和優化，維持並提升其在市場上的競爭力。