全球經濟數字化轉型是大勢所趨。加快數字經濟發展，推動數字化變革已經成爲未來十年經濟發展的重要推動力。數字化增長帶來新機遇，DTC（Direct To Customer）的模式在衆多企業成爲獲取與服務最終客戶的新趨勢，但據分析機構報告顯示，在全球數字化轉型中，大數據項目只有 30-40% 的成功率，通過簡化基礎的數據平臺賦能數字化轉型成爲一個關鍵話題。
本文爲 PingCAP 解決方案事業部總經理餘軍在 TiDB 5.0 發佈會上進行《Insightful User Case - TiDB 行業應用場景解讀》演講的實錄整理，分享企業級分佈式數據庫產品 TiDB 如何幫助企業用戶完成數字化轉型。
數字化轉型中的數據價值變現
2020 年全球發生了新冠疫情，在疫情的影響下，各種線下經濟活動都加速過渡到線上，數字化轉型加速，各種在線服務平臺，從在線辦公、在線醫療、在線教育，到在線娛樂均得到爆發式增長。2020 年之後，越來越多的企業在考慮如何進一步利用數字化的能力幫助企業完成在整個線上移動端、互聯網端的業務閉環，DTC（Direct to Customer) 的業務模式成爲了趨勢，更多的企業都有了數據架構轉型升級的需求。
數據處理在歷史上曾經經歷過幾個階段，到今天在數字化轉型大潮崛起的形勢下，數字化技術處理要求發生了巨大的變化，這些變化主要集中在以下三點：
-
數據保鮮：數據量級大且要求處理快，同時需要對實時數據的實時價值進行充分保鮮；
-
端到端閉環：從互聯網移動端到在線企業級服務中需要一個完全閉環的數據驅動；
-
數據價值變現：在數據驅動的趨勢下，很多企業級應用已經脫離了傳統的數據服務和數據支撐的基礎架構，快速轉向了以事件驅動、數據驅動爲主的數據變現主題。
在整個數字化轉型的過程中，我們認爲數據有兩個非常核心的要素：第一，各種各樣業務發生之際隨之而來就產生了新鮮的數據，如何讓新鮮數據一直保有實時性的承載價值；第二，當這些新鮮的數據產生之後，如何及時利用新鮮數據完成業務上的快速變現，比如說幫助企業用更低的成本獲得更多的客戶、如何更高效的推動企業營銷活動、如何通過對數據更進一步的實時的觀測和分析，來完成業務上的洞察和實時決策等。
TiDB 企業級關鍵能力
我們來看一下 TiDB 在數字化轉型過程當中，如何利用它的先進架構和技術的支撐能力，加速企業數字化轉型的進程。
現有方案在聯機及實時處理領域的痛點
我們將在線直接承接業務交易的業務系統稱爲聯機系統，這些聯機系統是業務產生新鮮數據的第一個階段。經過多年的發展，數據管理及數據的使用方式已經發生了很大的變化，但是對於新鮮數據的保有和處理技術還停留在四五十年以前的技術。比如常見的利用一些傳統關係型數據庫、半結構化數據處理技術來承擔新鮮數據的產生及加工工作，在這個過程中不可避免需要利用不同數據技術的支撐能力、在不同的數據技術棧中去做數據處理的情況，進而產生了所謂的”數據孤島”現象。
爲了解決”數據孤島”問題，業界推出了大量的分散的數據技術棧；如數據同步工具、數據加工工具、各種各樣的長線管道等方式去解決不同數據棧間的數據打通問題。在這個長鏈路，複雜鏈路的數據處理過程當中，新鮮數據雖然產生了但最終已經無法再保鮮了。同時，整個處理鏈路過長，導致數據與時間維度所綁定的實時性價值丟失。另一方面，從業務的視角來看，要獲 得全局性新鮮數據的統一視圖，在如此複雜的管道網絡及複雜數據處理鏈路的交織局面下也變得非常困難。
作爲企業來說，當新鮮數據產生後往往希望採用通過各種各樣的手段將數據進行商業價值的變現，換句話說，也就是我們會對這些數據進行業務驅動下的二次加工，來爲不同業務系統提供數據消費能力。 目前在業界，通常不得不採用非常複雜的數據技術棧複合體來支撐，比如對於查詢要求較高的聯機查詢，可能通過 MySQL 或者 Oracle 這類數據庫來支撐；對於彙總類的、明細類的，一般會採用如 ClickHouse 或者 Elasticsearch 來分而治之；包括業界很早推出且一直用到今天的傳統的 MPP 架構數據倉庫產品來進行一些報表和多維離線的分析。這個過程無論從數據的保鮮到數據的價值變現，整個實時性和數據的統一視圖對業務的支撐價值的能力都不可避免丟失了。
TiDB 解決之道
對於 TiDB 來說，我們從產品設計之初就充分考慮企業級數據處理服務過程中的技術支撐能力，對於新鮮數據的產生製造，TiDB 通過它的 OLTP Scale 能力，也就是高擴展的面向敏態業務的聯機數據處理能力來確保新鮮數據能夠實現生產後保鮮，並且能夠以極高的效率來完成聯機側的高擴展性的數據支撐服務，同時最重要的就是確保它的實時能力。
當企業需要對新鮮數據進行有效的、快速的價值變現時，TiDB 在技術側提供了 Realtime HTAP 的實時數據處理及分析的能力，結合行列混合、透明計算服務的能力，可以爲企業提供包括實時監控、實時大屏、實時營銷、實時風控、實時查詢、實時數倉等，既能夠保證數據的統一，又能夠保證數據消費的實時性，以及通過多樣維度來進行數據的價值變現。
TiDB 助力行業數字化
那麼 TiDB 是如何在數字生活的方方面面爲企業提供相關服務的呢？
OLTP Scale：面向金融核心交易場景
億聯銀行是國內一家持牌的互聯網銀行，除了具有傳統銀行相關的標準業務外，最主要是擁有互聯網的屬性，有很多業務來自於互聯網的流量。對於這類用戶來說，TiDB 通過與用戶方的深入合作，完成了對億聯銀行分佈式核心系統項目的建設工作：
- 支撐了億聯銀行整個核心的交易系統
比如核心賬務、核心貸款、支付系統、用戶中心、資產證券化、人行徵信報送、貸款對賬等一系列關鍵交易業務；
- 多中心多活容災
北京與長春的兩地多中心多活容災爲核心交易保駕護航，以及從 Oracle 系統到 TiDB 遷移的各方面建設的支持工作；
- 爲未來就緒
在未來的互聯網場景中，提供高度擴展的業務支撐能力，在 OLTP Scale 方面面向金融核心交易場景的能力，能夠幫助金融機構完成核心相關的業務支撐。
OLTP Scale：面向金融敏態交易場景
平安人壽是國內知名的保險公司，利用 TiDB 完成了“金管家”的在線金融聯機交易服務。 這類業務場景有非常明顯的一個特點：短時高峯交易。
在 2019 年到 2020 年的兩年中，平安人壽通過運營“1.08 財神節”活動，構造了單日成交額超過 1000 億，突破在線保險和理財產品相關的交易記錄。這背後是幾百個 TiDB 數據庫實例在提供運營保障，完成了整個短時高峯交易的支撐。
基於 TiDB 高擴展性、高吞吐量、高聯機處理能力等特點，平安人壽的金管家項目順利完成了整個運營日的交易。
OLTP Scale：面向金融高增長交易場景
日本排名前列的移動支付公司，在政府推動無現金社會的政策支持下，支付業務正迅速擴張。目前日本大約有 1 億人口，其中有 2900 萬用戶和 200 萬商家在使用該公司支付服務，近期交易量已達到 10 億。
TiDB 通過在線的高吞吐能力和在線擴展能力，順利幫助用戶從原有的 Amazon Aurora 的數據庫轉向了 TiDB 的平臺，解決了過去以往在高峯支付交易過程當中的性能擴展性問題。
OLTP Scale : 面向零售高增長交易場景
TiDB 與全球領先的餐飲巨頭一起合作，完成了它的訂單中心、用戶中心、卡券中心以及積分中心相關的關鍵聯機高併發、高擴展系統的核心數據庫上線工作。
同時與用戶充分研究，如何利用 TiDB 在雲原生架構方面的優勢，將 TiDB 和 K8S 的結合，完美落地在用戶的生產環境。同時，通過 TiDB 原生的、高可用、多中心和容災的保障能力確保了整個 7×24 小時的業務的支撐。
Real time HTAP : 面向金融實時數據服務場景
剛纔講完了 TiDB 如何利用 OLTP Scale，也就是高擴展性、敏態的數據聯機支撐的能力來爲企業提供高併發數據處理服務。我們回頭來看，用戶如何利用 TiDB 來實現數據價值的快速變現。
我們正在與國內頭部的城商行北京銀行建設綜合數據實時服務平臺，這套系統實現了以下幾個重要的功能：
-
核心系統減負。從 AS400/DB2 核心環境實時數據同步匯聚到 TiDB，包含手機銀行交易等過百億數據規模交易記錄，提供實時聯機查詢。
-
數據服務化。規劃彙總多樣性數據源匯聚到 TiDB 完成綜合數據服務能力的搭建。
-
場景多樣化。TiDB 提供的行列混合及 Real time HTAP 能力支撐更多樣的數據消費服務。
-
金融級安全。在北京銀行落地包括網聯支付，信用貸款等多種關鍵系統，多年 “0 故障” 運行保障成績。
TiDB 在北京銀行已經落地有兩年時間，在這樣一套業務平臺當中我們也會繼續以往這樣的零故障的運行保障成績，繼續爲北京銀行提供安全可靠穩定的服務。
Real time HTAP : 面向金融的實時數據服務中臺
我們在過去的一年當中，也爲某金融企業建設了 T+0 的實時數據服務中臺，這套 T+0 實時數據服務中臺，支撐着整個公司從運營域實時明細數據查詢到實時的統計分析查詢類相關的數據服務。同時業務支撐也包括對交易數據的查詢，比如經常會用到的二維碼支付、後端的收單、轉接、全渠道服務以及它的國際業務等。
由於 TiDB 具有在線的擴展以及彈性能力，所以這套 T+0 的實時數據服務中臺，在整個擴容的過程當中，都是採用在線的熱擴容方式。同時如我前面所說，這個例子利用 TiDB 內置的高可用的技術完成一個金融級的 T+0 數據服務實時中臺服務。
Real time HTAP : 貝殼金服的數據服務實時中臺
貝殼金服是貝殼集團旗下的金融服務公司，爲貝殼的用戶提供在租房和買賣房屋過程當中的融資租賃的金融服務。我們與貝殼金服的數據團隊一起合作也實現了一套實時數據的服務中臺，在這套系統當中我們通過將 TiDB 與包括 Flink、Kafka 之類的流式計算系統成功進行了融合，實現了一套實時的數據處理、數據加工以及數據同步的數據支撐平臺。
Real time HTAP : 面向物流實時數據服務場景
在 2020 年期間，我們與國內知名的物流快遞公司中通快遞完成了實時數據分析的處理平臺。
通過將中通的十多個數據消息源進行實時的匯聚：通過 TiDB 之上的 TiSpark 的能力來匯聚超過 10 個 Topic 以上的數據消息，再通過 TiSpark 實時寫入 TiDB。在 TiDB 端會進行非常複雜的計算，在 TiDB 存儲 70+ 列的寬表：匯聚多個消息 Hive 維表 Join 並實時再寫入 TiDB ；同時我們整套平臺也提供了非常高效的支撐中通快遞，包括重要的二次派件的業務場景的支撐，整個 TiDB 平臺能夠在 10 分鐘內處理三億多條數據，達到差不多每秒鐘 50 萬左右的 QPS。
在過去的六年中，經過所有 PingCAP 工程師與社區的不懈努力，在主幹產品 TiDB 中實現了面向企業級的 OLTP 規模化、高擴展、敏態的聯機交易以及基於 Realtime HTAP 的實時數據服務這樣的能力。通過這些能力的構建，能夠幫助企業快速高效地去完成數字化轉型工作。TiDB 已經成爲數字化加速背景下企業數據保鮮和數據價值變現的關鍵基礎設施。