14億人的大項目，如何跑在騰訊雲數據庫TDSQL的“雙引擎”上？

{"type":"doc","content":[{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"5月11日，第七次全國人口普查結果公佈。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"color","attrs":{"color":"#333333","name":"user"}}],"text":"我國每十年進行一次人口普查：從1953年的算盤，到後續的計算機，數據採集的變遷從未改變紙表錄入的形式。而到了第七次全國人口普查，電子化採集全面取代紙表，將數據直接上報到國家統計局。700萬普查員、全體中國大陸公民，首次在線上完成人口普查數據採集，而這"},{"type":"text","text":"背後其實是騰訊雲在保駕護航。據統計，在該項目中，騰訊雲數據庫支持了十億級用戶數據、七百萬個終端和百萬級峯值TPS（每秒事務處理量）。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"高併發、高複雜度實時統計和分析查詢的要求"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在本次人口普查過程中，700萬普查員使用微信小程序進行數據採集，約一億人使用微信自主填報小程序進行信息錄入，海量數據全部實時入庫；與此同時，爲了便於假如數據採集出現問題能夠在第二天及時補充採集、修正，系統同時需要快速完成對入庫數據的實時查詢分析。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":" "}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"“大量的數據要收集上來，同時數據的更新和數據的查詢是互相交錯的，不僅要應對動態的人口流動，比如一個人今天在深圳而明天在北京，同時要準確對應起人和戶、人和人之間的關係。”據介紹，使用電子化方式開展全國人口普查工作，涉及範圍廣、統計維度多、技術難度大。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"如何在十幾億中國人的數據在15天內湧入時保證用戶體驗和服務可持續性？如何縮短登記時間同時保證數據安全？如何在動態人口流動中準確登記、高效完成多個超大表關聯實時分析？"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"這對背後的數據庫技術的併發性、可靠性、一致性、擴展性、穩定性，以及複雜查詢分析能力都提出了極高的要求。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"團隊專家決定再在小程序和TDSQL之間加上騰訊雲Redis，將其作爲緩存承接所有終端湧入的數據，然後把數據落入TDSQL中。有了這麼一道緩存牆，業務運行中既能從容應對暴漲的流量，也能防止小程序突然崩潰，相當於上了一道“雙保險”。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"騰訊雲數據庫TDSQL的解決之道"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"strong"}],"text":" "}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"本次全國人口普查項目，騰訊雲數據庫提供了“OLTP+OLAP”雙引擎融合的企業級分佈式數據庫管理系統TDSQL，平穩、高效支撐第七次全國人口普查工作完成。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"color","attrs":{"color":"#333333","name":"user"}}],"text":"其中，OLTP能力專門用來做前端生產系統的事務處理，其最大的優點是能即時地處理輸入的數據，並及時響應，實時保持系統數據處於最新狀態；OLAP能力則負責後期數據聯機查詢分析處理，支持複雜的分析操作。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"TDSQL OLTP引擎提供了支撐大併發的性能，包括線程池、無鎖優化等等，支撐3萬+的數據庫連接；強同步技術在跨可用區的情況下，滿足高吞吐量、主備數據一致性和高可用的能力；彈性的容量伸縮，可根據實際運營情況進行容量水平擴展。此外，智能運營系統“扁鵲”，則可針對性能較低的SQL給出優化建議，同時自動評估業務的事務模型，降低鎖衝突，提升併發能力。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":" "}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"測試中，TDSQL數據庫應對高併發場景時可以實現數百萬每秒的吞吐量，這樣的吞吐規模已經可以滿足目前中國人口2倍的數量。藉此，實際統計中TDSQL數據庫也順利扛住了普查過程中的併發高峯。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":" "}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"同時，業務具有大規模實時查詢分析的需求，普查員在前端不斷錄入的數據也將在TDSQL OLAP能力引擎中進行進一步的數據分析。據瞭解，在這些龐大的數據中，不乏多張超級大表關聯高併發統計查詢，其每張表中存放了超過20億+條記錄。如果把其中存放一張超級表的空間用來存放平均50萬字的書籍，可以放下超過1000萬本，一個人終其一生也讀不完。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"在此過程中，OLAP分析計算開銷大、延遲長，同時還要滿足海量的併發請求，TDSQL OLAP引擎通過水平擴展多個只讀平面，即可良好地滿足業務的要求，爲複雜查詢分析場景提供線性讀擴展能力，並通過在多個平面前置負載均衡做到擴縮容業務完全無感知；與此同時，基於全局一致性技術，可實時保障多平面下內部的全局讀一致性。"}]},{"type":"heading","attrs":{"align":null,"level":2},"content":[{"type":"text","text":"企業級安全特性保障系統可用可靠"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null}},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"規模浩瀚的人口普查工作，系統業務架構複雜、併發度高。在災備設計、高可用能力保障上，整個數據庫採用了一主三從、強同步複製和異地災備的備份方案，在某個數據節點出現故障時，能保證數據的完整和一致；哪怕出現大規模的突發情況，通過異地災備，也能夠進行數據恢復。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"color","attrs":{"color":"#00B0F0","name":"user"}},{"type":"strong"}],"text":" "}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"TDSQL 的安全性經過了騰訊各類核心業務10餘年大規模產品的驗證，包括社交、電商、支付、音視頻等不同類型的產品。在災備方面，TDSQL提供完善的數據備份、容災、一鍵升級、快速恢復，以及數據庫防火牆、透明加密等功能，同時建立起完善的監控和報警體系，大部分故障都通過自動化程序處理恢復。在整個過程中，TDSQL從早期就磨鍊下來的企業級安全特性能力，持續爲人口普查工作保駕護航。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":" "}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":"此外，爲了讓整個普查過程能夠更加容易感知，騰訊雲圖將普查收集到的海量數據進行處理，通過數字大屏和餅狀圖等工具實時清晰地展示人口報送情況，並對各省報送情況進行動畫效果展示，使得普查小組能夠更加直觀地瞭解整體情況和各地普查進度，根據大屏信息安排進一步的工作，提高工作效率。和其他產品協同，完成了數據“上傳——入庫——分析——展示”的最後一公里。"}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","text":" "}]},{"type":"paragraph","attrs":{"indent":0,"number":0,"align":null,"origin":null},"content":[{"type":"text","marks":[{"type":"color","attrs":{"color":"#333333","name":"user"}}],"text":"據不完全統計，在此次第七次全國人口普查項目中，騰訊共有40多個部門、超過300人蔘與其中，封閉週期長達200多天。據新華網統計報道，與2010年全國第六次人口普查的紙表入戶登記方式相比，電子採集的方式將登記時間縮短到了20分鐘以內，並在很大程度上降低了後期數據錄入、處理的難度。"}]}]}