2天完成17TB數據量遷移,華爲雲數據庫是如何做的?

摘要:童年時候,我們會對着牆上掛着的中國地圖,來認識一處處山川河流和城市人文。如今,數字化時代下,傳統的地圖已經不能滿足人們的需求,如何獲取各種豐富的地理內容和實時動態信息成爲現代人普遍的地理信息訴求。作爲國家基礎地理信息公共服務平臺,天地圖集成了來自國家、省、市(縣)各級測繪地理信息部門,以及相關政府部門、企事業單位 、社會團體、公衆的地理信息公共服務資源,以門戶網站、服務接口、前置服務等形式向政府、專業部門、企業、公衆等用戶提供在線地理信息服務。此前,國家基礎地理信息中心攜手華爲雲,基於天地圖平臺,共同打造雲上智慧地圖,促進地理信息資源共享和高效利用,讓世界觸手可及。

地理數據量增加,數據庫彈性迎挑戰

天地圖覆蓋全國300多個地級以及地級以上城市0.6米分辨率的衛星遙感影像等地理信息數據,全庫數據量達到17TB,數據吞吐量巨大。巨大的吞吐量和高額運維成本,促使國家基礎地理信息中心迫切尋求低成本、高可用、高性能、大容量的數據庫產品,同時希望可以將遷移時間壓縮到2天左右。

  • 低成本:早期天地圖運營投入較多資金,包括數據庫在內的IT投入成本居高不下。業務有讀寫分離訴求,希望在保證性能的前提下,通過一套實例實現讀寫分離,從而降低數據庫成本。
  • 高可用:社區版MongoDB一個shard多數節點故障,就會導致該shard成爲只讀,因此希望提供無狀態的路由節點,實現快速故障轉移。
  • 高性能:天地圖每天的訪問量在6億左右,隨着數據量和業務訪問量的增加,現有系統不足以支撐日益增長的業務需求,需要更高性能的數據庫來支撐日益增長的業務數據。
  • 容量:隨着瓦片層級增加,數據量越來越大,現有MongoDB擴容難度大,需要一款數據庫支持不少於20TB的瓦片數據,支持在線擴容。
  • 運維效率:運維人力有限,系統運維壓力越來越大,運維工作成本越來越高,現有社區版MongoDB難以支撐運維工作需求。希望能夠提供數據庫自運維能力,能爲數據庫做技術兜底,降低運維成本。

天地圖&華爲雲

  • 彰顯雲上“數字中國”新魅力

天地圖業務數據複雜,數據種類多樣,結合客戶訴求和業務特點,華爲雲數據庫採用公有云對外服務爲主,私有云對內測試爲輔的混合雲架構,提供多種數據庫引擎方案,聯合打造高性能、高可用的數字底座。

華爲雲GaussDB(for Mongo)提供在線地圖的瓦片數據處理服務;華爲雲RDS for PostgreSQL提供矢量數據和三維數據處理服務;華爲雲RDS for MySQL提供用戶管理和專題圖層屬性服務,多款數據庫極速融合,共同發力,17TB的海量數據遷移僅僅用了2天。

  • 高可用特性加持,業務穩定運行

天地圖作爲國家級的服務平臺,數據的安全可靠可謂至關重要。華爲雲GaussDB(for Mongo)支持跨AZ高可用,擁有完善的跨區域容災策略,每天自動進行全量備份和增量備份,並定期進行恢復演練,驗證備份恢復流程的有效性,實現分鐘級備份恢復。同時提供無狀態的路由節點,支持秒級故障轉移,客戶業務無感知,業務運行穩定。

  • 超高性能與大容量,再大流量也不怕

天地圖爲30+部委機構和全國30多個省市提供地理信息基礎平臺服務,日均API和服務調用超過6億次,訪問壓力極大。華爲雲GaussDB(for Mongo) 可實現分鐘級節點擴容和秒級存儲擴容,滿足敏捷業務彈性需要,對天地圖高達上億的訪問毫無壓力,響應能力快穩準,有效保障了天地圖在高負載情景下業務的正常運行。而且GaussDB(for Mongo)基於存算分離架構和rocksdb優化,相比開源MongDB性能提高3倍以上,最大支持96TB的數據處理能力,完全滿足天地圖海量業務請求。

  • 降本增效不止一點點

GaussDB(for Mongo)完全兼容MongoDB協議,客戶業務無需任何改造,即可輕鬆切換數據庫,極大減少了改造成本;而且通過實時生成快照和刪除快照的能力,GaussDB(for Mongo)實現一套集羣即可提供讀寫分離的能力,數據庫成本節省至少50%。天地圖上華爲雲之後,基於數據庫服務自動化運維平臺,數據更新效率提升5倍,新業務上線速度提高2倍,還減輕了DBA繁重的運維壓力,讓客戶更聚焦業務層面。

自2019年2月上線以來,華爲雲數據庫已輕鬆支撐天地圖6億+的日均訪問量,保障業務平穩運行,實現零事故;同時爲公衆提供了更爲全面、精準、權威、 智能、人性化的地理信息服務,讓全社會共享測繪發展成果,感受“數字中國”的獨特魅力。

Ps:【雲數據庫特惠專場】新用戶4.5折起,助力企業效益增長, 詳情請戳https://activity.huaweicloud.com/dbs_Promotion/index.html

點擊關注,第一時間瞭解華爲雲新鮮技術~

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章