華爲雲GeminiDB,廣告RTA的“登雲梯”

本文分享自華爲雲社區《華爲雲GeminiDB,廣告RTA的“登雲梯”》,作者: GeminiDB-Redis博客。

行話說,廣告RTA要想效果好,數據庫挑戰少不了。那麼,廣告RTA對數據庫究竟有哪些挑戰?在上篇文章《究竟什麼樣的數據庫,才能承接RTA廣告這個技術活》中,介紹了廣告RTA對數據庫的挑戰,本文我們將詳細介紹GeminiDB在廣告RTA中的優勢特性。

廣告RTA業務面臨高併發、超低時延、超大數據量等實際特性需求,因此,對核心畫像數據庫有如下訴求:

  • 海量數據快速導入,確保決策精準性:

需要定期將成百GB甚至數TB全量畫像數據導入畫像數據庫;全量數據導入越快,模型越精準,廣告投放效果越好。

  • 承載高併發訪問:

RTA系統要承接大量的實時競價請求。以電商、金融客戶的RTA系統爲例,經驗上,日常數據庫QPS在幾十萬到數百萬之間。

  • 保持穩定的低時延:

媒體側要求廣告主在40-100ms內返回決策結果;數據庫需要在個位數毫秒內執行完請求。

  • 降低業務成本:

爲了追求極致的性能體驗,RTA業務通常使用開源自建Redis,然而TB級別數據存儲成本非常昂貴,成本也是廣告主選型的重要考慮因素。

在廣告RTA中,通常選用以下數據庫作爲畫像數據庫:

  • MySQL:難以滿足數十萬至百萬QPS併發和低時延的要求。
  • MongoDB/Hbase:可以存儲TB級數據,成本便宜,但無法滿足穩定低時延訴求,超時率高,容易導致停投,影響商業利益。
  • 內存數據庫:能提供高併發、低時延極致性能,如開源自建Redis,是業界選用比較多的方案。但存在着穩定性差,數據丟失等風險。對於TB級用戶畫像數據,存在導入速度慢和成本高的痛點。

而華爲雲數據庫GeminiDB Redis接口完全具備“穩定低時延、高性價比、FastLoad離線數據極速導入”等核心能力。

核心能力一:FastLoad極速數據導入,效率提升5-10倍

傳統數據庫只能通過標準協議逐條寫入數據,先經過計算層複雜結算,再寫入存儲層。因此,大數據平臺定期導入的數百GB乃至數TB的畫像數據,通常需要數小時或者數天,且對在線業務影響比較大。

GeminiDB提供的FastLoad企業級特性,依託RTA業務場景大數據平臺的高併發處理能力和自身存儲引擎的數據編排能力,將海量數據通過專屬高速持久化通道直接傳入存儲引擎,數據導入速度提升5-10倍,並降低對在線業務的影響。

GeminiDB FastLoad企業級特性與RTA場景

核心能力二:提供百萬級併發和亞毫秒級延遲,無懼業務洪峯

華爲雲GeminiDB採用存算分離架構,通過分佈式高性能存儲池實現三副本、強一致的數據存儲,所有節點高效讀、寫訪問,支持算力水平和垂直擴展,能夠輕鬆應對業務規模和數據量的爆炸式增長。同時,通過採用多線程架構和高性能存儲池,配合內存數據結構和訪問算法的深度優化,GeminiDB能夠實現亞毫秒級的數據請求響應。

這種超低時延的性能,對需要實時數據處理和分析的應用場景,如在線遊戲、金融科技、廣告系統和實時推薦系統,提供了強大的數據支持,GeminiDB成爲處理大規模實時交互和高頻交易等場景的理想選擇。

根據現網的案例經驗,在百萬+QPS流量下,GeminiDB可穩定保持平均時延1ms,p99時延2ms。

GeminiDB架構圖

核心能力三:高效數據壓縮存儲,效率與成本並行

GeminiDB使用“邏輯數據+塊數據”雙重壓縮機制,在不犧牲性能的前提下,大幅度降低數據的存儲佔用。同時,採用存算分離架構,將算力和數據存儲解耦,支持獨立彈性擴展。這意味着企業可以以更低的成本存儲更多的數據,極大地優化資源利用效率,降低整體的使用成本。

根據現網案例經驗,GeminiDB的數據壓縮比通常爲4:1,即實際12TB數據,在GeminiDB中僅佔用3TB左右的存儲空間。

總結

華爲雲GeminiDB數據庫憑藉自身在RTA場景上海量離線數據極速導入、高性能穩定低時延、節約存儲成本等卓越性能,已經成爲金融、廣告、推薦等業務數字化轉型和技術創新道路上的強大夥伴。我們期待與全球的企業和開發者合作,共同探索數據的未來,推動技術和業務的發展。

點擊關注,第一時間瞭解華爲雲新鮮技術~

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章