摘要：當電商平臺對AI算法模型的需求越來越多，特徵數據平臺的統一建設是不少開發團隊頭疼的事情。因爲只有通過統一的特徵數據存儲，才能改變原有的“數據孤島”，解決生產重複造輪子的窘境。
本文分享自華爲雲社區《華爲雲企業級Redis：助力VMALL打造先進特徵平臺》，作者： GaussDB 數據庫 。
1 客戶介紹
華爲商城（VMALL）是華爲公司旗下自營及精選好物的官方電商平臺，本着“智慧生活、精選好物”的理念，爲消費者提供最齊全的華爲品牌產品及鴻蒙生態產品，覆蓋了辦公、出行、居家、運動、娛樂等生活需求，致力於將全場景智慧生活帶給更多的消費者。
雲數據庫GaussDB(for Redis)作爲華爲雲旗下企業級Redis，致力於爲客戶提供穩定可靠、超高併發，且能夠極速彈性擴容的KV存儲服務。GaussDB(for Redis)在VMALL特徵工程平臺建設中，起到了關鍵作用。
2 業務痛點
VMALL使用了大量的AI和大數據技術，用來支撐智能推薦、精準營銷、智能搜索、選品投放等業務的高效開展。
隨着業務的快速發展，系統對AI算法模型的需求日益增多。當前的AI開發流程中，“模型訓練”和“模型部署”階段都已經有成熟的平臺支撐，唯獨“特徵數據準備”階段缺乏通用平臺，導致了“線上推理和線下訓練的特徵數據不一致”、“各算法模型獨立開發，特徵生產重複造輪子”、“特徵工程投入時間多（佔據算法開發耗時的60%-70%）”3個關鍵問題，嚴重影響了研發效率，阻礙業務發展。
爲解決此問題，VMALL大數據團隊開始着手建設統一的特徵平臺。
特徵平臺的核心部件是特徵存儲數據庫，只有通過統一的特徵數據存儲，才能改變原有的“數據孤島”窘境，徹底解決“不一致”、“難共享”、“效率低”3大問題。
但也正是由於特徵數據庫需要承擔打通線上/線下多個場景，對接批式/流式多種數據源，滿足訓練/推理多樣消費需求，對特徵數據庫的選型提出了非常高的要求：需要找到一款數據存儲服務，既能提供低成本的海量數據存儲並方便擴容，又能保證數據的絕對可靠和服務的高可用；既要滿足低時延的線上推理，又要滿足高吞吐的線下訓練；既能提供簡潔的KV接口供下游輕鬆消費，又要兼容主流的批式/流式處理引擎（Spark/Flink等）供上游快速接入。
經過深入調研，VMALL大數據團隊最終選擇了GaussDB(for Redis)作爲特徵數據庫，下面就讓我們詳細看看GaussDB(for Redis)是如何滿足上述苛刻要求的。
3 解決方案
特徵平臺使用GaussDB(for Redis)的主要流程
1）特徵生產（抽取、處理、存儲）
- 離線特徵（靜態特徵）：
定時調度Spark作業，從各種數據倉庫、數據湖中提取數據，進行特徵工程處理後，存入GaussDB(for Redis) 。
- 實時特徵（動態特徵）：
Flink消費Kafka，或流式存儲中的數據，持續更新到GaussDB(for Redis)中。
2）特徵消費
- 線上推理：
模型已經部署到生產，開始承接業務，需要低時延，高併發的消費數據，從GaussDB(for Redis)
中讀取數據。
- 線下訓練：
GaussDB(for Redis)存有最新的特徵數據，OBS中存有全量的特徵數據。
1）對於使用靜態特徵的較爲簡單的模型，可以直接從OBS中獲取特徵使用。
2）對於使用實時特徵的場景（如實時推薦系統），由Flink從Kafka中實時取得用戶請求記錄，並從GaussDB(for Redis) 查詢取得特徵，將記錄和特徵拼接成訓練樣本，存儲到文件中，供線下訓練使用。
特徵平臺對GaussDB(for Redis)的核心訴求
結合上述業務場景，總結特徵平臺對GaussDB(for Redis)的核心訴求如下：
GaussDB(for Redis)滿足特徵平臺訴求的關鍵方案
1）業務接口
GaussDB(for Redis)兼容社區Redis5.0接口，支持和Spark/Flink Connector的對接，很好的滿足了業務的使用需求
2）穩定性
GaussDB(for Redis)採用自研內核，解決了社區Redis的fork，oom等老大難問題，具備了企業級應用的穩定性
3）可靠性
數據零丟失：逐條命令實時落盤，底層三副本冗餘存儲，無數據丟失風險
數據強一致：基於GaussDB公共的共享存儲部件DFV，實現三副本強一致，多點訪問無髒讀風險
4）成本
GaussDB(for Redis)實現數據的自動冷熱分離，採用內存+SSD的混合存儲方案，大幅降低了客戶的使用成本。按照VMALL的特徵體量測算，億級用戶，每個用戶的特徵數量是數K-數10K，GaussDB(for Redis)一年的費用僅3W出頭，如果選用社區Redis，費用在20W+
5）性能
GaussDB(for Redis)採用多線程架構，並且所有節點可以同時支持寫入，因此可以較好滿足批量灌庫的高吞吐寫需求。讀方面，基於冷熱分離方案，熱數據常駐內存提供穩定低時延；冷數據讀涉及IO交換，存在一定長尾，但可滿足VMALL業務要求（目前VMALL線上GaussDB(for Redis)實例讀時延平均0.16ms，P99 0.4ms，P9999 1.5ms）
6）可擴展性
基於計算存儲分離架構，底層數據可被任一節點訪問，擴容過程不發生數據拷貝搬遷，因此速度極快；計算節點擴容分鐘級完成，存儲擴容秒級完成，RTO < 10秒
綜上，與社區Redis相比，GaussDB(for Redis)提供了更穩定的使用體驗，更可靠的數據存儲，更低廉的使用成本和更便捷的擴展能力，是更適合像VMALL特徵平臺這樣大規模電商大數據應用的企業級Redis服務。因此，VMALL特徵平臺最終選擇GaussDB(for Redis)作爲特徵數據的存儲服務。
4 上線後效果
目前VMALL已完成一期的特徵數據遷移，包括“特徵生產”業務中的“Spark離線特徵生產”，以及“特徵消費”業務中的“線下訓練Flink特徵查詢”，已遷移到GaussDB(for Redis)。
當前GaussDB(for Redis)運行平穩，業務高峯時段時延穩定，能夠滿足VMALL當前業務要求。其中，讀平均時延0.2ms（p99<0.4ms），寫入平均時延0.6ms（P99<2ms）。
VMALL當前已啓動二期的特徵數據遷移，計劃完成包括“Flink在線特徵生成”，“線上推理”等核心業務的接入。
5 總結
本文介紹了華爲商城（VMALL）在建設特徵平臺過程中，對特徵數據存儲服務的選型和應用。由此可見，華爲雲GaussDB(for Redis)服務在成本，可靠性，可擴展性等方面具有優勢，可作爲特徵數據存儲的理想方案，提供企業級的穩定可靠的Redis服務能力。
企業級Redis專場熱賣中，不限新老用戶，首月免費（鏈接）：
https://console.huaweicloud.com/nosql/?region=cn-north-4&promotionId=P2109280321005721G5P1YZ0VUN22R&promotionPlanId=PDP2109280321005041XSEIKF05B9C4C&buyTime=1&dbType=redis&flavorId=large.4#/instance/create