本文整理自美團技術沙龍第80期《美團內容智能分發的算法實踐》，分享內容主要包括三部分。第一部分介紹了大衆點評內容搜索的場景特點以及面臨的挑戰；第二部分介紹了爲應對這些困難和挑戰，技術團隊在鏈路各環節上做的實踐優化，包括內容消費和搜索滿意度的優化等等；第三部分是總結和對未來的展望。
1 現狀與挑戰
美團在本地生活服務領域深耕多年，在幫助用戶完成交易的同時，積累了豐富的圖文視頻內容供給。依託於這些內容供給，我們可以滿足用戶更豐富的需求類型，從交易環節擴展到交易前的種草、交易後的體驗分享環節，將大衆點評建設成爲本地喫喝玩樂的社區。
在大衆點評的用戶中，有相當高比例會通過搜索來查找本地信息，而內容搜索是輔助用戶決策、促進社區氛圍的重要工具。例如當用戶搜索“火鍋”時，除了能看到火鍋相關的商戶和團單，還可以看到圖文、視頻、評價、筆記等多種形態和類型供給呈現；搜索“聖誕節活動”時，直接以雙列內容形式呈現搜索結果，可以更加生動形象。
通過持續優化內容搜索體驗，可以帶來更多內容消費流量，進而吸引更多的用戶轉化爲作者，激勵創作出更多的內容，而有了更多的內容之後，又可以進一步帶動體驗提升，最終形成一個良性循環。從實際效果來看，內容搜索的價值也得到了用戶的認可，如下圖是用戶訪談原聲，可以看到通過內容搜索結果逐步拓展了用戶對搜索功能的認知。
內容搜索與典型類型的搜索如網頁搜索、電商搜索、商戶搜索等相比，有如下差異點：
- 在優化目標上，網頁搜索更強調搜索滿意度，電商搜索更看重商品交易總額，商戶搜索更關注用戶到店消費意向率，而內容搜索既要考慮搜索滿意度，又要考慮點擊和點擊內容後的停留時長、點贊/收藏/轉發/評論等交互行爲。
- 在地域約束上，網頁搜索和電商搜索沒有特別強的地域限制，而商戶搜索和內容搜索卻有非常強的LBS區域限制，因爲用戶在美團點評的搜索場景下更希望查找附近的商戶和內容。
- 在供給類型上，網頁搜索、電商搜索、商戶搜索結果類型較爲單一，而內容搜索有非常多的類型，比如筆記、評價、旅遊攻略、菜譜等。
- 在結構化程度上，電商搜索和商戶搜索相對較高，因爲有商家和銷售維護相應信息；網頁搜索一般結構化程度比較低，可被檢索的網頁大部分信息是非結構化的；內容搜索的供給中既包括圖片、視頻、文本等非結構化信息，也有內容關聯的作者、商戶、關聯話題等結構化信息，整體呈現半結構化的特點。
- 在供給規模上，電商搜索和商戶搜索供給量級相對可控，因爲商品、商戶的生產維護成本較高；而網頁搜索和內容搜索的供給生產成本低，規模會相對更大一些。
- 在更新頻率上，一個商品從上線到下架、一家店從開業到關停，需要相當長的時間週期，而內容和網頁生產和更新頻率都更快一些。
從以上對比來看，內容搜索在各個維度上與典型的搜索類型存在很大區別，這就需要結合自身特點，進行相應的技術選型和方案設計。
我們對面臨的困難挑戰進行總結，主要包括以下四個方面：
- 多種類型供給並存，且供給中既有結構化的信息，又有非結構化的信息。
- 內容供給量級大且更新頻繁，導致用戶行爲分散，單篇內容較難獲取到足夠的用戶行爲數據；在分發過程中又有較強地域限制，形成類似蜂窩狀的消費規律，進一步加劇了用戶行爲稀疏的問題。
- 在優化過程中既要拉動內容消費指標，也要兼顧搜索滿意度，在推進中需要綜合平衡多個維度。
- 在最終搜索結果中，內容與商戶、團單等以混排形式呈現，需要與其他類型搜索結果協同發揮價值，共同滿足用戶需求。
2 內容搜索優化實踐
下面我們會從面臨的問題和挑戰出發，分享如何通過鏈路各環節，持續優化內容搜索的體驗。
2.1 供給理解
面對用戶持續創作生產的海量內容，我們需要對其進行充分理解，包括顯式標籤和隱式表徵兩部分工作。顯式標籤體系主要包括：
- 類目標籤：通過構建分發前臺後臺兩套標籤，可以實現前後臺類目靈活映射。當需要進行前臺類目體系調整時，可以通過調整映射層快速支持，減少對後臺打標任務的影響。
- 細粒度標籤：類目標籤個數有限，在推薦搜索等分發場景還需要更細粒度的刻畫，爲此構建主題標籤、概念標籤等，相互之間有一定的關聯和組合關係。
- 屬性標籤：前兩類標籤更多關注內容在講什麼，而屬性標籤更側重於刻畫內容本身是什麼，比如是否涉政涉黃、是否重複、是否命中生態治理等。
除了顯式標籤，分發鏈路很多環節還需要更加泛化的隱式表徵。結合實際場景特點，我們自研了多模態預訓練模型，通過引入對比損失把圖文表徵對齊到統一特徵空間，並結合自監督對比學習訓練範式、掩碼學習、圖文匹配等優化，提升了跨模態交互效果。
2.2 召回環節
作爲最前置環節，召回決定了一次搜索查詢所能拿到的候選總集合，直接影響到後續環節的效果天花板。搜索場景的召回主要包括：
- 語義召回：搜索召回需要首要保證結果相關，爲此對語義召回進行了多維度的設計，包括不同顆粒度的語義單元召回、對用戶需求進行細化和泛化處理。
- 個性化召回：結合用戶地理偏好、特定區域偏好與用戶歷史消費內容相似度等，設計召回通路滿足個性化需求。
- 策略召回：基於用戶不同場景的實際需求設計對應策略，包括最新最熱內容的召回、更符合種草需求的高價值攻略召回、定向搜索作者內容或特定類型如菜譜的召回等。
其中語義和個性化召回有很大部分通過隱式實現，語義召回更側重搜索詞自身信息的刻畫，而個性化召回還融入了用戶偏好、上下文等很多信息。
2.3 排序環節
排序包括粗排、精排、多目標融合排序、異構混排等多個環節，隨着逐層篩選，打分量級依次減小，可以使用結構更復雜、規模更大的模型。
介於召回和精排之間的粗排環節，需要兼顧準確性和全面性、權衡打分能力和時延性能，發揮承上啓下的作用。爲此引入用戶在全域的行爲樣本，達到系統層面的糾偏作用；我們通過表徵蒸餾、分數蒸餾和順序蒸餾等方法，提升模型表達能力；在常見Query-Doc雙塔結構基礎上，引入交叉塔（如交叉點擊率、時長等），提高特徵交互能力。
精排環節着重介紹在輸入表徵層、多目標建模層和輸出層的相關工作。
首先是模型輸入表徵層，爲了準確刻畫Query、用戶、Doc、上下文等多種維度、各種粒度、各種來源的輸入信息，我們從以下幾個方面進行表徵。
- Query語義表徵：搜索場景下Query是用戶需求的直接表達，借鑑向量檢索的工作，對Query進行了不同粒度的刻畫，通過多粒度語義網絡進行搜索詞表徵。
- 用戶序列表徵：引入用戶全站行爲序列，捕捉用戶長短期個性化偏好。搜索場景需要兼顧個性化和相關性，但用戶歷史行爲和當前搜索詞不一定存在關聯，爲此在主流建模方案DIN基礎上，引入零向量注意力機制來權衡個性化和相關性。具體來說，引入了Query語義表徵，對長尾低頻Item做過濾，幫助模型決策哪些歷史行爲和當次搜索詞相關，且在歷史行爲和搜索詞無關時不引入額外的噪聲。
- 多模態表徵：圖像、摘要等創意維度信息，對於用戶決策至關重要，也是內容高效分發的基石。爲此引入高維的多模態預訓練向量，並結合場景進行端到端降維，既引入了豐富的多模態語義信息，又能夠兼顧線上時延，對於刻畫用戶的多模偏好、提升新內容高效分發至關重要。
- 特徵重要度建模：通過動態權重的建模範式，捕捉樣本粒度的動態表徵，可以有效增強模型的表達能力。通過在EPNet、MaskNet等模型結構基礎上，結合場景特點設計域感知的多門控網絡、並聯結構，實現了特徵重要度的動態建模。
接下來是多目標建模層，由於點擊、時長、交互等各個目標行爲量級不同，導致優化過程中很容易出現蹺蹺板問題，爲此在模型結構、優化方式等方面進行相關探索。
- 模型結構：我們採用MMoE和PPNet融合的方案，爲了防止Gate極化現象，對門控網絡結構上進行dropout、設計skip connection等；在各個任務上會引入個性化因子，通過個性化網絡PPNet建模，MMoE和PPNet的輸出會拼接後傳到預估輸出層。
- 優化方式：底層稀疏Embedding很容易受到各個多目標梯度反傳的影響，造成梯度衝突，從而引起指標蹺蹺板問題。爲此針對重要的表徵增加參數量或新增任務特定表徵，並對重要表徵控制梯度反傳，時長或交互目標不更新底層部分Embedding或更新時設置較小學習率。
最後是模型輸出層，爲促進新內容、長尾內容分發，並保證模型輸出的預估分的穩定性和準確性，我們從探索結構和學習目標上進行了對應優化。
- 探索結構：搜索場景消費內容個數比推薦少，馬太效應問題也更加嚴重，對行爲積累不夠充足的新內容或長尾內容，預估不夠準確。爲此設計全鏈路冷啓和探索通道，並基於不確定性預估範式，在模型中引入基於對抗梯度的探索網絡，基於CTR預估的不確定性和對抗梯度在輸入側做擾動和探索。
- 學習目標：之前搜索場景採用的學習目標是Listwise的Lambdaloss，在排序能力上優於Pointwise，但預估準確性上不足，會造成後續鏈路無法使用預估分。業界有不少研究關於Listwise損失如何做預估校準，例如KDD 2023中阿里巴巴校準工作JRC、CIKM2023中Google校準工作等。參考相關工作並結合場景特點，在原有的LambdaLoss基礎上增加用於校準的Logloss，在梯度更新上控制校準Loss不影響底層的Embedding更新，只更新多目標建模層和輸出塔的參數，提高預估分數的穩定性和準確性，方便後續融合、混排等環節使用。
2.4 滿意度優化
除了優化內容消費指標如點擊、交互、時長等，搜索場景還很重視滿意度優化。用戶對搜索結果是否滿意，可以從結果是否相關、是否足夠新鮮、是否是對應地域、內容質量高低等顯式維度進行刻畫。
相關性是搜索滿意度中最基本、最重要的維度。大衆點評的很多內容有關聯商戶，可以比較方便地獲取很多明確的結構化信息，比如商戶類目、區域等，可用於輔助判斷相關性。但也可能由於內容誤關聯商戶帶來噪音，爲此需要綜合從圖片、文本、商戶信息進行關鍵信息抽取，作爲相關性模型的輸入。
除了相關性，搜索結果的時效性也很影響用戶體感。比如迪士尼瘋狂動物城園區開始對外開放，屬於突發性熱點，通過敏銳捕獲到突發熱點，在搜索“迪士尼”時優先呈現對應的結果，可以帶給用戶驚喜。另一類查詢詞如“平安夜”屬於週期性時效性熱點，每年到這個時間段都會有這樣的熱點。爲了更好地對時效性進行建模，從多個來源挖掘建立了熱點事件庫，接入商家自己提報的新鮮事，建立獨立召回通道進行承接，並結合線上點擊反饋進行誤識別糾正。
以上滿意度的評測通常較爲依賴人工標註，近期開始探索自動化標註，對比分析如下：
- 在成本和效率上，人工標註需要準確理解搜索訴求，並對結果進行精確評判，從相關性、地域性、時效性、內容質量等維度進行刻畫，成本非常高，通過自動化標註可以極大降低成本。
- 在標註準確率上，雖然還沒有完全達到人工標註的水平，但自動化標註也達到了可用標準。
- 在標註維度上，自動化標註可以比較方便地對原有標註維度進行擴充，成本變化可控，比如在Prompt中提供用戶的歷史行爲和偏好，就可以綜合判斷個性化需求是否得到了滿足。
- 在標註穩定性上，人工標註質量可能會受標註人員主觀判斷甚至心情影響，但自動化標註不會有這樣的問題。
在具體實現上，我們通過分步推理來實現自動化標註，首先分析用戶當前意圖，再結合當次搜索Query、搜索意圖、搜索結果等信息，從幾個維度對搜索結果進行分析，最終綜合判定當前搜索結果對需求的滿足程度。
2.5 多目標融合
在得到內容點擊、交互、時長、滿意度等多維度的預估分數後，多目標融合層負責融合各個維度分數並排序。
- 精準預估：多目標融合的前提是保證各個因子的打分穩定性和精準性，這也是前文提到做排序和校準聯合建模的原因。
- 融合搜參：通過AutoML方式進行自動搜參，尋找帕累托最優解，針對細分流量進行單獨搜參，更加精準地刻畫不同場景下對於各個目標之間的不同需求。
- 分發調控：將生態或調控導向的因子引入融合公式，進行分發調控，比如對於新內容的扶持、更老內容的分發治理、近距離和特殊供給扶持等。
2.6 異構混排
前面各環節動作集中在內容搜索自身鏈路上，而最終內容是作爲搜索結果的一部分和商戶、團單等不同類型結果混排，追求整體搜索收益的最大化，爲此需要進行多元異構混排。業界常見的混排建模方式包括端到端建模、價值融合公式、序列生成和評估等。
此外，本地生活領域流量分佈有獨有特點，在用戶快決策和慢決策的場景下，對內容的需求存在差異，午餐和晚餐流量高峯期對內容的點擊偏低，下午茶和夜宵等時段內容消費意願更強。結合內容和商戶峯谷差異，依託工程能力如流量價值預估、模型算力和服務穩定性監控等，進行算力動態適配，從而保證整體搜索結果更能滿足用戶需求。
3 總結與展望
綜上所述，大衆點評內容搜索通過優化用戶體驗持續提升滲透率，進入快速增長階段。在商戶體系之外構建了基於內容的搜索分發能力，同時針對站內需求和供給特點進行了專項建設。
在後續工作中，希望建立體驗問題的自動發現機制，幫助產運促進供給生產，並推動大模型在各個環節紮實落地、提升全鏈路的時效與性能，讓內容得到高效準確及時的分發，進而在本地生活信息領域形成體驗優勢，助力建設本地喫喝玩樂社區。
4 招聘信息
大衆點評內容智能團隊持續招聘中，如果你對大模型應用、搜索算法、內容理解等方面工作有經驗有熱情，歡迎聯繫 [email protected]，期待你的加入！
5 參考文獻
- [1] Li S, Lv F, Jin T, et al. Embedding-based product retrieval in taobao search[C]. Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. 2021: 3181-3189.
- [2] Ai Q, Hill D N, Vishwanathan S V N, et al. A zero attention model for personalized product search[C]. Proceedings of the 28th ACM International Conference on Information and Knowledge Management. 2019: 379-388.
- [3] Chang J, Zhang C, Hui Y, et al. Pepnet: Parameter and embedding personalized network for infusing with personalized prior information[C]. Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2023: 3795-3804.
- [4] Wang Z, She Q, Zhang J. MaskNet: Introducing feature-wise multiplication to CTR ranking models by instance-guided mask[J]. arXiv:2102.07619, 2021.
- [5] Chang J, Zhang C, Hui Y, et al. Pepnet: Parameter and embedding personalized network for infusing with personalized prior information[C]. Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2023: 3795-3804.
- [6] Burges C J C. From RankNet to LambdaRank to LambdaMART: An Overview; 2010[R]. MSR-TR-2010-82. Available from: https://www.microsoft.com/en-us/research/publication/from-ranknet-to-lambdarank-to-lambdamart-an-overview, 2010.
- [7] Sheng X R, Gao J, Cheng Y, et al. Joint optimization of ranking and calibration with contextualized hybrid model[C]. Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2023: 4813-4822.
- [8] Bai A, Jagerman R, Qin Z, et al. Regression Compatible Listwise Objectives for Calibrated Ranking with Binary Relevance[C]. Proceedings of the 32nd ACM International Conference on Information and Knowledge Management. 2023: 4502-4508.
| 在美團公衆號菜單欄對話框回覆【2023年貨】、【2022年貨】、【2021年貨】、【2020年貨】、【2019年貨】、【2018年貨】、【2017年貨】等關鍵詞，可查看美團技術團隊歷年技術文章合集。
