©PaperWeekly 原創 · 作者｜張琨
學校｜中國科學技術大學博士生
研究方向｜自然語言處理
論文標題：
Making the Relation Matters: Relation of Relation Learning Network for Sentence Semantic Matching
論文作者：
Kun Zhang, Le Wu, Guangyi Lv, Meng Wang, Enhong Chen, Shulan Ruan
論文鏈接：
https://arxiv.org/abs/2012.08920
動機
句子語義關係匹配是自然語言處理中基礎但重要的一項任務，並且有着廣泛的應用場景，檢索，對話，問答等實際場景都會用到。現有的方法可以大致分爲兩類：一類是直接對句子本身進行建模，利用 BERT，LSTM 等方法，或者生成語義表示向量在進行匹配分析，或者從細粒度的角度直接分析詞，短語之間的匹配；另一類還考慮了標籤的信息，因爲標籤也包含了一定的語義信息，通過 label embedding 的方法補充豐富的信息，從而得到句子語義匹配的關係。
本文認爲標籤的語義更多的指明瞭兩個句子的語義關係，而這部分是被現有研究忽略的，通過對語義關係的挖掘能夠更深入的挖掘句子的語義信息，抽取與語義關係相關的特徵，實現更好的句子語義關係建模。爲此，本文提出了 relation of relation modeling，從語義關係建模的角度進行句子語義關係匹配建模分析。
方法
首先是模型圖，整體模型分爲兩部分，第一部分是編碼部分，第二部分是關係識別部分。
2.1 編碼部分
這部分相對比較常規，首先輸入句子進行拼接之後送給 BERT 進行處理，得到全局的語義表示，這裏作者借鑑了 ELMo 的思想，選擇 BERT 每一層的輸出，然後通過任務相關的加權得到合適的句子中每個詞的表示，具體如下：
在此基礎上，考慮到 BERT 關注的更多的全局信息，對一些局部特徵的建模還有所欠缺，作者在這裏使用了 CNN 進行局部特徵抽取，通過利用不同尺寸的卷積覈實現更全面的局部特徵抽取：
2.2 關係識別部分
這部分是本文主要的貢獻之處，本文首先設計了一個關係的關係分類任務（Relation of Relation Classification），用於判斷輸入的兩對句子對的語義關係是否相同，是一個二分類問題，可以形式化表述爲：
2.2.1 關係的關係分類
針對這個問題，本文借鑑自監督學習（self-supervised learning）的思想設計了一個關係的關係分類模塊，要求輸入兩個句子，通過簡單的啓發式匹配，然後利用一個 MLP 進行二分類，模型圖中的子圖 D 展示了具體的結構，相關的過程可以表示爲：
2.2.2 關係的對比學習
除此之外，爲了進一步準確建模句子關係的關係，作者還將對比學習引入到這個模塊中，由於模型最終會學習到一個句子對的語義關係表示向量，因此，作者通過對比學習要求模型學習的語義關係表示向量在表示相同語義關係的時候要近一些，在表示不同語義關係時要距離的遠一些，從而使得模型能夠真正學習到與關係相關的一些不變特徵，充分發揮對比學習的作用。具體而言，作者首先利用 MLP 將三個不同輸入的語義關係表示向量映射到同一空間，然後分別計算正例對和負例對之間的距離，用於最後的計算。
2.2.3 語義關係預測
本文研究的是句子對之間的語義關係，因此還有一個模塊用於預測兩個句子之間的語義關係，這點就比較簡單了，直接用一個 mlp 和一個 softmax 函數進行預測就可以了。
2.3 損失函數
本文的方法不僅需要預測兩個句子之間的語義關係，還需要預測兩個句子對之間的語義關係是否相同，而且還要去優化對比學習的目標，因此作者使用了三個函數，並通過加權的形式將其整合起來。具體如下：
以上就是整個技術部分的細節。
實驗
在實驗部分，作者分別在自然語言推理（Natural Language Inference，NLI）任務和釋義識別（paraphrase identification，PI）任務上進行比較，部分實驗結果如下圖：
除此之外，作者還將表徵好的語義關係表示向量使用 T-sne 進行可視化展示，從實驗結果中可以看出，本文的方法學習到的語義關係表示向量能夠更有效的區分不同的語義關係（相同語義關係離的更近，不同語義管理距離的更遠）。
總結
從本文中可以看出，方法比較簡單，作者這是額外設計了一些新的利用語義關係的任務，同時利用對比學習對語義關係進行深入挖掘，從而進一步提升了語義匹配識別任務的效果，可以說是簡單有效。而且本文提出的方法能夠方便遷移到其他模型上，具有良好的可擴展性，是一篇很不錯的文章。
更多閱讀
#投 稿 通 道#
讓你的論文被更多人看到
如何才能讓更多的優質內容以更短路徑到達讀者羣體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成爲一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術乾貨。我們的目的只有一個，讓知識真正流動起來。
???? 來稿標準：
• 稿件確係個人原創作品，來稿需註明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）
• 如果文章並非首發，請在投稿時提醒並附上所有已發佈鏈接
• PaperWeekly 默認每篇文章都是首發，均會添加“原創”標誌
???? 投稿郵箱：
• 投稿郵箱：[email protected]
• 所有文章配圖，請單獨在附件中發送
• 請留下即時聯繫方式（微信或手機），以便我們在編輯發佈時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關於PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公衆號後臺點擊「交流羣」，小助手將把你帶入 PaperWeekly 的交流羣裏。
