近期，微軟研究團隊通過對上下文建模加以研究得出一種新的方法，這種方法能夠讓 AI 模型通過上下文的歷史記錄來改寫對話中的最後話語，那麼，這是一種怎樣的研究方法呢？
KYLE WIGGERS 對此做了詳細的介紹，雷鋒網將其文章進行了不改變願意的編譯，具體如下。
在一份預先出版的論文中，微軟研究團隊詳細地介紹了他們的工作——爲開放領域的對話進行無監督的上下文重寫。他們聲稱，在重寫質量和多輪響應生成方面，他們的實驗結果已經達到了最新基準。
正如研究人員所解釋的那樣，對話上下文提出了句子建模中所沒有的挑戰，比如主題轉換、共同引用（像他、她、它、他們這種）、長期依賴。大多數系統解決這些問題的方法是在最後一段話中添加關鍵字，或者用 AI 模型學習數字表示，但這種方法往往會遇到障礙，比如無法選擇正確的關鍵詞、無法處理較長的上下文等。
這時候，就是微軟研究團隊的方法的用武之地了。它通過對語境信息的考量，重新制定了對話中的最後一句話；這麼做是爲了生成一個獨立的話語，既不存在相互參照，也不依賴過去對話的其它話語。
雷鋒網注：【 圖片來源：Microsoft 所有者：Microsoft 】
舉個例子，如果將“我討厭喝咖啡。- - 爲什麼？它挺好喝的啊。”轉化成“爲什麼會討厭喝咖啡呢？它挺好喝的啊。”，這就借用了“它”和“爲什麼”。其中，“它”指代的是對話中提到的咖啡，“爲什麼”則是“爲什麼討厭喝咖啡”的縮寫形式。
對此，研究人員設計了一個機器學習系統——上下文重寫網絡（雷鋒網按：context rewriting network, CRN），來實現端到端的流程自動化。這個系統是由一個序列到序列模型組成的，它能夠將固定長度的話語映射到固定長度的重寫句子上。並且，它還具有一個獨立的注意力機制，這個機制能夠通過最後話語中的不同單詞來幫助它從上下文中複製單詞。
那麼，這個系統是如何被設計出來的呢？
首先，微軟研究團隊使用僞數據對模型進行了訓練，這些僞數據是通過提取上下文的關鍵字，將這些關鍵字插入到原始對話中的最後話語中來生成的。然後，爲了讓最後的響應影響重寫過程，他們利用了強化學習去推動系統朝着目標前進。
雷鋒網注：【 圖片來源：Microsoft 所有者：Microsoft 】
在一系列實驗中，該團隊評估了他們的方法在幾種重寫質量，多回合響應生成，多回合響應選擇以及基於端到端檢索的任務上的應用。他們注意到，由於他們的模型更傾向於從上下文中提取更多的單詞，因此該模型在強化學習後偶爾會變得不穩定，不過，這也顯著地提升了話語的多樣性。
微軟研究團隊認爲，他們的工作朝着更易解釋和更易控制的上下文建模中邁進了一步。另外，該研究團隊還表示，他們的模型可以從嘈雜的語境中提取出重要的關鍵詞，然後將這些關鍵詞插入到最後的話語中，使其不僅變得易於控制和解釋，還有助於將信息直接傳遞到最後的話語中。
本文轉自雷鋒網，如需轉載請至雷鋒網官網申請授權。