來源: AINLPer 微信公衆號（每日更新…）
編輯: ShuYini
校稿: ShuYini
時間: 2020-03-21
引言： 本次整理的論文還是主要偏向於Open-Domain QA，其中主要涉及到結合文本與知識庫的GRAFT-Net模型、基本詞彙的檢索-閱讀者模型、改進的DS-QA模型、結合了教育語義的動態概念網絡模型、**知識增強的圖神經網絡(KGNN)**等。
本次論文獲取方式：
1、百度雲鏈接，提取碼: tj6n
2、關注AINLPer 微信公衆號（每日更新…）回覆：QA004
3、知乎主頁–ShuYini
1、TILE: Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text
Author: Haitian Sun , Bhuwan Dhingra , Manzil Zaheer , Kathryn Mazaitis , Ruslan Salakhutdinov , William W. Cohen
Paper: https://arxiv.org/pdf/1809.00782v1.pdf
Code: https://github.com/OceanskySun/GraftNet
論文簡述： 開放域問答(QA)正從複雜的流水線系統向端到端的深度神經網絡發展。當前已經提出的專業神經模型，用於單獨從文本或知識庫(KBs)中提取答案。在本文中，討論了對知識庫和實體鏈接文本的組合進行QA，當不完整的知識庫與大型文本庫一起使用時，這種方法也是可行的。爲此本文提出了一種新的模型——GRAFT-Net，用於從包含文本和知識庫實體及關係的特定於問題的子圖中提取答案。本文爲這個問題構造了一套基準測試任務，改變問題的難度、訓練數據的數量和知識庫的完整性。
2、TILE: Learning to Attend On Essential Terms: An Enhanced Retriever-Reader Model for Open-domain Question Answering
Author: Jianmo Ni , Chenguang Zhu , Weizhu Chen , Julian McAuley
Paper: https://arxiv.org/pdf/1808.09492v5.pdf
Code: https://github.com/siqims/ARC-Challenge
論文簡述： 開放領域的問題回答仍然是一項具有挑戰性的任務，因爲它需要能夠理解問題和答案、收集有用信息以及對證據進行推理的模型。本文提出了一個在答疑過程中學習基本詞彙的檢索-閱讀者模型。建立(1)一個基本的術語選擇器，它首先識別一個問題中最重要的詞，然後重新制定查詢和搜索相關的證據;(2)一個增強的Reader，能夠區分基本的術語和分散注意力的詞語來預測答案。
3、TILE: Denoising Distantly Supervised Open-Domain Question Answering
Author: Yankai Lin , Haozhe Ji , Zhiyuan Liu , Maosong Sun
Paper: https://www.aclweb.org/anthology/P18-1161.pdf
Code: https://github.com/thunlp/OpenQA
論文簡述： 遠距離監督開放問題回答(DS-QA)旨在從未標記的文本集合中尋找答案。現有的DS-QA模型通常從大型語料庫中檢索相關段落，並應用閱讀理解技術從最相關的段落中提取答案。但是忽略了其它段落中包含的豐富信息。此外，遠距離監督數據不可避免地會伴隨錯誤的標註問題，這些噪聲數據會嚴重降低DS-QA的性能。爲了解決這些問題，本文提出了一個新穎的DS-QA模型，該模型使用一個段落選擇器過濾掉那些嘈雜的段落，並使用一個段落閱讀器從那些去噪的段落中提取正確的答案。
4、TILE: A Question-Focused Multi-Factor Attention Network for Question Answering
Author: Souvik Kundu , Hwee Tou Ng
Paper: https://arxiv.org/pdf/1801.08290v1.pdf
Code: https://github.com/nusnlp/amanda
論文簡述： 本文提出了一種新穎的端到端以問題爲中心的多因素注意力網絡，用於答案提取。 使用基於張量的變換進行多因素注意編碼聚合有意義的事實。 爲了隱式地推斷答案類型，本文還提出了一種最大注意力問題聚合機制，基於問題中的重要單詞對問題向量進行編碼。在預測過程中，我們將第一個wh-word及其緊接其後的單詞序列級編碼作爲附加的問題類型信息來源。本文提出的模型在三個大型QA數據集(即NewsQA、TriviaQA和SearchQA)上取得了顯著的改進。
5、TILE: EDUQA: Educational Domain Question Answering System using Conceptual Network Mapping
Author: Abhishek Agarwal , Nikhil Sachdeva , Raj Kamal Yadav , Vishaal Udandarao , Vrinda Mittal , Anubha Gupta , Abhinav Mathur
Paper: https://arxiv.org/pdf/1911.05013v1.pdf
Code: None
論文簡述： 現有的大多數問答模型可以大致分爲兩類：i）回答通用問題並使用大規模知識庫和目標Web語料庫檢索的開放域問答模型，以及ii）解決重點問題領域並使用複雜的深度學習模型。 以上兩種模型都是通過文本理解方法得出答案的。 由於它們無法捕捉文本內容的教學意義，因此這些模型不適用於教育學的教育領域。 在本文中，我們提出了一種結合了教育語義的動態概念網絡模型。 該模型通過在概念網絡上應用智能索引算法來保留概念實體之間的相關性，從而改善答案的產生。 該模型可用於構建交互式對話代理以幫助課堂學習。
6、TILE: Knowledge Guided Text Retrieval and Reading for Open Domain Question Answering
Author: Sewon Min , Danqi Chen , Luke Zettlemoyer , Hannaneh Hajishirzi
Paper: https://arxiv.org/pdf/1911.03868v1.pdf
Code: None
論文簡述： 本文提出了一種開放域問答(QA)的通用方法，該方法使用知識庫中的結構信息來建模段落之間的交互。本文首先描述如何從一個大型語料庫中構建一個段落圖，其中的關係要麼來自知識庫，要麼來自Wikipedia的內部結構。然後，引入了一個閱讀理解模型，該模型將該圖作爲輸入，以更好地建立段落對之間的關係。
7、TILE: How to Pre-Train Your Model? Comparison of Different Pre-Training Models for Biomedical Question Answering
Author: Sanjay Kamath , Brigitte Grau , Yue Ma
Paper: https://arxiv.org/pdf/1911.00712v1.pdf
Code: None
論文簡述： 在小規模數據集上使用深度學習模型會導致過度擬合。爲了克服這一問題，在圖像處理等領域廣泛地使用了對模型進行預處理並將其微調到小數據集的過程。類似地，在回答問題時，可以通過幾種方式進行預培訓和微調。一般的閱讀理解模型都是用於訓練前的，但我們發現其他類型的訓練效果更好。我們比較了兩種基於閱讀理解和開放領域問題回答模型的訓練前模型，並確定了在BIOASQ問題回答數據集上進行微調和測試時的性能。我們發現開放領域的問題回答模型比閱讀理解模型更適合這項任務。。
8、TILE: Multi-Paragraph Reasoning with Knowledge-enhanced Graph Neural Network
Author: Deming Ye , Yankai Lin , Zhenghao Liu , Zhiyuan Liu , Maosong Sun
Paper: https://arxiv.org/pdf/1911.02170v1.pdf
Code:
論文簡述： 多段推理對於開放域問答（OpenQA）來說是必不可少的，但是它在當前的OpenQA系統中受到的關注較少。在這項工作中，我們提出了一個知識增強的圖神經網絡(KGNN)，它可以對具有實體的多個段落進行推理。爲了顯式捕獲實體之間的關聯，KGNN利用知識圖中的關係事實來構建實體圖。實驗結果表明，相比於HotpotQA數據集的基準線方法，KGNN在干擾項和完整Wiki設置上均優於基線。 而且我們的進一步分析表明，KGNN在檢索到的段落較多的情況下是有效且強大的。。
Attention
更多自然語言處理相關知識，還請關注 AINLPer公衆號，極品乾貨即刻送達。