【讀】文本摘要—(1)Faithful to the Original: Fact Aware Neural Abstractive Summarization

非學無以廣才,非志無以成學。

沒有找到原文章,只讀了預講會的ppt。出自於香港理工大學曹自強,Faithful to the Original: Fact Aware Neural Abstractive Summarization。收錄於AAAI 2018。

本文主要做了三個方面的工作:

(1)基於卷積神經網絡的sequence to sequence框架,將主題模型整合進自動摘要模型中。使用了開放的信息抽取和依存分析技術從源文本中提取實際的事實描述。

(2)提出dual-attention sequence-to-sequence框架來強制以源文本和提取的事實描述爲條件的生成。

目錄

Solution

Fact Extraction | OpenIE

Fact Extraction | Dependency Parsing

Statistics of Facts

Summarization Model

Framework

Data and Setting

Informativeness Performance

Faithfulness Performance

Conclusion


生成摘要不僅要保持信息充分,更重要的是信息的忠實性。

與抽取摘要不同,生成式摘要在融合原文本的過程中往往會創造出虛假的事實。曹自強在報告中介紹,目前有近 30% 的最先進的神經系統都會受到這種問題的困擾。以前生成式摘要主要着眼於信息性的提高,但作者認爲忠實性(也即「信」)是生成摘要的前提,非常重要。

Solution

將現有的事實編碼到摘要系統中

1.從源頭提取事實

      OpenIE

      依存分析

2.開發基於雙重注意力的seq2seq模型,以迫使生成的生成條件同時使用源文本和提取的事實

Fact Extraction | OpenIE

1.(主題;謂詞;對象)三元組
2.爲一模一樣的關係保留最長的三倍句子

Fact Extraction | Dependency Parsing

1.標籤(州長;依賴)元組

2.選擇與預測相關的標籤(例如,nsubj,dobj)和重要的修改器(例如,amod)

Statistics of Facts

原文中的單詞在摘要中被使用的可能性要高出40%

1.真正概況句子的意思

2.支持基於理解的壓縮摘要的實踐

Summarization Model

1.Two encoders (sentence and facts)

2.A dual-attention decoder

3.A context selection gate network (learn the importance of the sentence and facts)

Framework

Data and Setting

Dataset

Evaluation

Informativeness Automatic ROUGE
Faithfulness Manual annotation with FAITHFUL, FAKE and UNCLEAR labels

Informativeness Performance

我們的模型比其他方法獲得更高的ROUGE分數,門網絡優於連接,主要是由於事實的簡潔本質。

Faithfulness Performance

s2s傾向於將單詞複製到謂詞附近並將其視爲主語和賓語,事實確實指定了謂詞和它的主語和賓語之間的關係。

Conclusion

摘要首先研究了抽象概括的忠實問題;使用相對成熟的技術來提取事實;開發雙重注意力機制的s2s模型,以生成內容豐富且忠實的摘要。

爲了避免在生成摘要中產生虛假事實,作者使用了開放的信息抽取和依存分析技術從源文本中提取實際的事實描述,然後提出 dual-attention sequence-to-sequence 框架來強制以原文本和提取的事實描述爲條件的生成。實驗表明,他們的方法可以減少 80% 的虛假事實。

LINK

AAAI 2018預講會在哈工大成功舉辦,25篇頂會文章講了什麼(下)

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章