博客 | EMNLP2018上FB、谷歌繼續並肩「刷榜」，瓜分最佳長論文和十分之一接受論文

雷鋒網 AI 科技評論按，自然語言處理頂會 EMNLP 2018 已經於 10 月 31 日開始了 Tutorial，正會將從 11 月 2 日開始。2017 年中，詞嵌入（word-embedding）毫無疑問是最爲火熱的方法，以至於有人開玩笑說 EMNLP 的名稱「自然語言處理實證方法（Empirical Methods in Natural Language Processing）」還不如解釋爲「自然語言處理嵌入方法（Embedding Methods in Natural Language Processing）」。

不過學術界顯然不會滿足於詞嵌入一種方法，2018 年發表的成果就多樣化地在更有難度的任務的嘗試、對已有方法的更深入的探討、對新方向的探索中展現了計算語言學的更多可能。這股新風氣在同爲自然語言處理頂會的 ACL 2018 的參會見聞中也有詳細說明。

作爲有專門的人工智能學術性研究院、有大規模團隊和高額科研預算的企業，Facebook 和谷歌一如既往地在 EMNLP 2018 上收穫頗豐。Facebook 有 14 篇論文被 EMNLP 接受，谷歌則有多達 26 篇（有一篇是兩者合作完成）。雖然目前 EMNLP 還沒有正式宣佈論文接受數目，但雷鋒網 AI 科技評論預計這個數目大概會在四百多篇。這樣一來，有接近 10% 的收錄論文就直接被 Facebook 和谷歌「承包」了。而且，EMNLP 2018 的兩篇最佳長論文也剛好一篇出自 Facebook，一篇出自谷歌。

下面我們來詳細看看這些研究成果。（文末提供這 39 篇論文的打包下載）

谷歌成果

（也許與谷歌的研究人員人數衆多有關，）谷歌在這次 EMNLP 2018 中的參與程度非常高。不僅有多位谷歌研究員將會在 EMNLP 大會中發表演講，涉及主題包括語言身份識別、分割、語義解析、問答系統，還有許多人員參與到了會議各個級別的組織工作中。

藉着論文被接受，谷歌也隆重推出了四個用於 NLP 任務的數據集。與現有的學術數據集在較理想的環境下進行評估不同，這四個新的數據集更關注的是實際部署的 NLP 系統會遇到的不那麼規範的用戶輸入，都包含了真實的、自然人類交流中會出現的文本。同時這四個數據集也可以兩類，一類是對目前已經過較多研究的核心 NLP 任務提出更高的挑戰，另一類則是在對語句重構/編輯並保持語義不變的條件下鼓勵探索新的研究方向。這些數據集的收集方式也非常有趣，讓人不得不感慨這個時代真是數據無處不在、無所不能。

數據集列表

Noun-Verb Ambiguity in POS Tagging Dataset，部分對話標註中的非動詞單詞歧義性數據集。出自論文《A Challenge Set and Methods for Noun-Verb Ambiguity》。這個數據集研究了非動詞單詞歧義性引起的部分對話標註中的錯誤。數據集中包含了 3 萬個經過標註的人類語言中自然出現的非平凡的非動詞單詞歧義的例子。不同的部分對話標註方法的準確率在這個數據集上分佈在 57% 到 75% 之間。

Query Wellformedness Dataset，問題完備性數據集。出自論文《Identifying Well-formed Natural Language Questions》。這個數據集研究了搜索引擎中通常由關鍵詞簡單串聯起來形成的用戶輸入與自然語言表述的完整句子構成的問答之間的關係。在實際應用中，區分關鍵詞組成的搜索詞組與自然語言問句也有很大的應用價值。這個數據集中包含了 2.5 萬個標註問句，並且帶有評分，評價這些問句與形式完備的自然語言問句之間的接近程度。

WikiSplit 數據集，分割與重新組織語句的語料。出自論文《Learning To Split and Rephrase From Wikipedia Edit History》。這個數據集是從維基百科的編輯記錄中抽取樣本，專門關注了從一個長句拆分成兩個獨立的短句，同時這兩個短句合起來表示的意思和原來的長句相同的樣本。這個數據集包含了一百萬個句子拆分樣本，詞彙量超過爲六十萬詞。

WikiAtomicEdits 數據集，來自原子性的維基百科編輯記錄的多語言對照語料。出自論文《WikiAtomicEdits: A Multilingual Corpus of Wikipedia Edits for Modeling Language and Discourse》。研究人們編輯維基百科時的語言運用方式可以用來理解語言自己的結構。在這項研究中，谷歌的研究人員們專門關注了兩種原子編輯操作：對一段連續的文本的一次性插入或者刪除操作。他們從編輯記錄中提取出了涵蓋 8 中語言的共四千三百萬次這樣的編輯操作，並表明了這些操作對於語言的蘊含和論述提供了有價值的信息。

論文列表

A Challenge Set and Methods for Noun-Verb Ambiguity

• 非動詞單詞歧義性的挑戰性數據集及方法
• http://aclweb.org/anthology/D18-1277

A Fast, Compact, Accurate Model for Language Identification of Codemixed Text

• 一個快速、緊湊、準確的模型，用於混有代碼的文本的語言辨別
• http://aclweb.org/anthology/D18-1030

AirDialogue: An Environment for Goal-Oriented Dialogue Research

• AirDialogue：一個爲面向目標的對話研究設計的環境
• http://aclweb.org/anthology/D18-1419

Content Explorer: Recommending Novel Entities for a Document Writer

• 內容瀏覽器：爲文檔作者推薦新的實體
• http://aclweb.org/anthology/D18-1374

Deep Relevance Ranking using Enhanced Document-Query Interactions

• 藉助增強的文檔-查詢互動的深度關聯性排序
• http://aclweb.org/anthology/D18-1211

HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering

• HotpotQA：用於多樣化、可解釋的多次跳轉問答的數據集
• http://aclweb.org/anthology/D18-1259

Identifying Well-formed Natural Language Questions

• 識別格式完備的自然語言問題
• http://aclweb.org/anthology/D18-1091

Learning To Split and Rephrase From Wikipedia Edit History

• 從維基百科的編輯歷史中學習分割和重新組織語句
• http://aclweb.org/anthology/D18-1080

Linguistically-Informed Self-Attention for Semantic Role Labeling

• 用於語義角色標註的考慮語言學信息的自我注意力方法
• 兩篇最佳長論文之一
• http://aclweb.org/anthology/D18-1548

Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text

• 使用知識庫和文本早期聚合技術的開放領域問答
• http://aclweb.org/anthology/D18-1455

Noise Contrastive Estimation for Conditional Models: Consistency and Statistical Efficiency

• 條件模型的噪聲對比估計：連續性與統計效率研究
• http://aclweb.org/anthology/D18-1405

Part-of-Speech Tagging for Code-Switched, Transliterated Texts without Explicit Language Identification

• 在不顯式指定語言的狀況下對代碼轉換的、根據讀音拼寫的文本做部分語句標註
• http://aclweb.org/anthology/D18-1347

Phrase-Indexed Question Answering: A New Challenge for Scalable Document Comprehension

• 以短語爲索引的問答：可拓展文檔理解的新挑戰
• http://aclweb.org/anthology/D18-1052

Policy Shaping and Generalized Update Equations for Semantic Parsing from Denotations

• 用於標誌文本的語意解析的策略塑造以及通用化更新公式
• http://aclweb.org/anthology/D18-1266

Revisiting Character-Based Neural Machine Translation with Capacity and Compression

• 帶着容量和壓縮的疑問，重新思考基於字符的神經機器翻譯
• http://aclweb.org/anthology/D18-1461

Self-governing neural networks for on-device short text classification

• 用於終端設備上的短文本分類任務的自組織神經網絡
• http://aclweb.org/anthology/D18-1105

Semi-Supervised Sequence Modeling with Cross-View Training

• 帶有跨視角訓練的半監督序列建模
• http://aclweb.org/anthology/D18-1217

State-of-the-art Chinese Word Segmentation with Bi-LSTMs

• 利用雙向LSTM的頂級中文分詞
• http://aclweb.org/anthology/D18-1529

Subgoal Discovery for Hierarchical Dialogue Policy Learning

• 用於層次化對話策略學習的次目標發掘
• http://aclweb.org/anthology/D18-1253

SwitchOut: an Efficient Data Augmentation Algorithm for Neural Machine Translation

• SwitchOut：一個用於神經機器翻譯的高效的數據擴增算法
• http://aclweb.org/anthology/D18-1100

The Importance of Generation Order in Language Modeling

• 對語言建模中生成順序的重要性的探究
• http://aclweb.org/anthology/D18-1324

Training Deeper Neural Machine Translation Models with Transparent Attention

• 利用透明注意力訓練更深的神經機器翻譯模型
• http://aclweb.org/anthology/D18-1338

Understanding Back-Translation at Scale

• 理解大規模反向翻譯
• 與 Facebook 合作完成
• http://aclweb.org/anthology/D18-1045

Unsupervised Natural Language Generation with Denoising Autoencoders

• 利用降噪自動編碼器進行無監督自然語言生成
• http://aclweb.org/anthology/D18-1426

WikiAtomicEdits: A Multilingual Corpus of Wikipedia Edits for Modeling Language and Discourse

• WikiAtomicEdits：用於語言建模和論述的多語言維基百科編輯記錄語料庫
• http://aclweb.org/anthology/D18-1028

WikiConv: A Corpus of the Complete Conversational History of a Large Online Collaborative Community

• WikiConv：一個大型在線合作型社區的完整對話歷史語料庫
• http://aclweb.org/anthology/D18-1305

Facebook

與谷歌類似，Facebook 也在開發新的數據集上花了不少功夫。他們這次在 EMNLP 2018 上帶來的數據集是 XNLI，它可以用於自然語言處理中的跨語言處理方法。這個數據集在目前廣泛使用的 MultiNLI 多風格自然語言推理語料庫基礎上增加了 14 種新的語言，其中包括了兩種稀缺語料資源的語言斯瓦希里語與烏爾都語。

論文列表

A Dataset for Telling the Stories of Social Media Videos

• 一個從社交媒體視頻講故事的數據集
• http://aclweb.org/anthology/D18-1117

Auto-Encoding Dictionary Definitions into Consistent Word Embeddings

• 把自動編碼字典的定義轉換爲連續的詞嵌入
• http://aclweb.org/anthology/D18-1181

Do explanations make VQA models more predictable to a human?

• 視覺問答模型的解釋能讓它們對人類來說更好預測嗎？
• http://aclweb.org/anthology/D18-1128

Dynamic Meta-Embeddings for Improved Sentence Representations

• 用動態元嵌入提供更好的句子表徵
• http://aclweb.org/anthology/D18-1176

Extending Neural Generative Conversational Model using External Knowledge Sources

• 用外部知識源拓展神經生成式對話模型
• http://aclweb.org/anthology/D18-1073

How agents see things: On visual representations in an emergent language game

• 智能體是怎麼觀察事物的：對演變語言遊戲中的視覺表徵的研究
• http://aclweb.org/anthology/D18-1119

Loss in Translation: Learning Bilingual Word Mapping with a Retrieval Criterion

• 在翻譯中迷失：通過回溯條件學習雙語單詞映射
• http://aclweb.org/anthology/D18-1330

Neural Compositional Denotational Semantics for Question Answering

• 用於問答的神經合成標誌語義
• http://aclweb.org/anthology/D18-1239

Non-Adversarial Unsupervised Word Translation

• 非對抗性訓練的無監督單詞翻譯
• http://aclweb.org/anthology/D18-1043

Phrase-Based & Neural Unsupervised Machine Translation

• 基於詞語的、無監督神經網絡的機器翻譯
• 兩篇最佳論文之一，雷鋒網 AI 科技評論解讀文章見 提升 11BLEU 的無監督機器翻譯
• http://aclweb.org/anthology/D18-1549
• https://arxiv.org/abs/1804.07755

Semantic Parsing for Task Oriented Dialog using Hierarchical Representations

• 通過層次化表徵對面向任務的對話做語義解析
• http://aclweb.org/anthology/D18-1300

Training Millions of Personalized Dialogue Agents

• 訓練一百萬個個性化定製的對話機器人
• http://aclweb.org/anthology/D18-1298

Understanding Back-Translation at Scale

• 理解大規模反向翻譯
• 與谷歌合作完成
• http://aclweb.org/anthology/D18-1045

XNLI: Evaluating Cross-lingual Sentence Representations

• XNLI：評價跨語言的句子表徵
• http://aclweb.org/anthology/D18-1269

論文打包下載：請訪問 http://ai.yanxishe.com/page/resourceDetail/622。更多 EMNLP 2018 報道，請繼續關注雷鋒網 AI 科技評論。