AIS 2019(ACL IJCAI SIGIR)論文研討會

“AIS 2019”是三大國際頂級會議的全面整合。其中，“A”代表自然語言處理領域最高級別會議ACL，“I”代表國際人工智能聯合會議IJCAI，“S”代表信息檢索國際論壇SIGIR。這三大會議代表了全球計算機、人工智能與信息檢索領域的最新成果。會議以口頭報告及展板展示相結合的形式，共同探討NLP和IR等領域的前沿發展。

會議全程視頻回放

ACL 進展綜述-清華劉知遠

ACL2019投稿統計

大約2700篇投稿，長文1609 短文 2086（長文錄用率25%）

審稿人1610，其中領域主席230人

熱門投稿領域與ACL2018一致（比例最高的、NLP進展最快的三個方向）
- Information Extraction
- Machine Learning
- Machine Translation
投稿量激增的比較前沿的幾個方向
- Linguistic Theories
- Cognitive Modeling and Psycholinguistics
ACL進展趨勢總結
- 預訓練語言模型
- 低資源NLP任務
- 模型可解釋性
- 更多任務&數據集
這些進展趨勢總結可能並不能完美地刻畫NLP發展的全貌，但一定程度上是對現在研究熱門方向的一個總結，接下來將分別介紹這幾個方面的最新進程。

1. 預訓練語言模型

深度學習2018年最重要的一個里程碑式的工作就是大規模的無監督的文本數據建模，上圖所示爲深度學習近年來在NLP領域的進展，我們可以將2018年NLP的進展列爲Pre-trained language models。

對大規模無監督文本的學習最早可回溯到2013年，word2vec可以從大規模無監督文本中學習詞向量，並刻畫單詞之間的語義關係。
- 問題：未考慮一詞多義，無法處理複雜上下文的相關理解
- 解決：在word2vec之後，由於LSTM、RNN、GRU、Transformer一系列更復雜的模型出現，大家認爲不需要預訓練模型，只需要目標任務和目標的標註數據就可以得到很好的效果。但2018年預訓練的語言模型其實是對2013年word2vec模型的一個擴展，我們需要關注的是預訓練模型能否將上下文的語義捕獲。
預訓練語言模型
- ELMo:雙向LSTM - Deep contextualized word representations
- OpenAI GPT:單向Transformer - Improving Language Understanding by Generative Pre-Training
- BERT:雙向Transformer - BERT
探索方向：多任務、多語言、複雜知識

2. 低資源NLP任務

問題：當前很多NLP任務缺乏標註數據
解決思路：
- 無監督方法
- 引入領域知識
- 半監督方法
- 遷移學習（Transfer Learning）
- 少次學習（Few-Shot Learning）
- 元學習（Meta Learning）- Meta-Learning for Low-Resource Neural Machine Translation
- 對抗訓練（Adversarial Training）
- 多任務學習（Multi-Task Learning）
一些新的思路：
- 如何從非平行語料中學習詞對譯、翻譯信息
- 利用對抗訓練使不同語言表示空間接近

3.模型可解釋性

基於深度學習的NLP模型無法真正理解人類語言，不具有可解釋性
實現真正的人工智能，需要建立魯棒性可解釋的自然語言處理模型
如何將常識、知識結合進來？
- 記憶網絡（Memory Networks）
- 圖神經網絡（Graph Neural Networks）
可解釋性問題的體現 —> 對於對抗樣本攻擊的敏感性
數據簡單 —> 模型退化，模型學到的是非常過擬合的知識
結合知識圖譜與文本進行推理
在NLP任務中考慮知識/常識

4. 更多任務&數據集

常識問答
多語言任務/數據集
- 多語言自然語言推理
- 多語言問答
跨段落\跨文檔級別
- 跨段落多步推理問答
- 文檔級別關係抽取(帶推理信息)

(Unreliable) Estimation of IJCAI - 北大嚴睿

IJCAI的主講人是北大的助理教授嚴睿博士，2016年8月加入北大，擔任北京大學計算機所研究員。目前主要研究方向是自然語言處理、數據挖掘、深度學習、信息檢索。在加入北大前，曾擔任百度自然語言處理部資深研究員。更多科研信息見主頁： http://www.ruiyan.me 。他的講述方式非常輕快有趣，同時也加入了很多自己的見解。

投稿概述

和AAAI比較來看投稿數量和錄用率
- AAAI
  - 2017年AAAI: 638/2590 = 24.63%
  - 2018年 AAAI: 933/3800 = 24.55%
  - 2019年AAAI: 1150/7095 = 16.21%
- IJCAI
  - 2017年IJCAI: 660/2540 = 25.98%
  - 2018年IJCAI: 710/3470 = 20.46%
  - 2019年IJCAI: (650+200)/4752 = 17.88%
審稿環節
- 組織架構
  - PC chair:延續一直以來的單人操作流程，Chair很忙
  - Area chair:數量未知
  - SPC(Senior PC member):hundreds
  - PC:too many
- 審稿流程
  - PC打分
  - SPC也需要下到戰場參與打分:IJCAI vs AAAI
  - rebuttal
  - AC推薦意見
  - PC決定

趨勢文字圖

“Pre-training 預訓練模型”部分和和前面劉知遠老師的slides有部分重疊，這裏不再重複做記錄了～

Learning Metrics

無監督學習
- 當data hungry的深度學習遇上標註數據不夠的情況
多任務學習
- 任務之間的關聯關係是一個有意思的探索內容
遷移學習
- 是否具有像人一樣舉一反三的能力
增強學習
- 非常難調，但是效果很好
對抗學習
- 近幾年的熱點，formulation很優美，缺點仍然也是很難調，也不stable

多模態

IJCAI作爲一個AI綜合的會議，涵蓋NLP、CV、ML等各人工智能領域，在多模態部分的考慮主要是在語言(language)、視覺(vision)和音頻(speech)的部分如何統一，如何建模。

知識與推理

主講人在這一部分表達了他自己的一些思考和疑問，在前面展示的趨勢文字圖裏沒有看到知識(knowledge)和推理(reasoning)，但由於19年的詞雲圖是用小樣本生成的，因爲IJCAI還沒有給出完整的收錄列表，因此可能還不全。現在的AI學習方式還是缺乏實質內容，本質還是缺乏知識的支持，這一方面確實有幾個問題值得思考：

什麼是知識:結構化表達?外部數據?
有什麼樣的知識
怎麼利用知識
知識怎麼推理
怎麼將知識和推理反饋到結果中去

-> Still a long way to go:有一些前期的工作

AI應用與社會福利(AI Applications and Social Good ）

AI會議比較喜歡新應用(IJCAI，AAAI)
大模型驅動下的AI應用
- GPT 2:超大數據，超大參數，超大模型
AI for Social Good
如AI for food，根據圖片生成食譜

SIGIR-信息檢索趨勢-人大&清華

信息檢索概述

兩個最成功的應用（ Two most successful applications）
- 搜索引擎（Web search engines）
- 推薦系統（Recommendation systems）
三要素： Query - Document - Ranking
Topics（SIGIR 2017）

SIGIR Topics

SIGIR作爲信息檢索領域最頂級的國際會議，我們也可以從SIGIR的Topics中看到信息檢索領域的發展趨勢。

可以看到2007年的時候信息檢索主要用的是一些無參的模型，如Pagerank、BM25、TF-IDF等，基本上不需要做模型的參數訓練，主要是把document做排序和組合就可以出結果。到2010年大家更多地是嘗試提出一些模型來做rank,用戶的瀏覽行爲開始被研究。到2013年用戶的個性化搜索得到了更多關注，推薦系統開始在信息檢索中佔有一個越來越重要的地位。到2016年機器學習和深度學習慢慢被用在信息檢索中，"learning"開始變成一個關鍵詞。

Trends in IR Community

下圖展示的是SIGIR收到的有效長文的數量。

SWIRL會議

近兩年在信息檢索領域比較重要的事件是召開了SWIRL會議，很多信息檢索的大牛和鼻祖都參加了該會議，而且這個會議一共只召開過三次，分別在2004、2012和2018。

IR未來的熱門研究方向和趨勢

即：

對話式信息查找
用信息檢索去支持用戶的信息需求和決策
機器學習在信息檢索領域的應用

等…

神經網絡在信息檢索方面的應用（Neural Information Retrieval）

一方面介紹了Christopher Manning作爲SIGIR 2016的主講人時曾經說過，神經網絡已經在語音(2011)、圖像(2013)和NLP(2015)方面產生了巨大的成功，在2017年將與信息檢索結合，並且更多地需要關注NLP和IR的結合。另一方面介紹了Bhsakar Mitra(微軟Bing課題組)在2018年出版的一本書"An introduction to neural information retrieval"。

最近今年也有一些workshops和tutorial讓大家瞭解神經網絡在信息檢索領域的應用空間和發展情況。

兩篇論文綜述

Neural information retrieval: at the end of the early years | SpringerLink

A Deep Look into Neural Ranking Models for Information Retrieval-

其中第一篇對早期的研究方向有一個比較好的綜述，第二篇是DRMM(2016)模型的提出者2019年發表的綜述。

神經信息檢索其他幾個方面

Search vs. QA

在搜索方面由於其已經有一些很強的基準模型，所以在查詢場景下搜索比QA更難提升一點
基礎架構(infrastructure)：Re-ranking vs. ranking
- 考慮重排序是否能夠對基本的ranking進行一個提升
- Inverted index for semantic matching
一些神經模型
- Capsule Network
- GAN
- Reinforcement Learning
- BERT
- …

知識增強的信息檢索(Knowledge Enhanced IR)- Knowledge Graph

近幾年，知識圖譜和其他領域的研究結合得越來越緊密，在對話系統中就經常會使用知識圖譜去增強信息的表現。而信息檢索很難的一點就是如何根據用戶的意圖進行建模，因爲查詢詞是有限的且通常很少，當我們想要對查詢詞和文檔建立建立聯繫時，可以通過一些外部的信息知識做推理，能夠幫助我們更好地理解用戶的查詢需求。下圖展示的是SIGIR在應用知識圖譜方向上的一些workshop：

AIS 2019(ACL IJCAI SIGIR)論文研討會研究趨勢彙總