AIS 2019(ACL IJCAI SIGIR)论文研讨会研究趋势汇总

AIS 2019(ACL IJCAI SIGIR)论文研讨会

“AIS 2019”是三大国际顶级会议的全面整合。其中，“A”代表自然语言处理领域最高级别会议ACL，“I”代表国际人工智能联合会议IJCAI，“S”代表信息检索国际论坛SIGIR。这三大会议代表了全球计算机、人工智能与信息检索领域的最新成果。会议以口头报告及展板展示相结合的形式，共同探讨NLP和IR等领域的前沿发展。

会议全程视频回放

ACL 进展综述-清华刘知远

ACL2019投稿统计

大约2700篇投稿，长文1609 短文 2086（长文录用率25%）

审稿人1610，其中领域主席230人

• 热门投稿领域与ACL2018一致（比例最高的、NLP进展最快的三个方向）

  • Information Extraction
  • Machine Learning
  • Machine Translation

• 投稿量激增的比较前沿的几个方向

  • Linguistic Theories
  • Cognitive Modeling and Psycholinguistics

• ACL进展趋势总结

  • 预训练语言模型
  • 低资源NLP任务
  • 模型可解释性
  • 更多任务&数据集

  这些进展趋势总结可能并不能完美地刻画NLP发展的全貌，但一定程度上是对现在研究热门方向的一个总结，接下来将分别介绍这几个方面的最新进程。

1. 预训练语言模型

深度学习2018年最重要的一个里程碑式的工作就是大规模的无监督的文本数据建模，上图所示为深度学习近年来在NLP领域的进展，我们可以将2018年NLP的进展列为Pre-trained language models。

• 对大规模无监督文本的学习最早可回溯到2013年，word2vec可以从大规模无监督文本中学习词向量，并刻画单词之间的语义关系。

  • 问题：未考虑一词多义，无法处理复杂上下文的相关理解

  • 解决：在word2vec之后，由于LSTM、RNN、GRU、Transformer一系列更复杂的模型出现，大家认为不需要预训练模型，只需要目标任务和目标的标注数据就可以得到很好的效果。但2018年预训练的语言模型其实是对2013年word2vec模型的一个扩展，我们需要关注的是预训练模型能否将上下文的语义捕获。

• 预训练语言模型

  • ELMo:双向LSTM - Deep contextualized word representations
  • OpenAI GPT:单向Transformer - Improving Language Understanding by Generative Pre-Training
  • BERT:双向Transformer - BERT

• 探索方向：多任务、多语言、复杂知识

  • ERNIE: Enhanced Language Representation with Informative Entities
  • ERNIE: Enhanced Representation through Knowledge Integration
  • Multi-Task Deep Neural Networks for Natural Language Understanding
  • Cross-lingual Language Model Pretraining

2. 低资源NLP任务

• 问题：当前很多NLP任务缺乏标注数据

• 解决思路：

  • 无监督方法
  • 引入领域知识
  • 半监督方法
  • 迁移学习（Transfer Learning）
  • 少次学习（Few-Shot Learning）
  • 元学习（Meta Learning）- Meta-Learning for Low-Resource Neural Machine Translation
  • 对抗训练（Adversarial Training）
  • 多任务学习（Multi-Task Learning）

• 一些新的思路：

  • 如何从非平行语料中学习词对译、翻译信息
  • 利用对抗训练使不同语言表示空间接近

3.模型可解释性

• 基于深度学习的NLP模型无法真正理解人类语言，不具有可解释性
• 实现真正的人工智能，需要建立鲁棒性可解释的自然语言处理模型
• 如何将常识、知识结合进来？
  • 记忆网络（Memory Networks）
  • 图神经网络（Graph Neural Networks）
• 可解释性问题的体现 —> 对于对抗样本攻击的敏感性
• 数据简单 —> 模型退化，模型学到的是非常过拟合的知识
• 结合知识图谱与文本进行推理
• 在NLP任务中考虑知识/常识

4. 更多任务&数据集

• 常识问答
• 多语言任务/数据集
  • 多语言自然语言推理
  • 多语言问答
• 跨段落\跨文档级别
  • 跨段落多步推理问答
  • 文档级别关系抽取(带推理信息)

(Unreliable) Estimation of IJCAI - 北大严睿

IJCAI的主讲人是北大的助理教授严睿博士，2016年8月加入北大，担任北京大学计算机所研究员。目前主要研究方向是自然语言处理、数据挖掘、深度学习、信息检索。在加入北大前，曾担任百度自然语言处理部资深研究员。更多科研信息见主页： http://www.ruiyan.me 。他的讲述方式非常轻快有趣，同时也加入了很多自己的见解。

投稿概述

• 和AAAI比较来看投稿数量和录用率

  • AAAI

    • 2017年AAAI: 638/2590 = 24.63%
    • 2018年 AAAI: 933/3800 = 24.55%
    • 2019年AAAI: 1150/7095 = 16.21%

  • IJCAI

    • 2017年IJCAI: 660/2540 = 25.98%

    • 2018年IJCAI: 710/3470 = 20.46%

    • 2019年IJCAI: (650+200)/4752 = 17.88%

• 审稿环节

  • 组织架构
    • PC chair:延续一直以来的单人操作流程，Chair很忙
    • Area chair:数量未知
    • SPC(Senior PC member):hundreds
    • PC:too many
  • 审稿流程
    • PC打分
    • SPC也需要下到战场参与打分:IJCAI vs AAAI
    • rebuttal
    • AC推荐意见
    • PC决定

趋势文字图

“Pre-training 预训练模型”部分和和前面刘知远老师的slides有部分重叠，这里不再重复做记录了～

Learning Metrics

• 无监督学习

  • 当data hungry的深度学习遇上标注数据不够的情况

• 多任务学习

  • 任务之间的关联关系是一个有意思的探索内容

• 迁移学习

  • 是否具有像人一样举一反三的能力

• 增强学习

  • 非常难调，但是效果很好

• 对抗学习

  • 近几年的热点，formulation很优美，缺点仍然也是很难调，也不stable

多模态

IJCAI作为一个AI综合的会议，涵盖NLP、CV、ML等各人工智能领域，在多模态部分的考虑主要是在语言(language)、视觉(vision)和音频(speech)的部分如何统一，如何建模。

知识与推理

主讲人在这一部分表达了他自己的一些思考和疑问，在前面展示的趋势文字图里没有看到知识(knowledge)和推理(reasoning)，但由于19年的词云图是用小样本生成的，因为IJCAI还没有给出完整的收录列表，因此可能还不全。 现在的AI学习方式还是缺乏实质内容，本质还是缺乏知识的支持，这一方面确实有几个问题值得思考：

• 什么是知识:结构化表达?外部数据?

• 有什么样的知识

• 怎么利用知识

• 知识怎么推理

• 怎么将知识和推理反馈到结果中去

  -> Still a long way to go:有一些前期的工作

AI应用与社会福利(AI Applications and Social Good ）

• AI会议比较喜欢新应用(IJCAI，AAAI)

• 大模型驱动下的AI应用

  • GPT 2:超大数据，超大参数，超大模型

• AI for Social Good

• 如AI for food，根据图片生成食谱

SIGIR-信息检索趋势-人大&清华

信息检索概述

• 两个最成功的应用（ Two most successful applications）

  • 搜索引擎（Web search engines）
  • 推荐系统（Recommendation systems）

• 三要素： Query - Document - Ranking

• Topics（SIGIR 2017）

SIGIR Topics

SIGIR作为信息检索领域最顶级的国际会议，我们也可以从SIGIR的Topics中看到信息检索领域的发展趋势。

可以看到2007年的时候信息检索主要用的是一些无参的模型，如Pagerank、BM25、TF-IDF等，基本上不需要做模型的参数训练，主要是把document做排序和组合就可以出结果。到2010年大家更多地是尝试提出一些模型来做rank,用户的浏览行为开始被研究。到2013年用户的个性化搜索得到了更多关注，推荐系统开始在信息检索中占有一个越来越重要的地位。到2016年机器学习和深度学习慢慢被用在信息检索中，"learning"开始变成一个关键词。

Trends in IR Community

下图展示的是SIGIR收到的有效长文的数量。

SWIRL会议

近两年在信息检索领域比较重要的事件是召开了SWIRL会议，很多信息检索的大牛和鼻祖都参加了该会议，而且这个会议一共只召开过三次，分别在2004、2012和2018。

IR未来的热门研究方向和趋势

即：

• 对话式信息查找

• 用信息检索去支持用户的信息需求和决策

• 机器学习在信息检索领域的应用

  等…

神经网络在信息检索方面的应用（Neural Information Retrieval）

一方面介绍了Christopher Manning作为SIGIR 2016的主讲人时曾经说过，神经网络已经在语音(2011)、图像(2013)和NLP(2015)方面产生了巨大的成功，在2017年将与信息检索结合，并且更多地需要关注NLP和IR的结合。另一方面介绍了Bhsakar Mitra(微软Bing课题组)在2018年出版的一本书"An introduction to neural information retrieval"。

最近今年也有一些workshops和tutorial让大家了解神经网络在信息检索领域的应用空间和发展情况。

• 两篇论文综述

  Neural information retrieval: at the end of the early years | SpringerLink

  A Deep Look into Neural Ranking Models for Information Retrieval-

  其中第一篇对早期的研究方向有一个比较好的综述，第二篇是DRMM(2016)模型的提出者2019年发表的综述。

神经信息检索其他几个方面

• Search vs. QA

  在搜索方面由于其已经有一些很强的基准模型，所以在查询场景下搜索比QA更难提升一点

• 基础架构(infrastructure)：Re-ranking vs. ranking

  • 考虑重排序是否能够对基本的ranking进行一个提升
  • Inverted index for semantic matching

• 一些神经模型

  • Capsule Network
  • GAN
  • Reinforcement Learning
  • BERT
  • …

知识增强的信息检索(Knowledge Enhanced IR)- Knowledge Graph

近几年，知识图谱和其他领域的研究结合得越来越紧密，在对话系统中就经常会使用知识图谱去增强信息的表现。而信息检索很难的一点就是如何根据用户的意图进行建模，因为查询词是有限的且通常很少，当我们想要对查询词和文档建立建立联系时，可以通过一些外部的信息知识做推理，能够帮助我们更好地理解用户的查询需求。下图展示的是SIGIR在应用知识图谱方向上的一些workshop：

Reference

1. 会议全程视频回放
2. 清华刘知远-视频链接