卷首语：人工智能发展趋势
作者：张俊林，新浪微博机器学习团队AI Lab负责人
人工智能最近几年发展得如火如荼，学术界、工业界、投资界各方一起发力，硬件、算
法与数据共同发展，不仅仅是大型互联网公司，包括大量创业公司以及传统行业的公司都开
始涉足人工智能行业。尽管最近一年在资本市场趋冷的大环境下，AI热度有所下降，但从
长远来看，人工智能在各行各业获得越来越广泛的应用一定是社会发展最大的趋势之一。
从AI基础设施来说，人工智能专用芯片的研发方兴未艾，不仅包括英伟达GPU、谷歌
TPU，国内的阿里、百度、华为等巨头公司，以及大量创业公司，都在AI芯片方面加快布局，
随着AI应用进一步渗透到IOT等方向，相信对专用芯片的需求会越来越广泛。而作为各种
AI应用开发工具的AI框架，也在之前的百花齐放式发展中逐步收敛，目前形成了PyTorch
引领学术界，TensorFlow主导工业界的双雄局面；而随着中台概念的日益兴起，国内大型互
联网公司也正在以AI中台的面貌推出各自的高层开发框架，大量AI创业公司则逐步转向金
融、安防等垂直行业深耕细作的模式。
从AI技术进展的角度来看，有几个明显的技术趋势已日益凸显。首先，随着以智能手
机为代表的移动终端计算存储能力快速加强，端AI与边缘计算技术正在快速发展与普及，
如何在应用效果尽可能高的前提下，将模型做小做精致做快，是这个发展方向的关键点。其
次，传统机器学习严重依赖训练数据的规模与质量，这制约了领域技术的快速发展，而最近
的明显趋势是由最常见的监督学习向半监督、自监督甚至无监督机器学习转向，如何用尽量
少的有标训练数据让机器自主学会更多的知识，是大有前景的发展方向；第三，AutoML正
在快速地渗透到各个AI应用领域，从最早的图像领域，目前已经拓展到NLP、推荐搜索、
GAN等多个领域，随着AutoML技术的逐渐成熟，搜索网络结构成本越来越低，相信会有更
多的领域模型会由机器来设计，而不是目前的算法专家主导的局面，这个技术趋势基本是确
定无疑的。再者，随着5G等传输技术的快速发展，视频、图片类应用快速成为最主流的APP
消费场景，而机器学习技术如何更好地融合文本、图片、视频、用户行为等各种不同模态的
信息，来达到更好的应用效果，相信也会越来越重要。另外，如何让机器能够生成高质量的
图片、视频、文本等生成领域，最近两年也出现了大量有效新技术比如图像领域的GAN以
及文本领域的GPT2等模型，而这种具备创造性的生成领域，虽然之前由于受到技术发展水
平限制，大家投入的精力不多，随着相关技术日益成熟，这块相信也会越来越重要。
从AI应用领域发展趋势来讲，最主要的几个AI方向比如自然语言处理、图像视频处理
及搜索推荐方向，最近一年来技术发展各自精彩纷呈，又呈现出不同的发展格局。
自然语言领域在最近两年发生了天翻地覆的技术变革，进入了技术井喷的快速发展期，
而这一巨变的引发者是由Bert为代表的预训练模型及新型特征抽取器Transformer的快速发
展与普及带来的。从Bert的应用来看，已经在包含对话系统、机器阅读理解、搜索、文本
分类….等几乎大多数NLP应用领域快速应用，并在部分应用领域取得了突破性的效果提升；
作为刚提出一年多的新型研究范式，我们目前对Transformer和Bert为何有效的理解还比较
浅显，同时Bert模型还有很多值得深入改进的方向，比如生成模型、训练方法优化、长文
档处理、多模态融合……等，都需要进一步更深入的研究。最近一年也陆续出现了大量效果
突出的改进模型，比如XLNet、RoBERTa、ALBert、GoogleT5等一系列改进。相信随着大家
对Bert的理解逐渐深入，对Bert模型的快速改进以及更多领域更好的应用效果会成为NLP
领域的常态，我们在不远的未来会看到NLP领域更多新模型的出现，以及这些新技术推动
实际应用场景的快速进步。
图像处理领域是AI的另一应用主战场，但是，除了近年来深度学习、ResNet两大图像
处理领域的巨大技术革新外，最近两年来，CV领域并未有特别巨大的技术革新与进步，目
前进入技术平稳发展期。归功于基础技术的快速进步，很多CV应用已相对成熟，所以近年
来我们体会更多的是各种前沿技术在各个行业的应用落地与实践。
对于推荐与搜索等具备较长工业化发展历史的AI应用领域，深度学习在最近两年已经
在各种互联网公司比较广泛地获得了尝试和应用。尽管并未像NLP与图像领域那样，深度
学习相对传统模型获得突飞猛进的技术突破，而且对于比如推荐领域DNN模型的效果到底
如何在学术上还存在争议，但是相信这些领域如果能够正确借鉴其它AI领域的技术进展，
会在未来两年内出现令人惊喜的效果突出的技术进化。
综合而言，AI技术发展整体进入快车道，不同领域又各有特色、发展阶段以及各自的
精彩。可以坚信的一点是：相信AI会日益渗透到我们生活的方方面面，帮助我们生活得更
轻松更美好！
目录
贝叶斯之父 Judea Pearl 推荐：机器学习因果推理的 7 个有用工具
人工智能 / 机器学习项目中广泛使用的七种顶级编程语言
成就李开复、姚期智、沈向洋等人，印度农村走出的 AI 大师 Raj Reddy
多次问鼎 NuerIPS、MRQA 等国际顶级比赛，百度 NLP 技术到底有多强？
机器学习框架局势突变：TensorFlow 逐渐式微，PyTorch 横扫顶会
AI 大佬“互怼”：图灵奖得主 Yoshua Bengio 杠上 Gary Marcus
阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点