清華劉洋與鄧力合著338頁新書《Deep Learning in Natural Language Processing》

【導讀】鄧力博士及劉洋博士等人合著的 Deep Learning in Natural Language Processing 一書系統介紹深度學習在 NLP 常見問題中的應用，而且是目前對此方面研究最新、最全面的綜述。本書還對 NLP 未來發展的研究方向進行了探討，包括神經符號整合框架、基於記憶的模型、先驗知識融合以及深度學習範式（如無監督學習、生成式學習、多模學習、多任務學習和元學習等）。

▌圖書介紹

1.本書由全球知名的 Deep Learning 和 NLP 專家鄧力博士領導的一組最活躍的研究人員撰寫，全面介紹了深度學習解決 NLP 中的基本問題，而且是目前對此方面研究最新、最全面的綜述。此外，面對高質量和前沿教科書和研究參考文獻的需求急劇上升的今天，本書的出版是對 NLP 中深度學習應用方面的巨大進步所作出的迅速反應。本書爲各行各業從業人員提供了一個獨特的參考指南，特別對於互聯網和人工智能創業領域，NLP 技術正在成爲一個關鍵的推動因素和核心競爭因素。—— 張宏江，Source Code Capital 創始人，前金山軟件 CEO

2.本書提供了深度學習在自然語言處理中的一個全面介紹。它由一羣經驗豐富的深度學習和自然語言處理專家寫成，並涵蓋了NLP領域中的絕大部分任務。這本書結構清晰，詳細介紹了包含主流應用到最新的深度學習技術，並闡述了它們的侷限性以及未來的發展方向。鑑於本書自成體系，精心的算法介紹，以及詳盡的案例說明，這本書向那些正在從事關於深度學習自然語言處理工作和研究人員提供了寶貴的指導。—— 王海峯百度副總裁，前ACL主席

3.本書主要爲大家全面呈現了深度學習在 NLP 領域應用的最新進展，並且特別介紹了卓有成效地應用了深度學習的 NLP 相關領域，比如語音翻譯、對話系統、詞法分析、語法分析、知識圖譜、機器翻譯、問題回答、情緒分析、社會計算以及（來自圖像的）自然語言生成。本書所面向的讀者包含有計算背景的研究生、博士生、教師、工業研究者，以及對 NLP 領域深度學習感興趣的任何人。—— 主編鄧力

本書由全球知名的 Deep Learning 和 NLP 專家鄧力博士領導國內外一篇活躍的NLP研究人員撰寫全面介紹了深度學習解決 NLP 中的基本問題。

Chapter 1: 深度學習與自然語言簡介(鄧力，劉洋)A Joint Introduction to Natural Language Processing and to Deep Learning
Chapter 2: 對話理解系統中的深度學習(Gokhan Tur, Asli Celikyilmaz，何曉冬， Dilek Hakkani-TÜr, 鄧力)Deep Learning in Conversational Language Understanding
Chapter 3: 語音與文本對話系統中的深度學習（(Asli Celikyilmaz, 鄧力, and Dilek Hakkani-TÜr)）Deep Learning in Spoken and Text-based Dialogue Systems
Chapter 4: 語法與詞法分析中的深度學習（車萬翔張嶽）Deep Learning in Lexical Analysis and Parsing
Chapter 5: 知識圖譜中的深度學習（劉知遠，韓先培）Deep Learning in Knowledge Graph
Chapter 6: 機器學習中的深度學習（劉洋，張家俊）Deep Learning in Machine Translation
Chapter 7: 問答系統中的深度學習（劉康，馮巖鬆）Deep Learning in Question Answering
Chapter 8: 情感分析中的深度學習（唐都鈺，張梅山）Deep Learning in Sentiment Analysis
Chapter 9: 社交計算中的深度學習（趙鑫，李晨亮）Deep Learning in Social Com-puting
Chapter 10: 看圖說話中的深度學習（何曉冬，鄧力）Deep Learning in Natural Language Generation from Images
Chapter 11: 後記（鄧力，劉洋）Epilogue

▌主要內容

深度學習 (Deep Learning) 是一個處理端到端學習和信息提煉所需的大量計算和數據的有力工具。因爲深度學習具有更復雜的分佈式表示、更精細的功能塊模塊化設計（如：層級注意力機制）和基於梯度的高效學習方法，它已經成爲解決越來越多自然語言處理 Natural language processing (NLP) 問題的主要範式和先進方法。深度學習的新思路與 NLP ,存在着微妙的聯繫。首先，儘管符號處理在人類認知領域發展較晚，但它具有高效邏輯推理能力和易於解釋兩個特點，這在許多 NLP 應用領域均不可或缺。可微分編程使用類似於張量積的編碼方式實現神經網絡和語言結構的統一表示，爲複雜、靈活和動態的結構化神經網絡帶來了高效的學習效率，這是符號處理和神經網絡兩大領域的福音。其次，正如本書各章中所證實： NLP 模型的動態特性正在逐漸被大衆所接受。一方面， NLP 究對象的本質是語言和文字，它們本身就有維度變化大的特點，比如文檔、句子或詞彙的（輸入）長度及結構是動態變化的。另一方面，在支持動態變化的神經網絡結構中，目前的深度學習框架已經可以實現可變維度的文本輸入。語言離散性的特點使它不能利用可微分編程實現端到端的學習，但通過一類基於模型逼近的鬆弛技術有望能夠解決這個難題，這爲使用自然出現的語言數據來提升機器學習和 NLP 提供了更多的可能性。

在本書中我們彙總了大多數深度學習方法應用於 NLP 領域的最新進展（包括2017下半年的最新研究進展）。在此基礎上，我們拓展了關於 NLP 前沿研究領域的五個發展方向：

1. 自然語言重組的泛化

1.1 NLP 的無監督學習

1.2 NLP 的強化學習

1.3 NLP 的元學習

1.4 基於深度學習的 NLP 系統的神經符號整合和可解釋性

近期有很多關於深度學習（尤其是 NLP 方面）拓展到更爲通用領域的熱點話題，在全書的最後一部分，我們對此進行簡要概述。泛化的本質是將深度神經網絡（如：參數化功能塊的計算圖表）從靜態轉爲動態。這意味着泛化可以使由許多可微分模型組成的網絡架構以數據相關的方式進行實時創建。正如本書很多章節中使用邏輯表達式、條件、賦值和循環等進行程序化編程，在可微分編程模型中，涉及到存儲、注意、堆棧、隊列和指針模塊的深度神經網絡架構亦如此實現。實際上，當前的深度學習框架（如： PyTorch, TensorFlow, Chainer, MXNet, CNTK等）更要追求模型的靈活性，因爲一旦高效的編譯器被開發出來，我們將需採用一個全新的軟件實現方式。以循環和條件判斷爲主的傳統編程邏輯將被淘汰，取而代之的是由神經網絡實現的參數化功能模塊的組裝圖表。其中的關鍵技術在於，基於模型的可微分性，使用高效的梯度優化方法，通過端到端的反向傳播學習從數據中自動訓練出組裝圖表中的所有參數，比如神經網絡的權重以及定義網絡非線性和存儲模塊的參數。

總之，我們相信在不久的將來，以廣義深度學習或可微分編程框架所創建的更加強大、更加靈活、更加先進的學習架構可以解決本書中所列舉的 NLP 前沿研究領域的遺留問題。不止於本書中所提及的研究成果，新的成就將會像雨後春筍般涌現，這一切都將會使我們越來越接近通用人工智能實現的日子。那時， NLP 將會成爲通用人工智能的一個重要組成部分呈現在大家面前。

▌作者介紹

主編

鄧力博士（人工智能科學家）

鄧力，2017年5月至今任對衝基金公司 Citadel 首席人工智能官（Chief Artificial-Intelligence Officer）。之前任微軟人工智能首席科學家。鄧力在2009 年就同 Geoffrey Hinton 教授合作，首次提出並將深度神經網絡應用到大規模語言識別中，顯著提高了機器對語音的識別率，極大推動了人機交互領域的發展與進步。目前，鄧力的研究方向主要爲應用於大數據、語音、文本、圖像和多模態處理的深度學習和機器智能方法，以及人工智能和深度學習在金融領域的應用。在語音、NLP、大數據分析、企業智能、互聯網搜索、機器智能、深度學習等領域，鄧力曾獲 70 多項美國或國際專利。同時，他還獲得過 IEEE、國際言語通訊協會、美國聲學協會、亞太信號與信息處理協會、微軟等組織授予的多項榮譽。2015 年，憑藉在深度學習與自動語音識別方向做出的傑出貢獻，鄧力獲 IEEE 技術成就獎。

劉洋博士

劉洋，清華大學計算機科學與技術系長聘副教授、博士生導師、智能技術與系統實驗室主任，國家優秀青年基金獲得者。研究方向是自然語言處理，在自然語言處理和人工智能領域重要國際刊物Computational Linguistics和國際會議ACL、EMNLP、IJCAI和AAAI上發表50餘篇論文，獲ACL 2017傑出論文獎和ACL 2006優秀亞洲自然語言處理論文獎。承擔10餘項國家自然科學基金、國家重點研發計劃、國家863計劃、國家科技支撐計劃和國際合作項目，2015年獲國家自然科學基金優秀青年項目資助。獲得2015年國家科技進步二等獎、2014年中國電子學會科學技術獎科技進步類一等獎、2009年北京市科學技術獎二等獎和2014年中國中文信息學會錢偉長中文信息處理科學技術獎漢王青年創新獎一等獎等多項科技獎勵。擔任或曾擔任國際計算語言學學會亞太分部執委會委員、SIGHAN Information Officer、中國中文信息學會青年工作委員會主任兼計算語言學專業委員會祕書長、Computational Linguistics編委、ACM TALLIP副編輯、ACL 2015組織委員會共同主席、ACL 2014講習班共同主席、ACL 2017/2018與EMNLP 2016/2018程序委員會機器翻譯領域共同主席、IJCAI 2016/2018和AAAI 2019資深程序委員會委員。

個人主頁：

http://nlp.csai.tsinghua.edu.cn/~ly/index_cn.html

主要參與作者

何曉東博士是京東AI研究院常務副院長、深度學習及語音和語言實驗室主任。他於 1996 年獲得清華大學（北京）學士學位， 1999 年獲得中國科學院（北京）碩士學位，並於2003獲哥倫比亞大學博士學位。他的研究興趣主要集中在人工智能領域，包括深度學習，自然語言，計算機視覺，語音，信息檢索和知識表示。加入京東之前，何曉冬博士就職於美國微軟雷德蒙德研究院，擔任主任研究員（Principal Researcher）及深度學習技術中心（DLTC）負責人，同時在位於西雅圖的華盛頓大學兼任教授、博士生導師。微軟在2018年1月推出的人工智能繪畫機器人正是出自何曉冬團隊的作品。
車萬翔哈爾濱工業大學計算機學院副教授、博士生導師。斯坦福大學訪問學者，合作導師Christopher Manning教授。現任中國中文信息學會計算語言學專業委員會委員、青年工作委員會副主任；中國計算機學會高級會員、YOCSEF哈爾濱主席。主要研究領域爲自然語言處理，在ACL、EMNLP、AAAI、IJCAI等國內外高水平期刊和會議上發表學術論文40於篇，其中AAAI 2013年的文章獲得了最佳論文提名獎，出版教材 2 部，譯著 2 部。目前承擔國家自然科學基金、973等多項科研項目。負責研發的語言技術平臺（LTP）已被600餘家單位共享，提供的在線“語言云”服務已有用戶1萬餘人，並授權給百度、騰訊、華爲等公司使用。2009年，獲CoNLL國際多語種句法和語義分析評測第1名。2016年獲黑龍江省科技進步一等獎；2015和2016連續兩年獲得Google Focused Research Award（谷歌專注研究獎）；2012年，獲黑龍江省技術發明獎二等獎；2010年獲錢偉長中文信息處理科學技術獎一等獎、首屆漢王青年創新獎等多項獎勵。
張嶽，新加坡科技設計大學助理教授。獲清華大學計算機科學與技術學士學位，牛津大學計算機科學碩士和博士學位。2012年加入新加坡科技設計大學之前，曾在英國劍橋大學擔任博士後研究員。對自然語言處理、機器學習和人工智能有濃厚的研究興趣，主要從事統計句法分析、文本生成、機器翻譯、情感分析和股票市場分析的研究。任ACM/IEEE TALLIP副主編及COLING 2014、NAACL 2015、EMNLP 2015、ACL 2017和EMNLP 2017的程序委員會領域主席和IALP 2017的程序委員會主席。
劉知遠，清華大學計算機系副教授、博士生導師。主要研究方向爲表示學習、知識圖譜和社會計算。2011年獲得清華大學博士學位，已在ACL、IJCAI、AAAI等人工智能領域的著名國際期刊和會議發表相關論文60餘篇，Google Scholar統計引用超過2700次。承擔多項國家自然科學基金。曾獲清華大學優秀博士學位論文、中國人工智能學會優秀博士學位論文、清華大學優秀博士後、中文信息學會青年創新獎，入選中國科學青年人才託舉工程、CCF-Intel青年學者提升計劃。擔任中文信息學會青年工作委員會執委、副主任，中文信息學會社會媒體處理專委會委員、祕書，SCI期刊Frontiers of Computer Science青年編委，ACL、COLING、IJCNLP領域主席。
韓先培，博士，中國科學院軟件研究所基礎軟件國家工程研究中心/計算機科學國家重點實驗室副研究員。主要研究方向是信息抽取、知識庫構建、語義計算以及智能問答系統。在ACL、SIGIR等重要國際會議發表論文20餘篇。韓先培是中國中文信息學會會員，中國中文信息學會語言與知識計算專業委員會祕書長及中國中文信息學會青年工作委員會委員。
張家俊於中科院自動化所獲得博士學位，現任中科院自動化所模式識別國家重點實驗室副研究員，中國科學院青年創新促進會會員。研究方向爲自然語言處理、機器翻譯、跨語言文本信息處理、深度學習等。現任人工智能學會青年工作委員會常務委員、中文信息學會計算語言學專委會和青年工作委員會委員。在國際著名期刊IEEE/ACM TASLP、IEEE Intelligent Systems、ACM TALLIP與國際重要會議AAAI、IJCAI、ACL、EMNLP、COLING等發表學術論文40餘篇。曾獲PACLIC-2009、NLPCC-2012(2017)和CWMT-2014最佳論文獎。2014年獲中國中文信息學會“錢偉長中文信息處理科學技術獎”一等獎（排名第三）。2015年入選首屆中國科協“青年人才託舉工程”計劃。
劉康，博士，現任中科院自動化所模式識別國家重點實驗室副研究員，西安電子科技大學客座教授。研究領域包括信息抽取、網絡挖掘、問答系統等，同時也涉及模式識別與機器學習方面的基礎研究。在自然語言處理、知識工程等領域國際重要會議和期刊發表論文九十餘篇（如TKDE、ACL、IJCAI、EMNLP、COLING、CIKM等），獲得KDD CUP 2011 Track2 全球亞軍，COLING 2014最佳論文獎，首屆“CCF-騰訊犀牛鳥基金卓越獎”、2014年度中國中文信息學會“錢偉長中文信息處理科學技術獎-漢王青年創新一等獎”、2015、2016 Google Focused Research Award等。
馮巖鬆北京大學計算機科學與技術研究所講師。2011年畢業於英國愛丁堡大學，獲得信息科學博士學位。主要研究方向包括自然語言處理、信息抽取、智能問答以及機器學習在自然語言處理中的應用；研究小組已連續三年在面向結構化知識庫的知識問答評測QALD中獲得第一名；相關工作已發表在TPAMI、ACL、EMNLP等主流期刊與會議上。作爲項目負責人或課題骨幹已承擔多項國家自然科學基金及科技部863計劃項目。分別在 2014 和 2015 年獲得 IBM Faculty Award。
唐都鈺，微軟亞洲研究院自然語言計算組研究員，主要從事包括智能問答、語義理解、常識推理等在內的自然語言處理基礎研究。唐都鈺博士論文題目爲《基於表示學習的文本情感分析研究》獲2016年中國中文信息學會優秀博士學位論文獎。
張梅山，新加坡科技與設計大學，博士後研究員。張梅山博士分別於2004年、2008年和2014年獲得中國地質大學(武漢)物理學學士、中科院軟件所計算機應用技術碩士和哈爾濱工業大學計算機應用技術博士學位，目前任職新加坡科技與設計大學博士後研究員。近年來發表各類論文23篇，其中，AAAI、ACL、EMNLP、COLING等領域頂級會議論文11篇。目前的主要研究興趣爲自然語言處理、情感分析和深度學習。
趙鑫，中國人民大學信息學院副教授，近五年內在國內外著名學術期刊與會議上發表論文近60篇，其中包括信息檢索領域頂級學術期刊ACM TOIS和學術會議SIGIR、數據挖掘領域頂級學術期刊IEEE TKDE/ACM TKDD和學術會議SIGKDD、自然語言處理頂級會議ACL/EMNLP/COLING。所發表的學術論文取得了一定的關注度，據Google Scholar統計（搜索 Wayne Xin Zhao），已發表論文共計被引用近1800次。擔任多個重要的國際會議或者期刊評審。目前承擔國家自然科學基金青年項目一項和北京市自然科學基金面上項目一項，以及橫向項目多項。
李晨亮，男，博士，副教授, 碩士生導師，2013年畢業於新加坡南洋理工大學計算機工程學院,獲博士學位。同年由武漢大學計算機學院引進，獲得優秀青年骨幹教師啓動資金。2015年入選武漢大學珞珈青年學者。研究興趣包括信息檢索、數據挖掘(文本挖掘)、自然語言處理、機器學習和社交媒體分析。其主要科研成果已先後發表在國際頂級學術期刊和會議上；擔任中國中文信息學會青年工作委員會委員、社交媒體專委會委員、信息檢索專委會委員。作爲骨幹成員參與新加坡教育部科學基金項目1項，新加坡國防部科技項目1項。2016年指導碩士生在CCF-A類會議SIGIR2016上發表長文論文一篇，並獲大會最佳學生論文提名獎（Best Student Paper Award Honorable Mention）

參考：

https://mp.weixin.qq.com/s/5A1L_DCOMvfNDwnTd95fug

https://mp.weixin.qq.com/s/ai8cnrwAXr3m1CWRc8BDVw

https://www.springer.com/gp/book/9789811052088

▌部分內容