當你站在人臉識別門禁閘口，掃臉，綠燈亮通過，就可以任意進出宿舍樓、圖書館、教學區等各種校內場所，你也許會想：機器認識我嗎？
當你站在人臉識別門禁閘口，掃臉，綠燈亮通過，就可以任意進出宿舍樓、圖書館、教學區等各種校內場所，你也許會想：機器認識我嗎？
實際並非如此。當前的AI識別能做的只是比對，它缺少信息進入大腦之後的加工、理解、思考步驟，因此僅僅停留在感知階段，而並非“認知”。而這種以感知智能技術爲主的人工智能，無論是在智能理解能力還是安全性方面，與人類智能都相去甚遠。
想要讓人工智能有類似大腦的活動，走到認知階段，需要讓它掌握知識、進行推理。機器必須要掌握大量的知識，特別是常識知識才能實現真正類人的智能。所以，“理解”與“解釋”是AI需要攻克的下一個挑戰，而認識圖譜爲“可解釋的AI”提供了全新的視角和機遇。
“Knowing yourself is the beginning of all wisdom.”亞里士多德的這句話，正是認知圖譜使命最好的概括。
那麼，想深入學習和研究認知圖譜，研讀該領域的經典論文，對於研究者和從業者都必不可缺。經過我們對人工智能領域國際頂會/期刊中“認知圖譜”相關關鍵詞論文的計算，以及熱心讀者徐菁博士的整理，AMiner推出了100篇認知圖譜經典必讀論文。這些論文可以說基本都是經典中的經典，他們多是領域大佬+頂級會議的組合，讀完它們，相信你對認知圖譜的認認識肯定會有質的飛越。
此外，AMiner還爲你特別準備了“一鍵綜述”服務，一鍵批量生成“論文綜述”，另有“論文精讀”加持，如此周到細緻，還不趕緊來體驗下。
在使用體驗過程若有任何意見，請在文末留言或郵件至[email protected]。
該List除了整合了認知圖譜領域的100篇經典論文，小脈還對這些論文進行了簡要分析。
先來看看它們都出自哪些會議？根據對論文出處的分析，它們大多選自NeurIPS、ICLR、ACL、EMNLP、IJCAI、AAAI等機器學習與自然語言處理領域的國際頂會。
根據對這些經典論文發表年份的統計，近十年這些論文主要發表在2016-2019這四年間，佔比達60%；在2014-2016年間也有不少經典論文發表。
再來看看入選作者，有一位大佬有4篇論文入選，他正是DeepMind的研究科學家Oriol Vinyals，在今年被評爲AI 2000機器學習全球最具影響力學者之一。還有三位作者有3篇論文入選，他們分別是微軟研究院合夥人研究經理高劍峯，佐治亞理工大學機器學習中心的教授宋樂，Facebook研究科學家、紐約大學客座教授Jason Weston，他們都是機器學習領域的大牛。另有21位作者都有2篇入選。
我們按照這100篇經典論文的被引量，挑選了其中的10篇作簡單評述，供大家學習參考。
我們近期還會推出《認知圖譜研究報告》，歡迎關注。
Neural Machine Translation by Jointly Learning to Align and Translate（ICLR 2015）
作者：Dzmitry Bahdanau，Kyunghyun Cho，Yoshua Bengio
單位：Jacobs University Bremen，Université de Montréal
引用量：9818
推薦理由：這篇論文的一作正是Yoshua Bengio的博士生Dzmitry Bahdanau。文中首次提出在神經網絡機器翻譯（NMT） 中使用Attention的機制，可以使模型自動確定源句子中和目標詞語最相關的部分，相比於基本encoder-decoder方法提高了翻譯效果。該文提出的方法優化了神經機器翻譯模型，其效果的提升對於長句子的翻譯尤其明顯。
Sequence to Sequence Learning with Neural Networks（NeurIPS2014)
作者：Ilya Sutskever，Oriol Vinyals，Quoc V. Le
單位：Google
引用量：8846
推薦理由：該文是谷歌發表於2014年NeurIPS的一篇神作，現已被廣泛使用的Sequence to Sequence模型論文。文中基於多層的長短期記憶網絡（LSTM），提出了一種對序列結構做最小假設的一般端到端序列學習方法，在長短句翻譯方面均表現優異。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（NAACL-HLT 2019）
作者：Jacob Devlin，Ming-Wei Chang，Kenton Lee，Kristina Toutanova
單位：Google
引用量：2952
推薦理由：該論文提出的BERT模型被各地學者、媒體美譽爲NLP新一代大殺器。文中提出了一種語言表達模型BERT，即Transformer的雙向編碼表示，它通過考慮所有層整個上下文對爲標註過的文本進行深度雙向表達的預訓練。實驗結果證明，使用預訓練過的BERT模型，僅僅在後面再包一層輸出層，並對其進行微調訓練，就可以取得不錯的效果。BERT在機器閱讀理解頂級水平測試SQuAD1.1中表現出驚人成績：全部兩個衡量指標上全面超越人類，並且還在11種不同NLP測試中創出最佳成績。
Ontology Learning for the Semantic Web（IEEE 2001）
作者：Alexander D. Maedche，Steffen Staab
單位：University of Karlsruhe
引用量：2932
推薦理由：本文提出了一種利用半自動本體構建工具，擴展典型本體工程環境的本體學習框架。該框架包括本體的導入、提取、裁剪、細化和評價。實驗結果表明，利用語義網和本體，該方法能夠實現全面的、可移植的機器理解。
Effective Approaches to Attention-based Neural Machine Translation（EMNLP 2015）
作者：Thang Luong，Hieu Pham，Christopher D. Manning
單位：Stanford University
引用量：2866
推薦理由：該文是NLP大牛Christopher D. Manning與他的博士生Thang Luong等人的佳作。也是繼Bahdanau等人提出Attention用於NLP的後續工作，作者提出了相對於之前工作的兩種新的但卻有效的注意力機制，全局注意力（global）和局部注意力（local）。其中，局部注意力機制的運用使得神經機器翻譯模型遠勝於非注意力機制模型（5個BLEU點）。在融合了各個注意力機制模型之後，它在英文翻譯到德文的多項任務中取得了SOTA的結果。
Attention Is All You Need（NeurIPS2017)
作者：Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszkoreit，Llion Jones，Aidan N. Gomez，Lukasz Kaiser，Illia Polosukhin
單位：Google，University of Toronto
引用量：2706
推薦理由：本篇文章的創新點在於拋棄了之前傳統的encoder-decoder模型必須結合CNN或者RNN的固有模式，只用Attention。文章提出一種基於注意機制的transformer模型，目的在於減少計算量和提高並行效率的同時不損害最終的實驗結果。結果表明，它能更好地完成機器翻譯任務，在質量上更優同時可並行化，所需的訓練時間明顯更少。
Translating Embeddings for Modeling Multi-relational Data（NeurIPS2013)
作者：Antoine Bordes，Nicolas Usunier，Alberto García-Durán，Jason Weston，Oksana Yakhnenko
單位：Universite de Technologie de Compi` egne (UTC)，Google
引用量：1660
推薦理由：本文提出了TransE，一種通過將關係解釋爲在實體的低維嵌入上操作的轉換來建模關係的方法。儘管它很簡單，但是這種假設被證明是強大的，因爲大量的實驗表明在兩個知識庫連接預測方面，TransE明顯優於目前最新的方法。它解決了多關係數據在低維向量空間中的嵌入問題，且模型易於訓練，包含較少的參數，可以擴展到非常大的數據庫。
Ontology Based Context Modeling and Reasoning using OWL（PerCom 2004）
作者：Xiaohang Wang，Daqing Zhang，Tao Gu，Hung Keng Pung
單位：National University of Singapore
引用量：1460
推薦理由：該文使用了OWL的基於本體的上下文建模和推理方法，在普適計算環境中建模上下文，並支持基於邏輯的上下文推理。
A Neural Attention Model for Abstractive Sentence Summarization （EMNLP 2015）
作者：Alexander M. Rush，Sumit Chopra，Jason Weston
單位：Facebook
引用量：1229
推薦理由：該文是神經網絡用於生成式模型的開篇之作，作者提出了利用Gigaword構建大量平行句對的方法，使得利用神經網絡訓練成爲可能，之後多篇工作都使用了該方法構建訓練數據。實驗結果表明，該方法使得文本文摘的性能提升，容易進行端到端訓練，並可擴展到大量的訓練數據。
Reasoning With Neural Tensor Networks for Knowledge Base Completion（NeurIPS2013)
作者：Richard Socher，Danqi Chen，Christopher D. Manning，Andrew Y. Ng
單位：Stanford University
引用量：1043
推薦理由：這篇論文是是吳恩達與曼寧團隊的佳作。這篇論文主要創新點表現在，相比前人在知識庫裏使用實體去預測關係，作者引入了一個損失函數爲雙線性的三層神經網絡(NTN)模型，並且對於實體向量初始化的處理採用非監督模型訓練得到的詞向量的平均值，大大提高了系統的準確率。
看完了以上佳作，更多經典論文請進入“認知圖譜”專題頁查看。
相關閱讀：