AI前線導讀：有人說：“2018年，人工智能領域最大的進展就是沒有進展。”不知道你對於這句話的看法是怎樣的，對於今天這篇文章的兩位主角來說，絕對不是這樣。在知名問答平臺Quora上，有網友提出了疑問：2018年人工智能/機器學習領域最大的進展是什麼？本文的兩位主角就是這一提問下的高贊回答者，就連AI領域的大師級人物Yann LeCun都轉發支持了他們的回答。今年，在號稱“寒冬”的時代，人工智能到底取得了哪些成果？我們一起來看看。
更多優質內容請關注微信公衆號“AI 前線”（ID：ai-front）
###框架之爭持續升溫，強化學習風頭正勁
回答來自Xavier Amatriain，前機器學習研究員，目前擔任多支工程技術團隊負責人。
如果要對2018年全年的機器學習發展狀況做出簡要總結，那麼我可能會給出以下結論：
- AI炒作與恐懼情緒開始逐漸降溫。
- 人們更多關注公平性、可解釋性或者因果關係等具體問題。
- 深度學習仍然地位穩固，並在實踐當中超越圖像分類這一傳統應用方向（特別是在自然語言處理方面表現良好）。
- AI框架領域的對抗正在升溫，要想在這一領域佔據一席之地，發佈自己的框架已經勢在必行。
下面，讓我們更詳盡地對上述觀點做出闡述。
如果說2017年代表着人工智能恐懼與炒作情緒全面來臨的元年，那麼2018年似乎是我們開始冷靜下來的一年。雖然某些統計數字表明AI恐懼情緒仍然存在，但隨着大量實際問題的出現，人們開始更多將關注重點放在具有現實意義的方向之上。與此同時，媒體及關注者們似乎開始認爲，雖然自動駕駛汽車及其它類似技術正在推進，但在短時間內仍然不可能全面落地。不過目前也有人在爲一些糟糕的觀點發聲，認爲我們應該規範AI本身，而非着力規範AI產生的結果。
我們很高興地看到，今年整個行業開始將關注重點放在更爲具體且擁有解決可能的問題身上。舉例來說，從業者們圍繞公平性原則進行了大量討論——除了與這一主題相關的各類會議（例如FATML以及ACM FAT）之外，谷歌公司還開始發佈在線課程。
除此之外，今年得到廣泛重視的議題還包括人工智能的可解釋性、解釋能力以及因果關係。
首先從因果關係談起，它之所以重新成爲人們的關注焦點，主要是因爲Judea Pearl出版的《The Book of Why》。作者除了下定決心撰寫這樣一本“具有普遍接受性”的論著之外，還藉助Twitter等媒體平臺着力提升關於因果關係這一重要問題的討論熱情。事實上，不少大衆媒體都將這本書視爲對現有人工智能方法的一種“挑戰”。
同樣值得一提的是，ACM Recsys大會上獲得最佳論文獎的論文，其核心內容正是討論如何實現因果關係的嵌入（詳見〈關於因果關係嵌入的建議〉，「Causal Embeddings for Recommendations」）。話雖如此，也有不少其他作者認爲因果關係在某種程度上代表着理論研究出現了“分心”——在他們看來，整個行業應該多關注更具體的問題，例如可解釋性與解釋能力。說到解釋能力，該領域的最大亮點之一當數Anchor論文與代碼的正式發表——該項目出自著名的 LIME模型的開發團隊。
儘管深度學習能否作爲最爲普遍的人工智能範式這一問題仍然存在不少爭議（我個人也一直在參與此類討論），Yann LeCun與Gary Marcus之間的思想碰撞也早已迭代了無數次，但可以肯定的有兩點：第一，深度學習絕不會就此止步；第二，深度學習還遠沒有達到其能夠達到的高度。更具體地講，在2018年年內，深度學習方法確實在計算機視覺之外的領域——從語言處理到醫療保健——取得了前所未有的成功。
事實上，深度學習最重大的影響很可能出現在自然語言處理（簡稱NLP）領域，這也是我們在今年當中親眼見證的最爲有趣的進展。如果一定要在今年之內選出最令人印象深刻的AI應用，那麼我個人的榜單上一定全都是自然語言處理類選項（而且全部來自谷歌）。位列榜首的是谷歌公司極具實用性的智能組合，其次則是師出同門的Duplex對話系統。
使用語言模型這一概念源自Fast.ai的UMLFit項目（這裏推薦大家參閱〈瞭解UMLFit〉，“Understanding UMLFit”），且極大加快了突破性進展的實現速度。除此之外，Allen的ELMO、Open AI的transformers乃至近期谷歌推出的BERT（目前已經擊敗衆多SOTA）都是這種進步的直接體現。這些模型堪稱“自然語言處理領域的Imagenet時刻”，它們能夠提供隨時可用的預訓練與通用模型，亦可針對特定任務進行微調。當然，除了語言模型之外，今年還出現了其它一些有趣的進步——例如Facebook的多語言嵌入等等。值得強調的是，我們還看到上述乃至更多其它方法被快速整合至通用性更高的自然語言處理框架當中——包括AllenNLP以及Zalando的FLAIR。
說到框架，今年的“AI框架之戰”可謂持續升溫、愈演愈烈。令人驚訝的是，正如PyTorch 1.0發佈公告中所言，PyTorch似乎正在縮小其與TensorFlow之間的差距。儘管Pytorch在生產環境中的表現仍然不夠理想，但其在這方面的進步速度絕對不容質疑；而TensorFlow則在可用性、說明文檔質量以及學習資源方面迎來改善。
有趣的是，PyTorch之所以擁有如此強勁的發展勢頭，很可能得益於Fast.ai庫將其作爲指定框架。話雖如此，谷歌公司顯然意識到了這一切，並正在朝着正確的方向前進——例如將Keras列爲首選框架，以及將Paige Bailey等頂尖開發領導者引入項目等等。總而言之，我們都能夠從這些卓越的資源當中獲益，因此請大家靜靜期待美好明天的到來！
另一個有趣的點在於，強化學習在框架領域當中也迎來了相當強勁的發展勢頭。雖然我認爲目前的強化學習進展無法與幾年前的態勢相比肩（最近真正具有份量的成果只有DeepMind的Impalawork），但令人意外的是，這一年當中幾乎所有主要AI參與方都發布了自己的RL框架。谷歌公司發佈了用於學術研究的Dopamine框架，Deep Mind（同樣屬於谷歌內部機構）則推出競爭性TRFL 框架。Facebook方面也不甘落後，發佈了Horizon框架；此外微軟公司擁有自己的TextWorld框架——專門面向基本文本的代理訓練。總之，希望這些開源項目能夠幫助我們在2019年迎來更多值得期待的強化學習研究進展。
談到框架這個話題，自然不能忽略谷歌公司最近以TensorFlow爲基礎發佈的TFRank。毫無疑問，排名機制是深度學習技術最爲重要的應用之一，而且其目前得到的重視程度仍然相對偏低。
在很多人看來，深度學習技術已經成功消除了智能化過程中對數據資源的需求，但實際情況遠非如此。
這一領域當中近期涌現出不少解決方案，用於對數據質量進行改進。舉例來說，雖然數據增量機制已經不是什麼新鮮事物，而且成爲衆多深度學習應用的核心所在，但今年穀歌仍然進一步推出了其auto-augment——這是一套深層強化學習方案，用於自動增強訓練數據。
業內還出現一種更爲極端的思路，即利用合成數據訓練深度學習模型。這種作法已經經歷了一段時間的驗證，而且不少人將其視爲人工智能未來發展的關鍵。英偉達公司就在其《利用合成數據訓練深度學習（Training Deep Learning with Synthetic Data）》這篇論文當中提出了不少有趣的新穎想法。而在我們發表的《向專家學習（Learning from the Experts）》一文中，作者還展示瞭如何將由專家系統生成的合成數據與實際數據相結合，從而共同用於深度學習系統訓練。
最後，同樣有趣的是通過使用“弱監督”機制顯著減少數據準備所帶來的大量手工標記需求。Snorkel是個非常重要的項目，旨在通過提供通用框架促進這一方法的實現。
儘管人工智能領域各類基礎性突破有所增加，但在我看來其絕對數量仍然不夠樂觀。
在這方面，我並不太贊同Hinton提出的，目前的創新缺失問題源自“行業當中年輕從業者太多而資深從業者太少”的結論——當然，我承認目前科學界確實存在着“突破性成果往往來自高齡研究者”的現象。
在我看來，目前缺乏突破性成果的主要原因，在於現有方法及其變體仍有着大量有趣的實踐性應用空間，因此從業者們很難或者不願冒險探索那些尚不具備實用意義的方向。考慮到當下大多數研究工作是由巨頭級企業贊助這一現狀，上述結論也更加符合邏輯。
無論如何，今年當中還是出現了一篇非常重要的、對一系列現有假設提出挑戰的論文，即《對序列建模類通用卷積與遞歸網絡的實證評估（An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling）》。雖然其中採用的仍然是以經驗性爲基礎的已知方法，但這篇論文仍然打開了新型實證方法的大門，並證明人們傳統意義上認爲最優的方法實際上並非最優。另一篇極具探索性的論文則是最近獲得NeurIPS最佳論文獎的《神經常微分方程（Neural Ordinary Differential Equations）》，其中對深度學習中的一些基礎性概念發起衝擊，包括層概念本身。
有趣的是，最後一篇論文的撰寫動機，在於作者在醫療保健數據（更具體地講，電子健康記錄）研究中的發現。很明顯，如果不涉及人工智能與醫療保健兩大行業的交集內容（這也是我在Curai的研究重點所在），我無法對這篇論文做出總結。遺憾的是，這部分交集可說的太多，恐怕需要另開一篇文章才能解釋清楚。
總而言之，在這裏我只向大家推薦MLHC大會與ML4H NeurIPS研討會上發佈的幾篇相關論文。我們Curai團隊提交的論文在MLHC與ML4H上都得到了通過，感興趣的朋友可以參閱這些重要的文獻資料，從而快速瞭解目前整個行業的發展態勢。
Julia正在成爲最適合機器學習的編程語言
Julia Computing公司（2015至今）聯合創始人兼CEO Viral Shah在回答中針對新興編程語言Julia在原生支持機器學習應用方面的進展做了總結：
2017年，我們在Julia社區進行了一輪機器學習/人工智能調查，並撰寫了一篇關於研究結果的博文，即《關於機器學習與編程語言（On Machine Learning and Programming Languages）》。我們在這篇博文當中得出以下結論：
機器學習模型已經成爲一種高度通用的信息處理系統，能夠構建起更高級別且更爲複雜的抽象；遞推、遞歸、高階模型，甚至是堆棧機器與語言解釋器，都可通過基礎組件的組合實現。機器學習是一種新的編程範式，且其中存在一些奇怪的特性——包括數值性、可微分性以及並行性。
2018年，我們專注於在Julia當中建立新功能，用以原生支持機器學習應用。我們在《爲機器學習構建語言與編譯器（Building a Language and Compiler for Machine Learning）》這篇博文當中彙報了我們在這方面的進展。
我們在NeurIPS 2018大會上的MLSYS研討會中通過4張海報展示了相關進展。下面，我們將對2018年的整體進展做出總結：
-
通過Julia語言內的整體AD工作關注微分編程。這項工作的大部分內容通過Julia編譯器1.0版本中的改進以及Cassette.jl實現，旨在向Julia編譯器當中注入新的、特定於上下文的行爲。如此一來，以Zygote.jl爲代表的各類工具包就能夠利用這些功能以實現Julia中的源到源AD。
-
原生針對性硬件加速器。Julia現在可以通過CUDAnative.jl工具包生成PTX，從而原生運行在GPU之上（https://docs.google.com/presentation/d/1l-BuAtyKgoVYakJSijaSqaTL3friESDyTOnU2OLqGoA/edit#slide=id.p）。此外，Broadcast GPU內核中的動態自動微分也顯示出超越現有工具的性能優勢。在TPU方面，Julia可以通過XLA.jl工具包使用XLA編譯器。
-
這些功能都已經被打包在Julia框架當中供研究人員以及用戶使用。《利用Flux實現Fashionable建模（Fashionable modeling with Flux）》論文對Flux.jl框架做出了詳盡闡述。最後，Knet.jl框架能夠利用多種手寫CUDA內核，同時也是目前速度最快的深度學習框架之一。
原文鏈接：
https://www.quora.com/What-were-the-most-significant-machine-learning-AI-advances-in-2018