自然語言處理之路:方法——深度學習基礎

一個自然語言處理煉丹師的自白

往期:

自然語言處理之路:前提——英文

自然語言處理之路:前提——數學

自然語言處理之路:前提——語言學

自然語言處理之路:工具——七種兵器

自然語言處理之路:方法——機器學習基礎

深度學習現在不光是在學術圈,就連大衆們也被一波波媒體宣傳浪潮洗着腦。於是深度學習成了那隻風口上的豬,大家都想要蹭上它,帶着自己也飛起來。接着各種各樣的東西開始變得”deep”起來了,不”deep”就不夠潮。吳教授有節課提到,深度學習能有如此大的影響力很大程度和它這個名字有關。

同時,很多人進入深度學習領域,人多力量大,推動着深度學習的飛速發展。這期間大量工具的出現,數據集的規範化,硬件生產的大規模效應,也使得進入的門檻越來越低,這又導致更多的人進入。於是這樣就產生了一個正反饋系統,整個深度學習領域像在滾雪球一樣,看看今年 NIPS 那件審稿醜聞就知道有多瘋狂了,就連我最近投的 NLP 頂會 EMNLP 今年也是爆炸了,已經做好的準備了。

既然這麼多人想學,有需求就有供給,網上也就出現了各種各樣的學習資源,比如網課,博客,還有教程等,各式各樣。要把所有資源列出來是非常難的,這裏也就只能稍稍列出一些。

熱身運動

先來 Cho 老師的課堂筆記 Natural Language Understanding with Distributed Representation Lecture Notes,和之前機器學習文章中不同這次是有深度學習了,雖然書的名字沒有深度學習,但其實用在 NLP 裏的 Distributed Representation 就可以理解爲是深度學習網絡中的向量。關於深度學習讀前四章就好了。

接着是吳教授的公開課 deeplearning.ai,此刻一些吳教授的死忠們要怒了,居然敢把吳教授的課放在熱身運動。平心而論,吳教授課確實上的好,但太溫柔了,一切都給你準備好了,適合新人。或是接觸過的人回去再看看,溫故而知新。CNN 部分講得特別棒。

然後還有一個,一兩年前花書還沒出來時特別火的一本網上電子書,Michael Neilson 的Neural Networks and Deep Learning。這個材料比較好的是,會邊教你理論邊教你自己動手搭建一個模型,而且網絡上有代碼。

正式開始

OK,正式網課也非常多,這裏就推薦三款產品。

首先第一款,卡內基梅隆大學的 Introduction to Deep Learning,由 Bhiksha Raj 授課。一如 CMU 的一些其他課,特點是講得非常全面,無論是基礎的,經典的,還是最近的都有涉及到。在官網上,各種資料的鏈接也都有放出來,自己跟着課表一個個看下去就行了。

另外一款,個人很喜歡的 Hugo Larochelle 的網課 Neural networks class。深度學習說白的就是深度神經網絡,這裏面在網絡說得很全面。但不足的是,有很多話題沒有很深入,還有沒有太提最近很火的一些概念。

最後一款,網紅李飛飛大名鼎鼎的 CS231n 課,Convolutional Neural Networks for Computer Vision,這個其實我也不用多說,太有名了。對深度學習還有在計算機視覺方面應用的介紹非常棒,還有就是裏面的練習也設計得特別好。因爲很火的原因,練習也都能找到參考答案。

image

除了這三個之外當然還有很多啦,比如 Coursera 上 Hinton 大佬的神經網絡課(PPT 真心醜),還有 Udacity 上要付費的 Deep Learning Nanodegree (不想付錢的話直接翻牆從 youtube 看 Siraj 小哥的視頻,然後做作業也行。)

書,論文,還有博文

書嘛,很多很多。比如之前一直有提的花書《Deep Learning》,還有 O‘reilly (動物園)出版的深度學習相關,各種各樣,可以參考這個網站:The 7 best deep learning books you should be reading right now

image

其實蠻推薦的一種學習方法是,通過網課或者是看書積累一定基礎之後,選擇一個自己喜歡的課題或者領域。然後去找這個領域的論文,經典的,最近的都可以讀。

博文的話,特別推薦 Colah 的博客,視覺化和互動做得太棒了。WildML 裏面也有很多很棒的文章,特別是對新手來說,裏面有一個深度學習詞表 (Deep Learning Glossary) 特別有幫組。

好了,就到這裏啦。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章