吳恩達教授訪談Hinton教授摘要

視頻源地址:https://mooc.study.163.com/course/2001281002#/info

AI屆的兩位大牛的對話。總結如下:

1. Hinton的論文讓人們真正意義上地理解了反向傳播(BP)算法,1986年被Nature收錄。

最近在讀Hinton與1985年寫的一篇關於BP算法中Delta-Rule的文章,文章名字叫

LearningInternal Representations By Error Propagation

2.現代AI的觀點,也就是正式的結構主義觀點,任何一個概念都有許多其他概念與其相關,爲了理解一個概念,可能需要一個圖形結構或者一個語義網絡。

3. Hinton認爲他發現的那些算法或者網絡結構中,到目前他還很有興趣的是:

(1) Boltzmann機,用很簡單的學習算法去應用到密度很高的網絡結構中,但是運行速度很慢,於是提出了受限Boltzmann機,取得了很好的效果。

(2) 受限Boltzmann機的訓練,僅學習一層的隱藏特徵,然後重複地把這些特徵當成數據,一直重複,直到你想要的次數。

(3) 變分法,使得EM過程更有效。

4.ReLU激活函數等同於一疊Logistic神經元。

5.雖然未來無監督學習會變得很重要,但是目前主要的研究還是針對監督學習。

6.生成對抗網絡是深度學習中最新、最重要的想法。

7.入門深度學習的方法:

(1)多讀論文,但別讀太多(適合於比較有創新想法的童鞋)

(2)重現發表論文中的算法

(3)不要停止編程

(4)要相信自己的直覺,不要因爲大家都反對這個idea,就否定了自己的想法。

8.對於找導師的意見,一定要找個和自己認知相同的老師,你做的東西,導師也要贊同。

9.吳恩達和Hinton教授都認爲,深度學習雖然不像是第二次工業革命,但是規模相當,因爲人類和計算機的關係改變了,不再只是編程,而是教會計算機去學習。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章