吴恩达教授访谈Hinton教授摘要

视频源地址:https://mooc.study.163.com/course/2001281002#/info

AI届的两位大牛的对话。总结如下:

1. Hinton的论文让人们真正意义上地理解了反向传播(BP)算法,1986年被Nature收录。

最近在读Hinton与1985年写的一篇关于BP算法中Delta-Rule的文章,文章名字叫

LearningInternal Representations By Error Propagation

2.现代AI的观点,也就是正式的结构主义观点,任何一个概念都有许多其他概念与其相关,为了理解一个概念,可能需要一个图形结构或者一个语义网络。

3. Hinton认为他发现的那些算法或者网络结构中,到目前他还很有兴趣的是:

(1) Boltzmann机,用很简单的学习算法去应用到密度很高的网络结构中,但是运行速度很慢,于是提出了受限Boltzmann机,取得了很好的效果。

(2) 受限Boltzmann机的训练,仅学习一层的隐藏特征,然后重复地把这些特征当成数据,一直重复,直到你想要的次数。

(3) 变分法,使得EM过程更有效。

4.ReLU激活函数等同于一叠Logistic神经元。

5.虽然未来无监督学习会变得很重要,但是目前主要的研究还是针对监督学习。

6.生成对抗网络是深度学习中最新、最重要的想法。

7.入门深度学习的方法:

(1)多读论文,但别读太多(适合于比较有创新想法的童鞋)

(2)重现发表论文中的算法

(3)不要停止编程

(4)要相信自己的直觉,不要因为大家都反对这个idea,就否定了自己的想法。

8.对于找导师的意见,一定要找个和自己认知相同的老师,你做的东西,导师也要赞同。

9.吴恩达和Hinton教授都认为,深度学习虽然不像是第二次工业革命,但是规模相当,因为人类和计算机的关系改变了,不再只是编程,而是教会计算机去学习。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章