一層、兩層及多層神經網絡 與 激活函數作用 理解

一層網絡實際上是一個線性函數,即權重W與輸入x相乘(偏置項包含其中)

當我們增加一層,變爲兩層神經網絡

 

這裏的max是將第一層負數結果置爲0

用權重W2乘第一層結果

當我們擴展到三層即更多層,也是類似

那麼我們不使用max可以嗎?

 

我們看到,如果沒有max,W1 W2 可以合成一個大的W3,最後還是一個線性分類,沒有實質性改變

所以,這裏的max是不可去掉的,而這裏的max,被稱作激活函數

激活函數:

 

我們看到激活函數有很多種,也可以自己定義,我們上面使用的max,就是ReLu,也是在默認情況下效果較好的

激活函數給模型引入了非線性因素,使得深層神經網絡有了意義

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章