一層網絡實際上是一個線性函數,即權重W與輸入x相乘(偏置項包含其中)
當我們增加一層,變爲兩層神經網絡
這裏的max是將第一層負數結果置爲0
用權重W2乘第一層結果
當我們擴展到三層即更多層,也是類似
那麼我們不使用max可以嗎?
我們看到,如果沒有max,W1 W2 可以合成一個大的W3,最後還是一個線性分類,沒有實質性改變
所以,這裏的max是不可去掉的,而這裏的max,被稱作激活函數
激活函數:
我們看到激活函數有很多種,也可以自己定義,我們上面使用的max,就是ReLu,也是在默認情況下效果較好的
激活函數給模型引入了非線性因素,使得深層神經網絡有了意義