吳恩達深度學習學習筆記——C1W3——淺層神經網絡-2

 3.6 激活函數

3.7 爲什麼需要非線性激活函數？

3.8 激活函數的導數

參考文章：

1. sigmoid函數求導過程

https://blog.csdn.net/zhangyingjie09/article/details/82180199

1. Tanh激活函數及求導過程

https://blog.csdn.net/qq_35200479/article/details/84502844

3.9 神經網絡的梯度下降法

3.10 （選修）直觀理解反向傳播

3.11 隨機初始化

爲什麼不能將權重W初始化爲零？因爲這樣做的話，同一隱層的每個節點的值將始終保持相同，失去了使用多個節點的意義（模型將過於簡單，而難以有所作爲）