神經網絡學習-基礎數學與寫代碼實現能力-好博客理解註釋

①https://www.cnblogs.com/charlotte77/p/5629865.html 《一文弄懂神經網絡中的反向傳播法——BackPropagation》

神經網絡前向以及反向傳播寫的很好的一篇博文，又講了數學推倒，又有代碼實現，非常好！

②接着上一篇，又講了CNN原理與實現，非常精彩：

https://www.cnblogs.com/charlotte77/p/7759802.html

https://www.cnblogs.com/charlotte77/p/7783261.html

 

對彩色圖（三通道）的三維卷積核：

https://jiayi797.github.io/2017/10/31/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%AE%97%E6%B3%95-%E5%8D%B7%E7%A7%AF%E7%BD%91%E7%BB%9C/

③https://blog.csdn.net/chibangyuxun/article/details/53148005《機器學習算法--邏輯迴歸原理介紹》

講解了基礎算法之一-邏輯迴歸的基礎知識，並且加入瞭解決過擬合的-正則化簡介。

 

對①的重點註釋：

原文：https://www.cnblogs.com/charlotte77/p/5629865.html

•  

•  

 

 

 

(其中，把W ho改寫爲W outh1(o) 更容易理解，就是out-h1對應的兩個W的值,分別是W5與W7)

 

寫代碼的時候，前向傳播一層層傳播，每一層從上到下計算！例如計算隱層，分別計算h1，然後h2,則此層計算完畢；

反向傳播也是一樣，從後往前傳播，例如計算o層的偏導數，先計算ξo1,然後計算ξo2,則o層的偏導數計算完畢，（然後利用o層結果可以計算出對W5-8的偏導數）；繼續反向傳播，先計算ξh1（需要藉助於ξo1與ξo2的值）,再計算ξh2，則h1層偏導數計算完畢，（然後利用h層結果可以計算出對W1-4的偏導數）