BP神經網絡（手撕前向和反向傳播）

昨天突然看到BP，然後就心裏想手撕一下BP的原理和代碼，所以就今天看了看。有一個國外哥們寫BP寫的特別好：BP神經網絡。好了，接下來進從這幾個方面講述

BP神經網絡

1、什麼是BP？

是一種按照誤差逆向傳播算法訓練的多層前饋神經網絡

2、什麼是反向傳播？反向傳播傳播的是什麼？

我們反向傳播的目標是更新網絡中的每個權重，以便它們使實際輸出更接近目標輸出，從而將每個輸出神經元和整個網絡的誤差最小化。傳播的誤差，更新權重使得loss最小。

3、前向傳播

前向傳播傳數據的輸入，特徵的提取，分類。

前向傳播i

4、反向傳播

傳播誤差，更新權重讓loss變爲最小。

輸出層反向傳播

 

開始對隱藏層的權重進行更新，更新w1/w2/w3/w4.E01和E02對這四個權重都有影響

 

 

 

總結：手撕一遍反向傳播公式後才明白反向傳播真正的本質是什麼。