反向傳播算法推導

反向傳播算法是人工神經網絡訓練時採用的一種通用方法，在現代深度學習中得到了大規模的應用。全連接神經網絡（多層感知器模型，MLP），卷積神經網絡（CNN），循環神經網絡（RNN）中都有它的實現版本。算法從多元複合函數求導的鏈式法則導出，遞推的計算神經網絡每一層參數的梯度值。算法名稱中的“誤差”是指損失函數對神經網絡每一層臨時輸出值的梯度。反向傳播算法從神經網絡的輸出層開始，利用遞推公式根據後一層的誤差計算本層的誤差，通過誤差計算本層參數的梯度值，然後將差項傳播到前一層。

反向傳播算法是一個通用的思路。全連接神經網絡給出的是全連接層的反向傳播實現；卷積神經網絡引入了卷積層和池化層，對這兩種層的反向傳播做了自己的處理；循環神經網絡因爲在各個時刻共享了權重矩陣和偏置向量，因此需要進行特殊處理，爲此出現了BPTT算法，誤差項沿着時間軸反向傳播。

詳見：

1. 反向傳播算法推導-全連接神經網絡

2. 理解神經網絡的激活函數

--------------------- 
作者：SIGAI_CSDN 
來源：CSDN 
原文：https://blog.csdn.net/SIGAI_CSDN/article/details/80949315 
版權聲明：本文爲博主原創文章，轉載請附上博文鏈接！