關於反向傳播我聽到最好的解釋

首先,chain rule瞭解一下:
在這裏插入圖片描述
C是y_和y的距離(也可以理解爲損失函數)
在這裏插入圖片描述
C對w求偏微分,有兩部分,一部分是forward ,一部分是backward.
在這裏插入圖片描述
如何計算forward pass,非常簡單,就是input.
在這裏插入圖片描述
舉個例子:
在這裏插入圖片描述
接下來看backward pass:
在這裏插入圖片描述
將上圖與下圖對比,就可以看出backward的含義了,如果我們最最後面開始往前算,一步一步,就相當於反向傳播了。
在這裏插入圖片描述

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章