神經網絡中自定義LOSS的BP計算

先回顧一下高數當中學的鏈式法則

然後BP的想法就是不斷的用鏈式法則，直到鏈到能看到被導的未知數爲止.
如下圖，就是直到鏈到一個表達式中含有要求的被導變量
比如求dJ/dwi
那就一直鏈式法則下去，直到能看到zi=wi*yi-1+bi爲止，因爲到這裏對dzi/dwi的導數直接就可求得爲yi-1，而之前鏈式過程中所要求的導數在上一layer已經算的，所以可以BP從後往前算導數。
具體求解就如下圖所示。