先回顾一下高数当中学的链式法则
然后BP的想法就是不断的用链式法则,直到链到能看到被导的未知数为止.
如下图,就是直到链到一个表达式中含有要求的被导变量
比如求dJ/dwi
那就一直链式法则下去,直到能看到zi=wi*yi-1+bi为止,因为到这里对dzi/dwi的导数直接就可求得为yi-1,而之前链式过程中所要求的导数在上一layer已经算的,所以可以BP从后往前算导数。
具体求解就如下图所示。
先回顾一下高数当中学的链式法则
然后BP的想法就是不断的用链式法则,直到链到能看到被导的未知数为止.
如下图,就是直到链到一个表达式中含有要求的被导变量
比如求dJ/dwi
那就一直链式法则下去,直到能看到zi=wi*yi-1+bi为止,因为到这里对dzi/dwi的导数直接就可求得为yi-1,而之前链式过程中所要求的导数在上一layer已经算的,所以可以BP从后往前算导数。
具体求解就如下图所示。