之前刷CS231n作业的时候,遇到的一些知识点,怕自己忘了,记录在这里。
Assignment2
- 最后的softmax之前千万不要加relu,否则经过一段时间的sgd,会导致输出全0。反向求导也无效。
- x.reshape(x.shape[0], -1).T != x.reshape(-1x.shape[0])
Assignment3
关于LSTM
- 反向传播时状态s也要反向传播,而且要初始化为0。原因和h类似,建议画一下图。
- h在反向传播时,是后一个节点和当前层输出对应loss的传播之和。整体反向传播的输入参数的dh一般是指每一层的输出对应的loss传播。