之前刷CS231n作業的時候,遇到的一些知識點,怕自己忘了,記錄在這裏。
Assignment2
- 最後的softmax之前千萬不要加relu,否則經過一段時間的sgd,會導致輸出全0。反向求導也無效。
- x.reshape(x.shape[0], -1).T != x.reshape(-1x.shape[0])
Assignment3
關於LSTM
- 反向傳播時狀態s也要反向傳播,而且要初始化爲0。原因和h類似,建議畫一下圖。
- h在反向傳播時,是後一個節點和當前層輸出對應loss的傳播之和。整體反向傳播的輸入參數的dh一般是指每一層的輸出對應的loss傳播。