cs231n---梯度下降

1 梯度計算

梯度：代表改變量對最終結果的影響

x,y,q處梯度<-4 對最終結果有消極影響

z處梯度>0 對最終結果有積極影響（給z一個小增量h，最終結果增加3h）

正梯度：損失隨其增加而增加

2 鏈式法則示例

反向傳播：不停使用鏈式法則，反向傳播中存儲局部梯度值

舉例：

max gate:梯度路由

add gate:梯度分配

3 向量化的操作：

梯度：雅可比矩陣 4096 * 4096 

對角矩陣：元素值爲1/0

minibatch訓練時： 100 *4096-d維數很大