1.6 Batch Norm 爲什麼奏效?
樣本變動(covariate shift)會使得模型的確定變得困難
在不同的mini-batch中,激活函數a可能會變化較大,batch norm可使其更加“歸一”
Batch Norm具有輕微的“正則化”效應,但這不是其目的,其目的在於加快訓練速度
1.7 測試時如何使用Batch Norm?
測試時,可使用指數加權平均法來計算均值和方差
1.8 Softmax 迴歸
Softmax可用於多分類,是二分類logistic迴歸的一般形式
Softmax層的計算
Softmax示例
1.9 訓練一個 Softmax 分類器
理解Softmax迴歸
Softmax迴歸的損失函數
Softmax的梯度下降
1.10 深度學習框架
1.11 TensorFlow
問題引入
Tensorflow代碼示例