吳恩達深度學習學習筆記——C2W3——超參數調試、Batch正則化和程序框架-2

 

1.6 Batch Norm 爲什麼奏效?

樣本變動(covariate shift)會使得模型的確定變得困難

 

 

在不同的mini-batch中,激活函數a可能會變化較大,batch norm可使其更加“歸一”

 

Batch Norm具有輕微的“正則化”效應,但這不是其目的,其目的在於加快訓練速度

 

 

1.7 測試時如何使用Batch Norm?

測試時,可使用指數加權平均法來計算均值和方差

 

 

1.8 Softmax 迴歸

Softmax可用於多分類,是二分類logistic迴歸的一般形式

 

Softmax層的計算

 

 

Softmax示例

 

 

1.9 訓練一個 Softmax 分類器

理解Softmax迴歸

 

Softmax迴歸的損失函數

 

Softmax的梯度下降

 

 

1.10 深度學習框架

 

 

1.11 TensorFlow

問題引入

 

Tensorflow代碼示例

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章