1.神經網絡訓練
優化方法----SGD隨機梯度下降----Mini-batch SGD
梯度使用一個batch算出來的；如32張；
鏡像不改變內容，提高抗造能力，還可加噪聲；
前向傳播softmax歸一化後可以得到概率值,概率與真實的之間得到互熵損失loss；
反向傳播算法計算一個batch上的梯度，公式含學習率那個
2. CNN中去均值
上邊的--每個像素減均值----均值是每個像素點的三通道的均值----不同點不一樣；
下邊的---得到三個數字----全局的RGB的均值；
3. 權重初始化
若全爲0，無法更新方向權值；
https://blog.csdn.net/qq_15505637/article/details/79362970
4.batch normalization
激勵層過後的輸入是高斯分佈！
CNN學習出一種約束---滿足以上高斯的分佈；
4.
5.
6.框架
