卷積
- 卷積核（filter）
- strides
- padding：利用好邊緣部分的特徵，避免圖片過小
（f-n）/s+1
池化
- 最大池化（常用）
- 平均池化
2*2 減半最爲常用
防止過擬合
- L1正則化：與參數的絕對值正比
- L2正則化：正比於參數的平方
- 數據增強
- 畫出訓練集和驗證集的loss曲線，提前終止迭代
- dropout：以1-keep_prop的概率決定是否消除某個節點，簡化網絡
- BatchNorm：
通過一定的規範化手段，把每層神經網絡任意神經元這個輸入值的分佈強行拉回到均值爲0方差爲1的標準正態分佈，其實就是把越來越偏的分佈強制拉回比較標準的分佈，這樣使得激活輸入值落在非線性函數對輸入比較敏感的區域，這樣輸入的小變化就會導致損失函數較大的變化，意思是這樣讓梯度變大，避免梯度消失問題產生，而且梯度變大意味着學習收斂速度快，能大大加快訓練速度。
激活函數
- sigmoid
- tanh
- ReLU
- LeakyReLU
高偏差與高方差
訓練集的錯誤率極低，而驗證集的錯誤率較高，則認爲發生了過擬合，即高方差
訓練集的錯誤率較高，驗證集的錯誤率也較高，則認爲發生了欠擬合，即高偏差