🔴1、防止過擬合（overfit）的方法
- 正則化：即在對模型的目標函數（objective function）或代價函數（cost function）加上正則項。
（L1正則與L2正則） - 提前停止迭代：當迭代過程中準確率不再上升時停止，或者是損失函數停止下降的時候。
- dropout：在每次訓練過程中隨機將部分神經元的權重置爲0，即讓一些神經元失效，這樣可以縮減參數量。
- 數據集增廣：重採樣、加噪音、GAN也可以啊。
🔴2、L1正則與L2正則：
- L2 正則化公式非常簡單，直接在原來的損失函數基礎上加上權重參數的平方和。L2讓所有特徵的係數都縮小，但是不會減爲0，它會使優化求解穩定快速。所以L2適用於特徵之間沒有關聯的情況。
- L1 正則化公式也很簡單，直接在原來的損失函數基礎上加上權重參數的絕對值。L1可以讓一部分特徵的係數縮小到0，從而間接實現特徵選擇。所以L1適用於特徵之間有關聯的情況。
- L1和L2的優點可以結合起來，這就是Elastic Net。
🔴3、二分類的評價指標:(準確率、精準率、召回率、混淆矩陣、AUC)
準確率:算法分類正確的數據個數/輸入算法的數據的個數。類別不均衡，缺點：特別是有極偏的數據存在的情況下，不適用。
混淆矩陣：二分類問題的混淆矩陣由 4 個數構成。首先我們將二分類問題中，我們關心的，少數的那一部分數據，我們稱之爲正例（positive）。第 1 個字母表示算法預測正確或者錯誤，第 2 個字母表示算法預測的結果。
精準率：預測爲正例的那些數據裏預測正確的數據個數。例如，在預測股票的時候，我們更關心精準率。
召回率：真實爲正例的那些數據裏預測正確的數據個數。在預測病患的場景下，我們更關注召回率。
F1 score：精準率和召回率的兼顧指標。
AUC:和 F1 score 差不多，都是綜合評價精準率和召回率的指標，只不過繪製 ROC 曲線使用了另外兩個此消彼長的指標 。橫座標：假正率（False positive rate， FPR），預測爲正但實際爲負的樣本佔所有負例樣本的比例；縱座標：真正率（True positive rate， TPR），這個其實就是召回率，預測爲正且實際爲正的樣本佔所有正例樣本的比例。
🔴4、前向傳播和反向傳播
- 前向傳播：從輸入經過各種網絡層，得到輸出求得損失函數值的過程。
- 反向傳播：通過損失函數值調節網絡各層的參數值的過程。求偏導的過程。
🔴5、卷積層的作用、pooling層的作用、全連接層、激活函數的作用
- 卷積層：1.相當於一個特徵提取器來提取特徵。2.提供了位置信息。3.減少了參數個數
- pooling層：1.提取特徵。2.減少參數。
- 全連接層：起到分類器的作用。對前層的特徵進行一個加權和，1*1卷積等價於fc，
- 激活函數：增加網絡的非線性表達能力。
🔴6、卷積（左）與反捲積（右）
🔴7、
🔴8、
🔴9、
🔴10、
待續…