原创 偏差、方差、欠擬合、過擬合、學習曲線

文章目錄欠擬合 under fitting過擬合 over fitting偏差與方差偏差 - 方差窘境 bias-variance dilemma學習曲線 learning curve 欠擬合 under fitting 欠

2020-05-30 23:43:56 5

原创 評估指標：混淆矩陣、PR、mAP、ROC、AUC

文章目錄TP、TN、FP、FN準確率 Accuracy 和 錯誤率 Error rate混淆矩陣 confusion matrix查準率 Precision 和 召回率 RecallPR 曲線AP 和 mAPROC 曲線ROC 曲線下

2018-12-19 09:15:07 175

原创 梯度下降優化算法

文章目錄梯度下降算法MomentumNAGAdagradAdadeltaRMSpropAdam算法的選擇 原文：An overview of gradient descent optimization algorithms 梯度

2018-12-19 09:15:06

原创 分類評分函數 score function

文章目錄從圖像到標籤分值的映射多類 SVM 分類器Softmax 分類器SVM 和 Softmax的比較 從圖像到標籤分值的映射 一個線性映射： f(xi,W,b)=Wxi+b\displaystyle f(x_i,W,b)=Wx_i

2018-12-15 00:42:34 16

原创 梯度下降 gradient descent

文章目錄導數偏導數方向導數梯度代價函數的梯度梯度下降的詳細算法先決條件算法過程代價損失中 θ 偏導數公式推導批量梯度下降（Batch Gradient Descent，BGD）隨機梯度下降法（Stochastic Gradient D

2018-12-14 00:54:44

原创 邏輯迴歸 logistic regression

雖然名字裏有迴歸，但實際上，邏輯迴歸算法是一種分類算法。 文章目錄指數函數 exp(x)S型函數 Sigmoid function對數函數 log(x)邏輯迴歸邏輯迴歸的代價函數 指數函數 exp(x) 現今指數函數通常特指以 eee

2018-12-14 00:54:34

原创 數據集劃分

使用數據集時，一般將其分爲三段：訓練集、驗證集、測試集。 測試集 決不能使用測試集來進行調優，會造成算法對測試集過擬合。應該把測試集看做非常珍貴的資源，不到最後一步，絕不使用它。 驗證集 由於測試數據集只使用一次，所以，從訓練

2018-12-14 00:54:34

原创 正則化方法：數據增強、regularization、dropout

文章目錄過擬合 overfitting數據增強正則化項範數 normL1 正則 Lasso regularizerL2 正則 Ridge Regularizer / Weight DecayL1 與 L2 的差異Dropout 過擬合

2018-12-14 00:54:34

原创 偏差、方差、欠擬合、過擬合

欠擬合 under fitting 欠擬合(under fitting)，這個問題的另一個術語叫做 高偏差(High bias)。這兩種說法大致相似，意思是它沒有很好地擬合訓練數據。 過擬合 over fitting

2018-12-14 00:54:34 1

原创 權重初始化

在開始訓練網絡之前，需要初始化網絡的參數。 錯誤：全零初始化 雖然可以假設最終的權重數值中，大約一半爲正數，一半爲負數，但不能因此把這些權重的初始值都設爲 0。 因爲如果網絡中的每個神經元都計算出同樣的輸出，它們就會在反向傳播中計

2018-12-14 00:54:34

原创 目標函數、損失函數、代價函數

損失函數 (Loss function) ，是單個樣例 iii 的損失/誤差： ∣hθ(xi)−yi∣| h_{θ}(x^i) - y^i |∣hθ​(xi)−yi∣ 代價函數 (Cost function) ，是對數據集整體

2018-12-13 01:11:13

原创 特徵縮放 feature scaling

樣本不同特徵的取值範圍如果不一樣，可能導致迭代很慢，爲了減少特徵取值的影響，可以對特徵數據進行縮放，加速算法的收斂。常見的映射範圍有 [0,1][0, 1][0,1] 和 [−1,1][-1, 1][−1,1]。 常見的特徵縮放方法有

2018-12-13 01:11:13 7

原创 學習速率 learning rate

學習速率的選取策略 運用梯度下降算法進行優化時，權重的更新規則中，在梯度項前會乘以一個係數，這個係數就叫學習速率 ααα ： 如果學習速率太小，則會使收斂過慢。 如果學習速率太大，則會導致代價函數振盪，迭代過快，梯度下降法可能

2018-12-13 01:11:13 19

原创 線性迴歸 linear regression

迴歸一詞，指的是我們根據已有的數據，預測出一個準確的輸出值。 假設函數 一元線性迴歸的假設函數模型： hθ(x)=θ0+θ1∗xh_{θ}(x) = θ_0 + θ_1 * xhθ​(x)=θ0​+θ1​∗x xxx：表示輸入變量

2018-12-13 01:11:12

原创 矩陣運算

文章目錄NumPy 中的數組和矩陣創建數組訪問數組Numpy 的廣播機制 Broadcasting矩陣加法 / 減法矩陣數乘矩陣轉置矩陣乘法單位矩陣 （Identity matrix）逆矩陣（matrix inversion） Num

2018-12-11 13:05:25