Machine Learning Yearning28~30

1.通過畫學習曲線來觀察。學習曲線:橫座標是不同數量的訓練樣本,縱座標是dev set的error。隨着訓練樣本的增加,error降低。一般來說,我們有一個期望誤差率,希望網絡能夠達到。比如:人類的誤差率;直覺上任務應該達到的誤差率;長期目標需要達到的誤差率。
這裏寫圖片描述
通過觀察上述曲線,可以推斷還需要多少訓練樣本才能達到期望誤差率。但是如果誤差曲線最後是平的:
這裏寫圖片描述
那麼,通過增加訓練數據是不能夠達到我們的要求的。通過這個曲線,我們就不需要去花費精力收集數據。
如果僅僅看dev集誤差率,很難推斷使用更多的數據,這個誤差率最終達到什麼程度,這個時候,我們就可以使用訓練誤差。

2.我們的測試誤差隨着訓練數據的增多而下降,但是訓練誤差會隨着訓練數據的增加而增加。
這裏寫圖片描述
雖然訓練誤差在增長,但是小於測試誤差。
上邊說,如果測試誤差隨着訓練數據的增加基本不在下降,那麼單單通過測試誤差不能確定增加訓練數據是否使得測試誤差達到什麼程度。因爲可能是測試集的問題(比如測試集較小,這個曲線噪聲較大)。
如果圖是這樣的:
這裏寫圖片描述
我們就可以自信的說,增加訓練數據永遠不能降低測試誤差,因爲訓練誤差高於期望誤差,網絡已經是高bias。由於測試誤差和訓練誤差接近,variance較低。
當然這些分析有一個前提是:一般來說,訓練誤差小於測試誤差。
所以最好畫出完整的(使用所有的訓練數據)訓練,測試誤差曲線。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章