Machine Learning Yearning33~35

1.許多機器學習系統的目的是使得人類做的很好的事情進行自動化。如果人類對一個任務處理的較好，那麼我們可以相對容易的建造一個ML系統。原因有，1，容易獲得具有高質量標註的數據；2，能夠利用人類的直覺進行知道模型改進；3，將人類的表現和機器的表現進行對比。第3點還是比較重要的，因爲它可以在一定程度上指導我們，是否我們的模型能夠還有提高。
2.對於遠超，人類表現的ML系統，我們需要關注的問題有：1，收集數據比較難；2，人類直覺就很難起到指導作用，人都弄不好，怎麼設計算法來處理呢？3，我們很難知道，ML系統在這個任務上的上限。
說白了，人類的表現就是一個baseline。
3.那麼面對很多的人類表現（對於同一個任務，不同人會有不同的performance），我們選取哪個值爲人類baseline呢？選取錯誤率最小那個。但是，比如現有的ML系統錯誤率爲40%，那麼選取20%的baseline或者4%的baseline是無關緊要的。但是如果現在ML系統錯誤率已經達到10%，那麼設置2%的baseline還是有必要的。
4，說白了，如果人類的表現在某一方面勝過現有ML系統，那麼就有希望來提高系統能力的，通過1中的3個辦法。比如，雖然ML系統驗證集整體水平比人類高，但是部分樣本人類的表現比ML系統要好，那麼就還有提高的機會。當機器已經超過人類水平（比如，有部分應用是，當機器明顯出錯，人類還很難確定機器是否出錯），機器進步的速度相對而言會慢些。