機器學習-斯坦福課程系列2【代價函數】

課程鏈接:
https://www.coursera.org/learn/machine-learning/home/week/1

今天學習1個重要概念,代價函數(Cost Function)。

之前學習了線性迴歸(Linear Regression)。在單變量的情況下,可以通過房屋的面積,預測房子的價格。把房屋面積看作x,房子價格看作y,建立函數關係即可。下圖表示了監督式學習中的一般性解決問題的流程:

這裏寫圖片描述

Training set指的是一系列已知的房屋面積和房價的數據,通過Learning algorithm,建立合適的算法模型(model),就可以預測房價。這裏僅涉及了房屋面積這一因變量。

實際應用中,模型建立得好不好,主要看預測是否準確。準確度,是要用數學來衡量的。概率統計中學過方差(variance)。方差可用於評價2組平均值相等的數據的優劣,方差越小,表示數據的波動小,數據更好。

代價函數

機器學習中有類似於方差的概念,即代價函數(Cost Function)。代價函數形式,與方差表達式,極爲接近。

這裏寫圖片描述

如果學習過方差,這個方程不難理解。這裏的hθ(xi)即爲構建的算法模型。

hθ(xi)=θ0 + θ1*xi;

如之前學習的房價例子,這裏的xi是某一組數據房屋面積,yi爲對應的房屋面積,而hθ(xi)是算法模型中的預測值。這裏的算法模型是線性的,因此θ0和θ1也就比較好理解。

有了代價函數J(θ0, θ1),不同的研究者對同一問題提出的算法模型就可以進行PK了,J越小,表示算法模型越精確。

下面來看,如何求J。爲了簡化問題,可以令θ0=0。
這裏寫圖片描述

圖的右邊的版本即爲簡化後的代價函數。

先舉一個理想化的例子,即所有的預測值和實際值相等。

這裏寫圖片描述

如果例子都這麼愉快,建模就毫無必要性啦。下面來看一個有偏差的例子。

這裏寫圖片描述

該例中的4個數據,一個都不準(這種算法程序員是要被炒的),求得的J也就比較大。

如果有多組數據集,可以得到不同的J(θ1),可以PK一下,J最小的勝出。

這裏寫圖片描述

圖中的J(θ1)有最小值,在θ1=1處是取得。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章