學習了機器學習，以及tensorflow，想將這個重點思想回顧，複習——基於吳恩達的機器學習。
代價函數
代價函數（Cost Function ）是定義在整個訓練集上的，是所有樣本誤差的平均，也就是損失函數的平均。
例如，在上述例子中，有6個數據，我們簡稱數據集，我們應該如何找到一個合適的函數來擬合這6個數據呢？
即h=kx+b，我們應該怎麼找到表示k和b最合適的數據，使得訓練集中的數據更加準確？
即，在我們訓練集中，使得預測值h與實際值y，之間的差異最小，即h-y最小，此時數據最擬合。
所以，如下所示的公式最小：
m
∑（h（x(i)）-y(i))²
i=1
所以,上述式子爲：m（樣本個數）個h-y的平方的和。我們應該儘量讓這個值小。
所以上述例子即爲最小二乘法：
——————m
min=1/2m * ∑（h（x(i)）-y(i))²
——————i=1
所以代價函數爲：
——————m
J(k,b)=1/2m * ∑（h（x(i)）-y(i))²
——————i=1
這個就是代價函數的最基本的理解，平方誤差函數（萌新理解法），下面爲代價函數常規寫法：
例如：
可以看出，我們這個3個數據中，產生的函數爲y=θ1 *x
那麼損失函數爲
——————m
J(θ1)=1/2m * ∑（y（x(i)）-y(i))²
——————i=1
J(θ1)=（1-1）²+（2-2）²+（3-3）²=0
所以損失函數的值爲0，即擬合此數據
上述中θ1=0.5，那麼損失函數J（θ1）=0.68，同理θ1=0時，那麼損失函數J（θ1）=2.3…等等，所以，最後損失函數的圖像爲：
他有一個最佳點。θ1=1，所以如果數據變多，如下時：
我們h=kx+b時，k和b如何求最佳值呢？
上述圖中h(x)=θ1x+θ0，我們如何求出最佳值？，此時他不是一個簡單的圖形了，它顯示如下：
一個立體三維的圖形，但是我們依舊能夠找到他的最佳值，我們將其變成二維：
如圖，紅點數據，即爲h（x）的圖像，在圖中，越靠近中間，他的圖像越擬合。
上述即爲代價函數的理解。
如有錯誤可以聯繫我：626529441，一起交流學習，謝謝。