臺灣李弘毅教授的Deep Learning教程，第一講1Regression相關的，教程以Pokemon遊戲的cp值爲樣本庫進行訓練，分析，一步步的改進模型，講解的很細緻，可以給初學者訓練AI提供一個思路，且講解的很清晰透徹，個人覺得他的臺灣腔聽起來有點像看偶像劇的感覺，不容易分神。
梯度下降法
梯度下降法 使損失函數最小化求解權重w
對於含有兩個超參數w和b的，梯度下降法 的求解思路。
對於線性迴歸，損失函數是凸函數，所以不用擔心梯度下降求解的過程中會出現局部最優的問題
梯度下降微積分計算步驟：
一次方模型
y = w * x + b, 一次方模型,針對訓練集10個樣本的表現結果如下：
訓練集誤差31.9
測試集誤差35
二次方模型
選擇二次方模型實驗
y = w2 * x^2 + w1 * x + b,
針對訓練集10個樣本的表現結果如下：
訓練集誤差15.4
測試集誤差18.4
三次方模型
選擇三次方模型實驗
y = w3 * x^3 + w2 * x^2 + w1 * x + b,
針對訓練集10個樣本的表現結果如下：
訓練集誤差15.3
測試集誤差18.1
四次方模型
選擇四次方模型實驗
y = w4 * x^4 + w3 * x^3 + w2 * x^2 + w1 * x + b,
針對訓練集10個樣本的表現結果如下：
訓練集誤差14.9
測試集誤差28.8
五次方模型
選擇五次方模型實驗
y = w5 * x^5 +w4 * x^4 + w3 * x^3 + w2 * x^2 + w1 * x + b,
針對訓練集10個樣本的表現結果如下：
訓練集誤差12.8
測試集誤差232.1
過擬合
從下圖五個模型的對比可以看出，並不是說模型越複雜，檢測的效果越好，效果最好的是三次方的模型，複雜度超過三次方的模型在測試集的誤差率反而會過高，這是由於造成了過擬合。
擴充訓練集
擴充訓練集，將訓練集樣本說擴充到60個，來看一下還有什麼因素會影響進化後的CP值，根據下圖可以分析出 不同的物種可能會導致不同的進化值。爲了驗證此猜想，我們可以將物種屬性加入到模型選擇中。
重新設計加入物種信息的模型
重新設計模型，新的模型加入了物種信息。
重新設計加入物種信息的複雜模型
重新設計加入物種信息的複雜模型，公式採用了二次方，且加入了物體的重量和高度信息。
在訓練集的誤差達到了3.8
測試集的誤差爲14.3
加入正則化
加入正則化後，在lambda =100時，效果最好
此時訓練集誤差爲4.1，測試集誤差爲11.1
