機器學習 part3

機器學習 part3

機器學習與運用

第三天 機器學習與運用

• 迴歸算法 線性迴歸
• 分類算法 邏輯迴歸
• 聚類算法 kmeans

一 迴歸算法 線性迴歸

1.1 迴歸舉例

什麼是迴歸

• 期末考試成績判定
  期末成績：0.7×考試成績+0.3×平時成績
• 西瓜好壞判斷
  西瓜好壞：0.2×色澤+0.5×根蒂+0.3×敲聲

1.2 線性模型

試圖學得一個通過屬性的線性組合來進行預測的函數：
f(x)=w_1x_1+w_2x_2+…+w_d*x_d+b
w爲權重，b稱爲偏置項，可以理解爲：w_0×1

1.3 線性迴歸

定義：線性迴歸通過一個或者多個自變量與因變量之間之間進行建模的迴歸分析。其中特點爲一個或多個稱爲迴歸係數的模型參數的線性組合

一元線性迴歸：涉及到的變量只有一個
多元線性迴歸：涉及到的變量兩個或兩個以上

1.4 損失函數 線性迴歸性能評估

線性迴歸預測結果與真實值是有一定的誤差，怎麼評估這種誤差（損失函數）
減少預測結果和真實值誤差的兩種方法

• 最新二乘法
  
  如何去求模型當中的W，使得損失最小？（目的是找到最小損失對應的W值）
  
• 梯度下降
  
  正規方程與梯度下降的對比？
  當樣本>100k 用梯度下降，<100 用正規方程
  

sklearn線性迴歸正規方程、梯度下降API

sklearn.linear_model.LinearRegression（小樣本）
正規方程
sklearn.linear_model.SGDRegressor（大樣本）
梯度下降

1.5 迴歸性能評估

sklearn迴歸評估API
sklearn.metrics.mean_squared_error