線性迴歸推導整理

原創

爬行程序猿

2020-06-17 17:05

記錄一下線性迴歸推導。以後多寫寫博客，多記錄

線性迴歸公式 $y=w_0x_0+w_1x_1+...+w_nx_n+b{}$ 其中，w0爲參數，x0 爲樣本值，b 爲偏執項

可以記爲 $y = w^Tx+b{}$ (1)其中，wT爲轉置矩陣。

預測樣本和真實值之間存在誤差 $\left | y-\hat{y} \right | = \varepsilon$ 其中 $\varepsilon$ 爲誤差

對於每個樣本都存在誤差 $\varepsilon_i =\hat{y}_i -w^Tx_i$ (2)

假設誤差 $\varepsilon$ 是服從獨立分佈的，並且服從高斯分佈，則有

$p(\varepsilon_i )=\frac{1}{\sqrt{2\pi }\delta }exp(-\frac{\varepsilon_i^2 }{2\delta^2})$ (3)

將（2）代入（3）則有條件概率

$p\left ( Y=y_i|X=x_i;W=w_i \right )=\frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(\hat{y}_i -w^Tx_i )^2}{2\delta^2})$ (4)

在已知條件概率的情況下，可以使用最大似然函數來估計參數，也就說在知道y 和x 的情況下，可以估計w是真實樣本的最大概率是多少。

$L(w)=\prod p\left ( Y=y_i|X=x_i;W=w_i \right )=\prod \frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(\hat{y}_i -w^Tx_i )^2}{2\delta^2})$ (5)

因爲求累乘很麻煩，因此轉爲求對數

$logL(w)=log\prod \frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(\hat{y}_i -w^Tx_i )^2}{2\delta^2})$ (6)

左邊轉化：

$log\sum \frac{1}{\sqrt{2\pi }\delta }exp(-\frac{(\hat{y}_i -w^Tx_i )^2}{2\delta^2})$ （7）

繼續化簡

$\sum log\frac{1}{\sqrt{2\pi }\delta }+\sum log exp(-\frac{(\hat{y}_i -w^Tx_i )^2}{2\delta^2})$ (8)

下一步：

$m*log\frac{1}{\sqrt{2\pi }\delta }+\sum(-\frac{(\hat{y}_i -w^Tx_i )^2}{2\delta^2})$ (9)

最終化簡爲：

$logL(w)=m*log\frac{1}{\sqrt{2\pi }\delta }-\frac{1}{2} \frac{1}{\delta^2}\sum(\hat{y}_i -w^Tx_i )^2$ (10)

因爲L(w)是概率值，所以應該要求這個概率值越大越好，公式右邊第一項是常數，沒有影響，所以就要求第二項越小越好

因此得到目標函數：

$J(w) = \frac{1}{2}\sum(\hat{y}_i -w^Tx_i )^2$ (11)

爲了讓公式（11）越小越好，因此應該就是求函數的極小值。因爲公式（11）是凸函數，因此求極小值就是求導數爲0的點

將公式（11）展開

（公式打不上去，就去別去扒了一張圖來）

對其求偏導

$\frac{\partial J(w)}{\partial w} = \frac{1}{2}\frac{\partial}{\partial w} (y-Xw)^T(y-Xw)$ (12)

$\frac{\partial J(w)}{\partial w} = \frac{1}{2}\frac{\partial}{\partial w} (y^T-w^TX^T)(y-Xw)$ （13）

對公式（13）化簡整理：

$\frac{\partial J(w)}{\partial w} = \frac{1}{2}\frac{\partial}{\partial w} (y^Ty-w^TX^Ty-y^TXw+w^TX^TXw)$ (14)

對矩陣求偏導，最終得到

$\frac{\partial J(w)}{\partial w} =X^TXw-Xy$ (15)

求偏導等於0的點因此爲

（16）

即

$w=(X^TX)^{-1}Xy$

到此求出參數w 與樣本之間的關係。

但這裏

$(X^TX)^{-1}$ 不一定可逆，因此就涉及到了使用梯度下降的方式來求解。之後寫關於梯度下降的博客

發表評論

所有評論

還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.

相關文章

線性迴歸之梯度下降法和最小二乘法

迴歸分析中，只包括一個自變量和一個因變量，且二者的關係可用一條直線近似表示，這種迴歸分析稱爲一元線性迴歸分析；如果迴歸分析中包括兩個或兩個以上的自變量，且因變量和自變量之間是線性關係，則稱爲多元線性迴歸分析。常用的方法有梯度下降法和最小二

2020-07-01 23:04:14

十、簡單線性迴歸的python實現（詳解）

4. 簡單線性迴歸的python實現點擊標題即可獲取源代碼和筆記 4.1 導入相關包 import numpy as np import pandas as pd import random import matplotl

小小白学计算机

2020-07-06 10:33:59

線性迴歸與邏輯迴歸思考

　在學習完 Andrew Ng 教授的機器學習課程，和多方查閱大神的博客，本以爲很簡單的邏輯迴歸，在深思其細節的時候，很多容易讓人不理解，甚至是疑惑的地方，這幾天一直冥想其中的緣由。 1、爲什麼是邏輯迴歸？　　都說線性迴歸用來做

2020-07-05 21:19:58

從零開始掌握Python機器學習：十四步教程

Python 可以說是現在最流行的機器學習語言，而且你也能在網上找到大量的資源。你現在也在考慮從 Python 入門機器學習嗎？本教程或許能幫你成功

阳光下绿茵场

2020-07-05 00:45:06

嶺迴歸算法的原理和代碼實戰

嶺迴歸算法的原理和代碼實戰前言學過吳恩達老師的機器學習入門課程都應該知道，在邏輯迴歸那一講，吳老師提到了使用正則化來防止邏輯迴歸模型過擬合。而嶺迴歸在這裏的作用是一樣的，同樣也是防止模型過擬合。這兩者的區別在於，同樣在使用差

梁先森-python数据分析师进阶之路

2020-07-04 06:50:48

tensorflow學習1-線性迴歸

1.代碼: import numpy as np import matplotlib.pyplot as plt import tensorflow as tf x=np.random.normal(0.0,0.55,1000)

2020-07-03 15:38:34

機器學習系列-線性迴歸學習

簡單線性迴歸 kNN算法屬於分類(Classification)，即label爲離散的類別型(categorical variable)，如：顏色類別、手機品牌、是否患病等。而簡單線性迴歸是屬於迴歸(regression)，即label

2020-07-02 13:00:13

【深度學習】多變量線性迴歸算法

多變量線性迴歸算法一、問題描述二、概要三、代碼實現（.m）四、代碼下載一、問題描述分析多變量（房屋尺寸、臥室數量）影響因素下，線性迴歸問題（房價）。二、概要 1.假設函數 hθ(x)=θ0+θ1x \begin{aligne

2020-07-01 19:48:19

【線性迴歸】生產應用中使用線性迴歸進行實際操練

前提：本文中使用的算法是在《【線性迴歸】多元線性迴歸函數在Octave中的實現（二）》中進行描述。命題：根據生產環境的中的用戶功能使用情況，來推斷接下來的用戶使用量。使用數據如下： x = 1 2 3

2020-07-01 17:41:55

[scikit-learn 機器學習] 2. 簡單線性迴歸

文章目錄1. 簡單線性迴歸2. 評價模型本文爲 scikit-learn機器學習（第2版）學習筆記 1. 簡單線性迴歸 import numpy as np import matplotlib.pyplot as plt X

2020-07-01 16:17:31

爲什麼在線性模型中相互作用的變量要相乘

在這篇文章中,我將解釋爲什麼當建立一個線性模型,我們添加一個x₁₂術語如果我們認爲變量x₁和x₂互動和添加交互條款訂立原則方法。我假設讀者對線性模型的工作原理有一個基本的瞭解。無交互模型讓我們從構建一個沒有相互作用項的模型

2020-06-29 07:08:38

機器學習十大經典算法——線性迴歸

前言：爲什麼要做這期博客呢，主要有兩個意願，一個是想買米10，希望各位帥哥美女支持一下，覺得不錯就打賞下，另爲一個是想將十大經典算法的推導以及思路清清楚楚的理下，希望這整期教程對大家有幫助，第一期咱們講線性迴歸。這期不似之前的實踐或者接的

2020-06-28 15:27:35

機器學習入門——線性迴歸剖析

線性迴歸及其求解方法：梯度下降、最小二乘、正規方程引言一元線性迴歸損失函數損失函數可視化一元線性迴歸損失函數：求解一元線性迴歸方法一、最小二乘法方法二、梯度下降法求解多元線性迴歸方法一、梯度下降法方法二、正規方程法寫在最後引言

2020-06-27 19:49:49

【機器學習實戰】線性迴歸

目錄：一、介紹 1.線性迴歸的類型 2.假設條件二、用Python構建一個迴歸器步驟三、用Python實現簡單線性迴歸 1.模擬數據及繪圖 2.簡單線性迴歸過程 3.使用scikit-learn中的線性迴歸四、用Python實現多

2020-06-26 09:32:46

線性迴歸算法擬合數據原理分析以及源代碼解析

線性迴歸算法擬合數據原理分析以及源代碼解析前言前面的博客講的都是分類問題，接下來的幾篇博客，會着重於迴歸，傾向於對數據進行預測。大家是不是一聽到預測就眼睛一閃，是不是可以用來預測股票漲跌、彩票號碼什麼的！我只能告訴你有人做出來

梁先森-python数据分析师进阶之路

2020-06-26 02:43:29

24小時熱門文章

最新文章

最新評論文章