【機器學習】線性迴歸（Liner Regression）

迴歸算法是一種通過最小化預測值與實際結果值之間的差距，而得到輸入特徵之間的最佳組合方式的一類算法。對於連續值預測有線性迴歸等，而對於離散值/類別預測，我們也可以把邏輯迴歸等也視作迴歸算法的一種。這次我們來詳細瞭解一下線性迴歸

1、算法思想

線性迴歸，是利用數理統計中迴歸分析，來確定兩種或兩種以上變量間相互依賴的定量關係的一種統計分析方法，運用十分廣泛。直白的說就是根據一些連續的數據擬合出一條線，通過這條線就可以實現有監督學習的預測。

線性迴歸分析又分爲一元迴歸和多元迴歸：
一元迴歸分析：y=wx+b 可表示爲hθ=θTx$h_{\theta }={\theta }^{T}x$ 只有一個自變量和因變量，他們之間呈線性關係（可用一條直線表示）
多元迴歸分析：hθ=θ0+θ0x1+.......+θnxn$h_{\theta }={\theta }_0+{\theta }_0{x}_1+.......+{\theta }_n{x}_n$ 包含兩個以上的自變量而且自變量與因變量之間也是線性關係

線性迴歸分析的值與實際值的距離的平均值，損失函數得到的值越小，損失也就越小，此處損失函數爲最小二乘，均方誤差形式

J(θ)=12∑mi=1(hθ(x(i))−y(i))2$J(\theta )=\frac{1}{2}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

有了損失函數既可以就可以使用梯度下降進行求解擬合
梯度下降法：就是最小化損失函數的過程，通過不斷調整權重使得損失函數最小達到一個局部最優值。
吳恩達網易雲課堂上有一個例子很生動的解釋了梯度下降，想想我們在山上想要找到一條一條路下山，每次我們都會選擇一條斜率最大方向向下走，這個三維空間的斜率就可以理解成我們的梯度，我們每次走的步長就是 α$\alpha$ 也就是所謂的學習率，然後重複選擇最大斜率直到我們達到一個局部最優解山腳下。

所以我麼就可寫出他的梯度更新公式

θj←θj−α▽J(θ0,θ1)${\theta }_j\leftarrow {\theta }_j-\alpha ▽J({\theta }_0,{\theta }_1)$
θj←θj−α∑mi=1(hθ(x(i))−y(i))x(i)j${\theta }_j\leftarrow {\theta }_j-\alpha {\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$

2、公式推導

線性迴歸：y=ax+b$y=ax+b$
假設目標函數：hθ=θ0+θ0x1+.......+θnxn=θTx$h_{\theta }={\theta }_0+{\theta }_0{x}_1+.......+{\theta }_n{x}_n={\theta }^{T}x$
y(i)=θTx(i)+ϵ(i)$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$
其中ϵ(i)${ϵ}^{(i)}$ 爲誤差，是獨立相同分佈的，服從均值爲0方差爲σ2${\sigma }^2$ 的高斯分佈，根據中心極限定理所得
高斯分佈的概率密度函數爲P(ϵ(i))=12π√σexp(−(ϵ(i))22σ2)$P({ϵ}^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{({ϵ}^{(i)}{)}^2}{2{\sigma }^2})$
可以得出
P(y(i)|x(i);θ)=12π√σexp(−(y(i)−θTx(i))22σ2)$P(y^{(i)}|x^{(i)};\theta )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$
極大似然函數
L(θ)=∏mi=1P(y(i)|x(i);θ)=∏mi=112π√σexp(−(y(i)−θTx(i))22σ2)$L(\theta )=\prod _{i=1}^{m}P(y^{(i)}|x^{(i)};\theta )=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$
然後取對數
logL(θ)=log∏mi=112π√σexp(−(y(i)−θTx(i))22σ2)$logL(\theta )=log\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$
logL(θ)=∑mi=1log12π√σexp(−(y(i)−θTx(i))22σ2)$logL(\theta )=\sum _{i=1}^{m}log\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\sigma }^2})$
logL(θ)=mlog12π√σ−12σ2∑mi=1(y(i)−θTx(i))2$logL(\theta )=mlog\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$
因爲極大似然函數要極大值所以問題可轉化爲求12∑mi=1(y(i)−θTx(i))2$\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$ 的最小值
所以得出線性迴歸的損失函數爲
J(θ)=12∑mi=1(y(i)−θTx(i))2$J(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$

3、代碼實現

import tensorflow as tf
import numpy
import matplotlib.pyplot as plt
rng = numpy.random
# 設定的超參數
learning_rate = 0.01
training_epochs = 1000
display_step = 50
# 構造一些數據
train_X = numpy.asarray([3.3,4.4,5.5,6.71,6.93,4.168,9.779,6.182,7.59,2.167,
                         7.042,10.791,5.313,7.997,5.654,9.27,3.1])
train_Y = numpy.asarray([1.7,2.76,2.09,3.19,1.694,1.573,3.366,2.596,2.53,1.221,
                         2.827,3.465,1.65,2.904,2.42,2.94,1.3])
n_samples = train_X.shape[0]
# tf 計算圖的 輸入
X = tf.placeholder("float")
Y = tf.placeholder("float")
# 設定模型權重
W = tf.Variable(rng.randn(), name="weight")
b = tf.Variable(rng.randn(), name="bias")
# 構建一個線性迴歸模型
pred = tf.add(tf.mul(X, W), b)
# 均方誤差
cost = tf.reduce_sum(tf.pow(pred-Y, 2))/(2*n_samples)
# 梯度下降
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)
# 初始化變量
init = tf.initialize_all_variables()
# 在session中啓動計算圖
with tf.Session() as sess:
    sess.run(init)

    # 擬合訓練數據
    for epoch in range(training_epochs):
        for (x, y) in zip(train_X, train_Y):
            sess.run(optimizer, feed_dict={X: x, Y: y})

        #每個epoch輸出信息
        if (epoch+1) % display_step == 0:
            c = sess.run(cost, feed_dict={X: train_X, Y:train_Y})
            print "Epoch:", '%04d' % (epoch+1), "cost=", "{:.9f}".format(c), \
                "W=", sess.run(W), "b=", sess.run(b)

    print "Optimization Finished!"
    training_cost = sess.run(cost, feed_dict={X: train_X, Y: train_Y})
    print "Training cost=", training_cost, "W=", sess.run(W), "b=", sess.run(b), '\n'

    #Graphic display
    plt.plot(train_X, train_Y, 'ro', label='Original data')
    plt.plot(train_X, sess.run(W) * train_X + sess.run(b), label='Fitted line')
    plt.legend()
    plt.show()