<機器學習練習>邏輯斯諦迴歸

一：線性迴歸

線性迴歸假設特徵和結果滿足線性關係。線性迴歸，就是線性擬合，擬合就是找到那條線，對殘差平方和最小的那條直線。
比如說：我們要模擬房子的大小(x1 )，房子的位置(x2 )。。。對於房價(y )的影響。假設他們是線性關係。則，我們要找的是特徵x1,x2... 和房價(y )的關係:

h(θ)=θ0+θ1x1+θ2x2....=θTX

如果我們把θ 這個參數求出來，那麼對於新的特徵，就可以進行計算預測房價了。
對於θ 的計算，即是求出θ ，使得殘差平方和最小。

min∑ni=1(h(θ)−yi)22

對於使用，殘差平方和來作爲損失函數，利用最大似然估計，來給出解釋。
由於線性迴歸模型中，y=θTX+ϵ ，其中ϵ 爲噪聲，其服從高斯分佈。也即是y−θTX 服從高斯分佈。
對於任意樣本xi,yi ，則其條件概率密度爲：

則其似然函數爲：

然後，對似然函數取對數：

因此，最大似然函數估計θ 等價於殘差平方和最小。

二：邏輯斯諦迴歸

邏輯斯諦迴歸，名稱上是迴歸，其實是0,1 分類。他和線性迴歸有很大聯繫。本質上是線性迴歸到結果中間的映射上，加入一個函數，而這個函數，取爲sigmod 函數。首先，對線性迴歸求和，然後經過sigmod 函數，映射到0,1 進行問題分類。

1)邏輯斯諦模型滿足的條件概率分佈：

如果對於測試樣本x ，計算不同類別下的概率，即可以分類。所以，目前是利用訓練樣本進行參數θ 的估計求解。

2)參數θ 的估計求解
利用最大似然法估計模型參數。

  1：寫出條件概率分佈函數
  2：寫出似然函數（訓練樣本滿足獨立，則其條件概率密度函數連乘）
  3：寫出對數似然函數，求導，等於0.(參數是個向量，則分別進行求偏導)

對於邏輯斯諦迴歸來說，是梯度上升法來求對數似然函數的極大值的。

θk+1=θk+a∇L(θ)

其中a 是步長。
其中似然函數如下：

當參數是向量時，分部進行求偏導計算。

3)程序

# -*- coding: utf-8 -*-

from numpy import *

def loadDataSet ():    #構造數據集 和標籤
    dataMat=[];
    labelMat=[];
    fr=open('testSet.txt')
    for  line in fr.readlines():
        lineArr=line.strip().split()
        dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])]) 
  #每個數據集，最前面追加1，x0=1;
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat

def sigmoid (inX):                    #sigmoid 函數
    return 1.0/(1+exp(-inX))
#隨機梯度算法，一次迭代 ：分別隨機的選擇數據，
#          進行更新w，進行m次運算
def stocGradAscent1 (dataMatrix,classLabels,numIter=150):      
    m,n=shape(dataMatrix)       #m個數據   n 個特徵
    weights=ones(n)             #初始化權重
    for j in range(numIter):
        dataIndex=range(m)
        for i in range(m):
            alpha=4/(1.0+i+j)+0.01;      # 步長不是定值
            randIndex=int(random.uniform(0,len(dataIndex)))
            h=sigmoid(sum(dataMatrix[randIndex]*weights))
            error=(classLabels[randIndex]-h)
            weights=weights+alpha*error*dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return weights

#梯度上生法：  一次迭代，整個數據一次進行運算。
def gradAscent (dataMatIn,classLabels):
    dataMatrix=mat(dataMatIn)
    labelMat=mat(classLabels).transpose()
    m,n=shape(dataMatrix)
    alpha=0.001
    maxCycles=20
    weights=ones((n,1))
    for k in range(maxCycles):
        h=sigmoid(dataMatrix*weights)
        error=(labelMat-h)
        weights=weights+alpha*dataMatrix.transpose()*error
    return weights

#畫圖函數
def plotBestFit (wei):
    import matplotlib.pyplot as plt
    weights=array(wei)
    dataMat,labelMat=loadDataSet()
    dataArr=array(dataMat)
    n=shape(dataArr)[0]
    xcord1=[];
    ycord1=[];
    xcord2=[];
    ycord2=[];
    for i in range(n):
        if int(labelMat[i])==1:
            xcord1.append(dataArr[i,1]);
            ycord1.append(dataArr[i,2]);
        else:
            xcord2.append(dataArr[i,1]);
            ycord2.append(dataArr[i,2]);

    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
    ax.scatter(xcord2,ycord2,s=30,c='green',marker='s')
    x=arange(-3.0,3.0,0.1)
    y=(-weights[0]-weights[1]*x)/weights[2]  
     ##由sigmoid 可知：0=w0+w1*x1+w2*x2爲分類線
    ax.plot(x,y)
    plt.xlabel('X1');
    plt.ylabel('X2');
    plt.show()

分類的結果：

下面給出對於新樣本的分類函數。

  #分類判別      
def classifyVector (inX,weights):
    prob=sigmoid(sum(inX*weights))
    if prob>0.5:
        return 1.0
    else:
        return 0.0

參考文獻：
斯坦福機器學習，吳恩達。
《機器學習實戰》。