監督學習——logistic進行二分類（python）

線性迴歸及sgd/bgd的介紹：

         監督學習——隨機梯度下降算法（sgd）和批梯度下降算法（bgd）

訓練數據形式：          （第一列代表x1，第二列代表 x2，第三列代表 數據標籤 用 0/1表示）

訓練函數形式：            y = sigmod（w0+w1*x1+w2*x2）

       通過訓練函數就能夠得到參數列向量θ([θ0,θ1,…θn]^T)，當輸入樣本列向量x([x0,x1,…,xn])，那麼我們對樣本x分類就可以通過上述公式計算出一個概率，如果這個概率大於0.5，我們就可以說樣本是正樣本，否則樣本是負樣本。

      利用訓練函數進行分類： 輸入如果(x1,x2)，利用訓練函數得到 y值，如果y>0.5 返回1 ，否則返回 0。

1. Sigmoid 函數

        爲了將連續的數值轉化爲 二進制的0/1，機器學習中一般引入Sigmoid函數，該函數的形式如下：

       

       對應的函數圖像：

      可以看出它的兩個極值就是 0 /1 所以可以很好的將連續之映射爲二分類。

      Sigmoid函數有一個很棒的特點是它的導數 f′(x) = f(x)(1−f(x))

 

那麼如何通過訓練數據得到目標sigmoid函數（訓練函數計算過程原理）

Logistic迴歸及梯度上升算法

2. sigmoid函數+logigstic 解決二分類問題

      通過上圖中的數據源計算目標函數，並通過目標函數對未知數據進行二分類

數據加載：

def loadDataSet():
    dataMat = []; labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat

批梯度上升算法

 

def sigmoid(inX):
    return 1.0/(1+exp(-inX))

def gradAscent(dataMatIn, classLabels):
    # 輸入訓練數據
    dataMatrix = mat(dataMatIn)             #convert to NumPy matrix
    # 輸入訓練數據的標籤（0 / 1）
    labelMat = mat(classLabels).transpose() #convert to NumPy matrix
    m,n = shape(dataMatrix)
    # 訓練步長 （越大則收斂的速度）
    alpha = 0.001
    # 最大迭代次數
    maxCycles = 500
    # 訓練函數的係數（爲需要求解的結果）
    weights = ones((n,1))
    for k in range(maxCycles):              #heavy on matrix operations
        h = sigmoid(dataMatrix*weights)     #matrix mult
        error = (labelMat - h)              #vector subtraction
        # 梯度上升算法的 迭代 算法
        

weights = weights + alpha * dataMatrix.transpose()* error #matrix mult

    return weights

 

隨機梯度上升算法

由於批梯度算法每次迭代都需要將所有的訓練數據進行計算，所以它的運行效率並不高。

而隨機梯度上升算法每次迭代只是將一個訓練數據進行迭代所以效率很高。

它們的數據源是一樣的。

def stocGradAscent0(dataMatrix, classLabels):
    m,n = shape(dataMatrix)
    alpha = 0.01
    weights = ones(n)   #initialize to all ones
    for i in range(m):
        #每次迭代只需要一個訓練數據
        h = sigmoid(sum(dataMatrix[i]*weights))
        error = classLabels[i] - h
        

weights = weights + alpha * error * dataMatrix[i]

    return weights

 

參考:

監督學習——隨機梯度下降算法（sgd）和批梯度下降算法（bgd）

梯度上升算法解釋： https://blog.csdn.net/szm21c11u68n04vdclmj/article/details/78221784

https://blog.csdn.net/u011197534/article/details/53492915?utm_source=itdadao&utm_medium=referral

《機器學習實戰》