機器學習——Logistic迴歸

機器學習——Logistic迴歸

迴歸：

常見的迴歸是指我們給定一些數據點，用於一條直線的擬合，在得到這條直線後，當有新的輸入時，可以得到它的輸出，相較於普通的線性迴歸（用於連續變量的預測），Logistics主要用於離散變量的分類，它的輸出範圍是一個離散的集合，表示屬於某一類的概率。總的來說，Logistics迴歸進行分類的主要思想是：根據現有數據對分類邊界線建立迴歸，以此進行分類，本質上是一個基於條件概率的判別模型。

推導：

對於Logistics迴歸，一個重要的Sigmoid函數需要了解：
$h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$
對於這個函數的理解：$\theta$是一個參數列向量，這是我們需要求解的擬合參數，x是樣本列向量，即我們給定的數據集，函數g（）實現了任意函數到[0,1]的映射，這樣無論數據集多大，都可以映射到01區間進行分類，而我們通過這種迴歸方法得到的輸出就是分類爲1的概率。

對於這種迴歸方法，最重要的就是求定這個參數向量$\theta$。

代價函數：

怎麼求解這個參數向量呢？我記得參數估計這本書中講了很多對於參數向量的求解，感興趣的人可以去看一下，如果我沒有記錯的話可以有皮爾森、最大似然、貝葉斯風險、最大最小準則等等，我們這裏其實就是從代價函數開始考慮的，給定一下函數大家理解一下：
$Cost(h_\theta(x),y)=h_\theta(x)^y(1-h_\theta(x)^{1-y})$
對於這個函數我們稱之爲代價函數，當y=1時，右式子的第二項爲1，這時函數表示我們分類得到爲1的概率；而當y=0時，右式子的第一項爲1，這時表示我們分類得到爲0的概率，也就是說我們的輸入分類是什麼，我們就得到它對應的概率，基於這個基礎，綜合起來我們就是爲了在給定樣本情況下，讓這個函數越大，我們的擬合越準確，這時我們的問題就是怎麼讓上面的代價式子取到最大值，如果你熟悉最大似然，那麼就容易了，對上式子取對數，然後求讓函數最大值的參數變量，經過對數變化之後：
$J(\theta)=\sum_1^m[y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$

梯度上升法：

接下來就是求解使得上式取到最大值的參數變量，我們這裏介紹一種算法：梯度上升算法，所謂梯度上升法，就是爲了求到某函數的最大值，沿着該函數的梯度方向搜尋，就像爬坡一樣，一點一點逼近極值，爬坡的工作數學方式就是：
$x_{i+1}=x_i+\alpha\frac{\partial f(x_i)}{x_i}$
其中$\alpha$爲步長，就是我們常說的學習速率，控制更新的幅度。

例如對於函數$f(x)=-3x^2+8x$，我們可以有以下的梯度上升法求得它的最大值：

import numpy as np
import matplotlib.pyplot as plt 
x = np.arange(0,5,0.01)
y = -3*x**2+8*x
plt.figure(1)
plt.plot(x,y)

def Gradient_As():
	#求導函數，根據不同函數可以寫出不同的求導函數
	def derivation(x_old):
		return -6*x_old+8
	#設定初始值、步長、精度
	x_old=-2
	x_new=0
	alpha=0.01
	presision=0.00000001
	#爬坡
	while abs(x_new-x_old)>presision:
		x_old=x_new
		x_new=x_old+alpha*derivation(x_old)
		plt.figure(1)
		plt.scatter(x_new,-3*x_new**2+8*x_new,color='r',marker='+')
	plt.show()
	print(x_new)
	
Gradient_As()

1.333333177763651

可以看到我們得到的梯度上升過程就是逼近極值的過程：

[外鏈圖片轉存失敗(img-XFNCOJCL-1564669885697)(F:\Python\Gradient_As.png)]

利用這個梯度上升法對上面的對數式子進行求解：
$\theta_j:=\theta_j+\alpha\frac{\partial J(\theta) }{\theta_j}$

$J(\theta)=\sum_1^m[y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$

$\frac{\partial}{\theta_j}J(\theta)=\frac{\partial J(\theta)}{\partial g(\theta^Tx)}*\frac{\partial g(\theta^Tx)}{\partial \theta^Tx}*\frac{\partial \theta^Tx}{\partial \theta_j}$

$\frac{\partial J(\theta)}{\partial g(\theta^Tx)}=y*\frac{1}{g(\theta^Tx)}+(y-1)*\frac{1}{1-g(\theta^Tx)}$

經過運算後：
$\theta_j:=\theta_j+\alpha\sum_1^m(y^{(i)}-h_\theta(x^{(i)})x_j^{(i)}$
主要任務推導出來梯度上升的迭代公式，我們就可以直接coding，計算最佳的擬合參數。

實戰試驗：

這一次的實戰對一堆數據進行處理，這些數據都是二維座標上的一些點，每一個點都有一個標籤0或1，我們就是要根據這個數據集進行擬合直線，實現Logistics的迴歸。

下面時數據集的樣子：

-0.017612 14.053064 0
-1.395634 4.662541 1
-0.752157 6.538620 0
-1.322371 7.152853 0
0.423363 11.054677 0
0.406704 7.067335 1
0.667394 12.741452 0
-2.460150 6.866805 1
0.569411 9.548755 0
-0.026632 10.427743 0
0.850433 6.920334 1
1.347183 13.175500 0
1.176813 3.167020 1

對於這些數據我們使用線性模型來模擬，$z=w_0x_0+w_1x_1+w_2x_2$，且$x_0$時全爲1，$x_1$爲數據集第一列，$x_2$爲數據集第二列，則$z=0$，我們就是要求得最優化的迴歸係數。對於梯度上升公式：
$\theta_j:=\theta_j+\alpha\sum_1^m(y^{(i)}-h_\theta(x^{(i)})x_j^{(i)}$
可以得到代碼：

import numpy as np 
import matplotlib.pyplot as plt 
"""
加載數據
把數據按一行一行都進去
然後返回數據矩陣以及相應的標籤矩陣
"""
def loadDataSet():
	dataMat=[]
	labelMat=[]
	fr=open('testSet.txt')
	for line in fr.readlines() :
		lineArr = line.strip().split()
		dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])
		labelMat.append(int(lineArr[2]))
	fr.close()
	return dataMat,labelMat

"""
sigmoid 函數：
返回sigmoid函數的值
"""
def sigmoid(inx):
	return 1.0/(1+np.exp(-inx))


def gradAscent(dataMatIn,classLabels):
	dataMatrix = np.mat(dataMatIn)
	labelMat = np.mat(classLabels).transpose()
	m,n =np.shape(dataMatrix)
	alpha =0.001
	maxCycles = 500
	weights=np.ones((n,1))
	for k in range(maxCycles):
		h=sigmoid(dataMatrix*weights)
		error=labelMat-h
		weights=weights+alpha*dataMatrix.transpose()*error
	return weights.getA()

dataMat,labelMat=loadDataSet()
print(gradAscent(dataMat,labelMat))

def plotFit(weights):
	dataMat,labelMat = loadDataSet()
	dataArr=np.array(dataMat)
	n=np.shape(dataMat)[0]
	xcord1=[];ycord1=[];
	xcord2=[];ycord2=[];
	for i in range(n):
		if int(labelMat[i])==1:
			xcord1.append(dataArr[i,1])
			ycord1.append(dataArr[i,2])
		else:
			xcord2.append(dataArr[i,1])
			ycord2.append(dataArr[i,2])
	fig = plt.figure()
	ax=fig.add_subplot(111)
	ax.scatter(xcord1, ycord1, s = 20, c = 'red', marker = 's',alpha=.5)
	ax.scatter(xcord2,ycord2,s=20,c='green',alpha=.5)
	x=np.arange(-3.0,3.0,0.1)
	y=(-weights[0]-weights[1]*x)/weights[2]
	ax.plot(x,y)
	plt.title('Logistic')
	plt.xlabel('X1'); plt.ylabel('X2')
	plt.show() 

weights=gradAscent(dataMat,labelMat)
plotFit(weights)

得到的分類：

[外鏈圖片轉存失敗(img-R2YMHtkW-1564669885707)(F:\Python\Logistics.png)]

這個結果已經相當不錯了，但是還有很多可以改進的，我會跟進方案。

結論：

總的來說，Logistics的迴歸步驟就是先進行數據的收集，然後處理，這一步需要我們根據數據集的格式進行靈活的處理，最後的輸出結果一般是帶標籤的矩陣，然後我們對參數向量乘以樣本列向量作爲sigmoid函數的輸入，得到輸出後根據梯度上升得到參數向量，就可以得到最終的模型並畫出決策邊界。
持續關注更新：https://github.com/Brian-Liew/Machine-Learning