邏輯迴歸和Python應用舉例

邏輯迴歸和Python應用舉例

1. 概率：

     1.1 定義   概率(P)robability: 對一件事情發生的可能性的衡量

     1.2 範圍   0 <= P <= 1

     1.3 計算方法： 

          1.3.1 根據個人置信

          1.3.2 根據歷史數據

          1.3.3 根據模擬數據

     1.4 條件概率：

                         

2. Logistic Regression (邏輯迴歸)

2.2 基本模型

         測試數據爲X（x0，x1，x2···xn）

         要學習的參數爲： Θ（θ0，θ1，θ2，···θn）

         

        處理二值數據，引入Sigmoid函數時曲線平滑化 

       

 學習率

                      同時對所有的θ進行更新

                      重複更新直到收斂  

  利用梯度下降算法：

import numpy as np
import random

def genData(numPoints,bias,variance):
    x = np.zeros(shape=(numPoints,2))
    y = np.zeros(shape=(numPoints))
    for i in range(0,numPoints):
        x[i][0]=1
        x[i][1]=i
        y[i]=(i+bias)+random.uniform(0,1)+variance
    return x,y

def gradientDescent(x,y,theta,alpha,m,numIterations):
    xTran = np.transpose(x)
    for i in range(numIterations):
        hypothesis = np.dot(x,theta)
        loss = hypothesis-y
        cost = np.sum(loss**2)/(2*m)
        gradient=np.dot(xTran,loss)/m
        theta = theta-alpha*gradient
        print ("Iteration %d | cost :%f" %(i,cost))
    return theta

x,y = genData(100, 25, 10)
print ("x:",x)
print ("y:",y)

m,n = np.shape(x)
n_y = np.shape(y)

print("m:"+str(m)+" n:"+str(n)+" n_y:"+str(n_y))

numIterations = 100000
alpha = 0.0005
theta = np.ones(n)
theta= gradientDescent(x, y, theta, alpha, m, numIterations)
print(theta)