7.5 非線性迴歸算法

1. 概率：

   1.1 定義 概率(P)robability: 對一件事情發生的可能性的衡量
   1.2 範圍 0 <= P <= 1
   1.3 計算方法：
   1.3.1 根據個人置信
   1.3.2 根據歷史數據
   1.3.3 根據模擬數據
   1.4 條件概率：
   

2. Logistic Regression (邏輯迴歸)

   2.1 例子
   
   h(x) > 0.5
   

                                        h(x) > 0.2
   

   2.2 基本模型
   測試數據爲X（x0，x1，x2···xn）
   要學習的參數爲： Θ（θ0，θ1，θ2，···θn）
   

     向量表示：
   

   處理二值數據，引入Sigmoid函數時曲線平滑化 
   

     預測函數：
   

     用概率表示：
     正例(y=1)：
   

     反例(y=0):
   

   2.3 Cost函數
   線性迴歸:
   

       找到合適的 θ0，θ1使上式最小
   
     Logistic regression:
   
      Cost函數：
   

       目標：找到合適的 θ0，θ1使上式最小
   
     2.4 解法：梯度下降（gradient decent)
   

                ![這裏寫圖片描述](https://img-blog.csdn.net/20160706195814286)    
   
   
   
   
         更新法則：
   

                 學習率
                 同時對所有的θ進行更新
                 重複更新直到收斂