1、Logisti迴歸的基本概念
首先logistic迴歸是一個分類算法，大家不要被名稱所誘惑，這一點非常重要！然後logistic回歸屬於是利用了一個叫做sigmoid函數的映射，簡稱S函數，S函數的定義如下：
函數圖像是這樣的：
分類的模型使用的是將上面的的S函數的分母的e的冪次換掉。然後直接判斷函數的值就可以判斷出類別屬於1的概率。在判斷二分類的時候，只需要和0.5進行比較，大於0.5時候就是正類，小於0.5時候就是負類。
2、logistic迴歸的步驟
2.1、確定使用S函數
其實決策函數爲什麼使用S函數呢，這個是因爲S函數是一個凸函數，此外還有很多好用的性質，最主要的是能夠很好的表示類別出現的概率。
2.2、將訓練數據和S函數結合
因爲我們要預測是在某些特徵下樣本是屬於哪一類的，假如f(x)=-（wx+b），
然後進行結合就可以得到下面的式子：
2.3、決策邊界
接下來我們只要研究f(x)=-（wx+b）就可以了，我們定義決策函數：
當屬於正類的時候上面的函數值大於0；當遇到負類的時候就小於0，可以看到這是一個線性的決策邊界，但是有時候我們看到的並不是線性的，非線性決策邊界就可以按照下面的例子：
當然還有更加複雜的決策函數。
2.4、 損失函數
對於單一的樣本，有如下的損失函數：
可以進行簡單化，然後結合上所有的樣本求平均損失函數：
2.5、梯度下降求損失函數的最小值
採用常用的梯度下降法來確定 ，即設置一個學習率 ，同步更新所有的j從1到n
最終的迭代公式就是：
對於學習率 的設定，如果 值過小，則可能會迭代過多的次數而導致整個過程變得很慢，而如果 值過大，則可能導致錯過最佳收斂點。所以計算過程中要選擇合適的學習率
3、Logitic迴歸的優缺點和適用場景：
待續。。。。
