邏輯迴歸算法
機器學習可分爲有監督學習，無監督學習，半監督學習，強化學習。對於LR來說，看成一種典型的有監督學習。
既然是有監督學習，訓練集自然可以用如下方式表述：
對於這m個訓練樣本，每個樣本本身有n維特徵。再加上一個偏置項x0, 則每個樣本包含n+1維特徵：
其中 x∈Rn+1, x0=1, y∈{0,1}
統計學習方法一書中：
分類是監督學習的一個核心問題，在監督學習中，當輸出變量Y取有限個離散值時，預測問題便成爲分類問題。這時，輸入變量X可以是離散的，也可以是連續的。監督學習從數據中學習一個分類模型或分類決策函數，稱爲分類器(classifier)。分類器對新的輸入進行輸出的預測(prediction)，稱爲分類(classification).
第一個有趣的問題產生了，Why使用logistics函數呢？
通過logistic函數的圖像，我們很容易總結出他的以下優點：
1.他的輸入範圍是−∞→+∞ ，而之於剛好爲（0，1），正好滿足概率分佈爲（0，1）的要求。我們用概率去描述分類器，自然比單純的某個閾值要方便很多；
2.他是一個單調上升的函數，具有良好的連續性，不存在不連續點。