**
一、分類問題（classification）
**首先來看一個例子，用腫瘤的大小來預測腫瘤是良性或者惡性。這個問題的輸出只有兩個值——良性（1）和惡性（0），通常稱之爲分類問題。
如果在此處我們使用線性迴歸來處理這個問題。那麼如果加入最右的那個點，那麼直線擬合就從紅色斜線變成了藍色斜線，也就出現了預測的誤差。因此線性迴歸不適合於分類問題。
另外，使用線性迴歸處理分類問題中常見的問題還有：分類問題的輸出值y=0 or 1.但是線性迴歸的假設的輸出值會小於0或者大於1.
因此，我們會使用logistic迴歸（邏輯迴歸）算法處理分類問題。該方法被視爲一種分類算法，並不是迴歸算法哦。
二、假設陳述（hypothseis representation）
1、目的：當遇到分類問題時，我們使用哪個方程來表示我們的假設。
2、假設函數（Sigmoid Function/Logistic Function）：
3、函數圖形：
4、函數解釋：該函數輸出值的意義是“y=1的概率”，即：
三、決策邊界（decision boundary）
1、定義：一般的，數據集被一條線劃分成了兩類，這條線就是決策邊界。決策邊界不是訓練集的屬性，而是假設本身及其參數的屬性。只要給定了參數θ，邊界就可以確定。
2、首先我們假設：
而根據函數圖像的特徵，我們可寫成：
四、代價函數（cost function）
1、邏輯迴歸的代價函數：
ps：J表示整體代價，cost表示單個樣本的代價
2、簡化形式：
ps：根據統計學中極大似然法得來的
3、梯度下降法：
爲了求得最優的θ。這裏使用梯度下降法。
偏導計算過程已自行推導，將結果代入後可得：
五、高級優化（Advanced Optimization）
1、其他優化算法以及優缺點
2、octave實現方法
PS：在octave中實現代碼的時候，fminunc只能處理二維以上的優化，如果是一維使用fminuc函數。
六、多元分類（multi——class classification）
實際應用中，會存在多個類型。這裏使用One-vs-all的方法來處理：
即訓練出多個分類器，輸入x值後，找出h最大值的那個分類器，就爲x所屬的類別。