【Stanford-ML-Discussion】LiR,LoR,NN,SVM假設,損失函數與訓練方法比較

假設函數：
（1）Linear Regression：帶有參數θ 的多項式表達式
（2）Logistic Regression：帶有參數θ 的Sigmoid函數，通過閾值判斷類別歸屬
（3）NN: 帶有參數θ 的Sigmoid函數，通過閾值判斷類別歸屬（其實最後一層隱藏層類似一套抽象的特徵輸入Logistic Regression）
（4）SVM：帶有參數θ 的超平面表達式，通過計算正負判斷類別歸屬

損失（目標）函數：
（1）Logistic Regression是修改Linear Regression損失函數得到的。
（2）SVM和NN（Sigmoid激勵函數）的損失代價函數都是通過修改Logistic Regression的損失函數得到的。

訓練(優化)方法：
均可以使用梯度下降法（Gradient Descent）進行訓練。

凸優化問題：
（1）Linear Regression，Logistic Regression的損失函數可以證明是凸函數，所以屬於凸優化問題。
（2）Neural Network中如果不存在隱藏層或隱藏層中的激活函數屬於線性函數，則NN是可以凸優化的，但是如果隱藏層中的激活函數是非線性的話，NN是屬於非凸優化的。