線性分類器和非線性分類器

***********************線性和非線性的區別********************************

1. 線性linear，指量與量之間按比例、成直線的關係，在數學上可以理解爲一階導數爲常數的函數；
   非線性non-linear則指不按比例、不成直線的關係，一階導數不爲常數。


2. 線性的可以認爲是1次曲線，比如y=ax+b ,即成一條直線
   非線性的可以認爲是2次以上的曲線，比如y=ax^2+bx+c，(x^2是x的2次方)，即不爲直線的即可


3. 兩個變量之間的關係是一次函數關係的——圖象是直線，這樣的兩個變量之間的關係就是“線性關係”；
   如果不是一次函數關係的——圖象不是直線，就是“非線性關係


4. “線性”與“非線性”，常用於區別函數y = f (x)對自變量x的依賴關係。線性函數即一次函數，其圖像爲一條直線。其它函數則爲非線性函數，其圖像不是直線。
　　線性，指量與量之間按比例、成直線的關係，在空間和時間上代表規則和光滑的運動；而非線性則指不按比例、不成直線的關係，代表不規則的運動和突變。 
　　比如，普通的電阻是線性元件，電阻R兩端的電壓U，與流過的電流I，呈線性關係，即R=U/I，R是一個定數。二極管的正向特性，就是一個典型的非線性關係，二極管兩端的電壓u，與流過的電流i不是一個固定的比值，即二極管的正向電阻值，是隨不同的工作點(u、i)而不同的。


5. 在數學上，線性關係是指自變量x與因變量yo之間可以表示成y=ax+b ,（a,b爲常數），即說x與y之間成線性關係。
   不能表示成y=ax+b ,（a,b爲常數），即非線性關係，非線性關係可以是二次，三次等函數關係，也可能是沒有關係。

******************************線性分類器和非線性分類器*****************************************

線性分類器：模型是參數的線性函數，分類平面是（超）平面；
非線性分類器：模型分界面可以是曲面或者超平面的組合。
典型的線性分類器有感知機，LDA，邏輯斯特迴歸，SVM（線性核）；
典型的非線性分類器有樸素貝葉斯（有文章說這個本質是線性的，http://dataunion.org/12344.html），kNN，決策樹，SVM（非線性核）