詳解支持向量機。

基礎：平面方程

在空間座標系內，平面的方程均可用三元一次方程Ax+By+Cz+D=0來表示。

一、截距式

設平面方程爲Ax+By+Cz+D=0,若D不等於0，取a=-D/A,b=-D/B,c=-D/C,則得平面的截距式方程：x/a+y/b+z/c=1 [1] 

它與三座標軸的交點分別爲P(a,0,0),Q(0,b,0),R(0,0,c)，其中，a,b,c依次稱爲該平面在x,y,z軸上的截距。

二、點法式

n爲平面的法向量，n=(A,B,C),M,M'爲平面上任意兩點，則有n·MM'=0, MM'=(x-x0,y-y0,z-z0)，

從而得平面的點法式方程：A(x-x0)+B(y-y0)+C(z-z0)=0 [1] 

　　

　　

　　

三點求平面可以取向量積爲法線

任一三元一次方程的圖形總是一個平面，其中x,y,z的係數就是該平面的一個法向量的座標。

兩平面互相垂直相當於A1A2+B1B2+C1C2=0

兩平面平行或重合相當於A1/A2=B1/B2=C1/C2

點到平面的距離=abs(Ax0+By0+Cz0+D)/sqrt(A^2+B^2+C^2) 求解過程:面內外兩點連線在法向量上的映射Prj(小n)(帶箭頭P1P0)=數量積

    點到平面距離的證明過程：

三、一般式

Ax+By+Cz+D=0 [1]  ，其中A,B,C,D爲已知常數，並且A,B,C不同時爲零。

四、法線式

xcosα+ycosβ+zcosγ=p [1]  ，其中cosα、cosβ、cosγ是平面法矢量的方向餘弦，p爲原點到平面的距離。

支持向量機

    1.基礎概要

        支持向量機(support Vector Machine，SVN)是一種有監督的分類算法，通過探求風險最小來提高學習機的泛化能力，實現經驗風險和置信範圍的最小化。

        求解目標：求得一個最優超平面

其中W是超平面的法向量，決定了超平面的方向，b是位移項，決定了超平面到原點的距離。顯然，超平面可以被W和b確定。樣本空間任意一點到超平面的距離爲W*X+B/||W||(點到距離的公式前面已經證明了)

   

   

如何求最優超平面(最大間隔分離超平面)？

       

基於目標函數和約束條件，定義拉格朗日函數：