超平面是什麼?-SVM

  最近學習機器學習西瓜書的支持向量機,開篇就遇到超平面這個概念,找資料找了很久,並沒有找到很好的資料。不是數學系的真痛苦,是數學系的更痛苦。雖然沒有找到什麼資料,先把網上的資料先整理整理,之後慢慢把概念補上。西瓜書裏面有這麼一句話:“在樣本空間中,劃分超平面可通過如下線性方程來描述:,其中爲法向量(列向量),決定了超平面的方向;b爲位移項,決定了超平面與原點之間的距離。顯然,劃分超平面可被法向量w和位移b確定”。

在說超平面之前,先說說 Rn 空間中的直線和平面。給定 Rn 空間中的一點 p 和一非負向量 v ,滿足tv⃗ +p。點 i 的集合稱爲 Rn 空間中的一條直線。上式中 t 是一個標量,向量 v  決定了該直線的方向。相對的,給定 Rn 空間中的一點 p和兩個線性無關的向量 v ,w ,滿足i=tv⃗ +sw⃗ +p。點 i 的集合稱爲 Rn 空間中的一個平面。上式中 t,s 均是標量。
 

 

更一般的,給定 Rn 空間中的一點 p和線性無關的向量 v1→,v2→,...,vk,滿足i=t1v1→+t2v2→+...+tkvk→+p的點 i 的集合稱爲 Rn 空間的一個k維仿射子空間(k-dimensionalaffine subspace)。因此,一條直線就是一個1維仿射子空間,一個平面就是一個2維仿射子空間。

 

 

 

 我們對“平面”概念的理解,一般是定義在三維空間中的,即

                                                        

        這個平面由兩個性質定義:1、方程是線性的,是由空間點的各分量的線性組合。2、方程數量是1。這個平面是建立在“三維”上的。如果我們撇開“維度”這個限制,那麼就有了超平面的定義。實際上,超平面是純粹的數學概念,不是物理概念,它是平面中的直線、空間中的平面的推廣,只有當維度大於3,才稱爲“超”平面。它的本質是自由度比空間維度小1。自由度的概念可以簡單的理解爲至少要給定多少個分量的值才能確定一個點. 例如, 三維空間裏的(超)平面只要給定了(x,y,z)中任意兩個分量, 剩下的一個的值就確定了. 先確定值的兩個分量是自由的, 因爲它們想取什麼值就能取什麼值;剩下的那個是"不自由的", 因爲它的值已經由另外兩確定了. 二維空間裏的超平面爲一條直線. 一維空間裏超平面爲數軸上的一個點。

        百度百科上對超平面的數學定義是這樣的:超平面H是從n維空間到n-1維空間的一個映射子空間,它有一個n維向量和一個實數定義。因爲是子空間,所以超平面一定過原點。

        通常,R2(二維空間)中的點集 i = (x,y)滿足等式 (點集 i 實際爲一條直線):

                                              ax + 1/by + c = 0   (1)      (這裏使用1/b 是爲了後續計算好表示)

       其中,a,b,c均爲標量,a,1/b至少有一個不爲0.我們假設 b 不爲0。,那麼

                                               y = -abx  - cb 

        此時,使用換元法,令 t = x,(顯然,t 爲標量) 則點集 i (x,y) 可以表示成 

                                               i (x,y) =   ( t, -abt - cb) = t (1, -ab) + (0, -cb)

       這條直線是什麼?實際上就是過 (0, -cb) 點,方向爲 (1, -ab) 的直線 L。

        進一步,我們令向量 n  =  (a,1/b),則 (1)可以表示成n* i + c = 0  (2)

        神奇的一刻來臨了。假設在直線 L 上取一點 p0(x0,y0),顯然,n* p0 + c = 0,那麼 c = -n* p0.

        更進一步,將 (2)改寫,可得 n* i-n* p0 = 0 ,即可 n* (i - p0 ) = 0。

        因爲 n 和(i - p0 ) 均是向量,(i - p0 ) 在直線 L 上, 所以,n 垂直直線L ,即n爲直線L 的法向量。更進一步,我們可以得到,那些與p的差向量與 n 向量正交的點,就是點集 i (x,y).

 

       進一步解釋什麼是超平面:

        給定向量空間 Rn 中的一個點 P 和一個非零向量n ,滿足

                                           n * (i - p)= 0

       則稱點集 i 爲通過點p 的超平面,向量 n爲通過超平面的法向量。按照這個定義,雖然當維度大於3纔可以成爲“超”平面,但是你仍然可以認爲,一條直線是 R2 空間內的超平面,一個平面是 R3 空間內的超平面 。Rn 空間的超平面是Rn 空間內的一個 n - 1 維的仿射子空間。

 

 

 

網上參考資料:http://blog.csdn.net/denghecsdn/article/details/77313758

http://www.xuebuyuan.com/1734154.html

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章