对支持向量机中线性可分集分类过程的理解

原創

半截木头渡海洋

2019-08-28 20:50

根据初中数学知识，我们在二维笛卡尔座标系中画出一条直线。

$y=a\cdot x+c$

这条直线将平面切割成两部分，若将两部分的点分别代入直线方程，可以得到两个不等式

$\begin{matrix} y< a\cdot x+c \\ y> a\cdot x+c \end{matrix}$

若将上面的不等式组进行一些简单的变换，将y替换成x2,x替换成x1，系数以及常数分别用w1,w2,b代替,则可以得到以下方新的方程组：

$\begin{matrix} w_{1}\cdot x_{1}+w_{2}\cdot x_{2}+b> 0 \\ w_{1}\cdot x_{1}+w_{2}\cdot x_{2}+b< 0\end{matrix}$

我们约定:

$w_{1}\cdot x_{1}+w_{2}\cdot x_{2}+b\rightleftharpoons y_{i}$

$y_{i}\in \left \{ -1,1 \right \}$

$W=\left ( w_{1},w_{2} \right )$

$X=\left ( \begin{matrix} x_{1}\\ x_{2} \end{matrix} \right )$

并约定：

当 $W\cdot X> 0$ 时候， $y_{i}=1$

当 $W\cdot X< 0$ 时候， $y_{i}=-1$

这样我们就通过一条直线将平面中的所有点（除直线上的之外）分成了两类，这样就完成了一个线性分类。

以上虽然实现了一种分类方法，但是实际问题中，通常我们事先不知道这条直线在哪里，这条直线通常是需要我们自己去设定的，那么如何设定这条直线呢？面对这个问题，我想我们最自然的应该首先想到的就是选两个不同类别的点，在它们中间画一条直线，那么这条直线至少就可以将这两点分成了两类。根据这个想法，我们求解这条直线方程的过程如下：

發表評論

所有評論

還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.

相關文章

林智仁的libsvm-2.9在windows下的使用

很多學習svm的朋友，都用林智仁的libsvm在做分類的工作，但是整個配置和使用需要看很多東西。特將我自己的學習心得寫在這裏，以避免後來的人少走彎路，節約時間。準備工作：這篇假設使用的平臺是Windows XP，從命令列執行。先

2020-07-08 01:36:18

关于使用libsvm的一些总结

SVM支持向量機作爲一個分類的很好的工具，學習數據挖掘的不可避免的要使用它，但很多人鑑於理解SVM有一點困難，所以只需要知道它的使用方法就是最好不過了。下面就講我自己的一些學習經驗寫出來。我發的這幾篇文章，有的是借鑑了別人寫的文章，

2020-07-08 01:36:18

LIBSVM-mat使用方法

Libsvm-mat也是libsvm大家族的成員，只是matlab下的版本而已。在libsvm的網站上下載libsvm-mat-2.9-1.zip文件，解壓後放在任意目錄下（比如c:/libsvm-mat-2.9-1下）打開

2020-07-08 01:36:18

机器学习之SVM(Hinge Loss+Kernel Trick)原理推导与解析

支持向量機（Support Vector Machine, SVM）是一類按監督學習方式對數據進行二元分類的廣義線性分類器（generalized linear classifier），其決策邊界是對學習樣本求解的最大邊距超平面。

2020-07-07 17:45:19

svm 核函数

#coding=utf-8 import re from numpy import * def load_data(): data=[];label=[] o=open('test.txt') for line i

2020-07-07 13:09:52

学习笔记|模式识别|SVM分类和libsvm在matlab中的使用

一、SVM介紹傳統學習方法採用的經驗風險最小化方法（ERM）雖然將誤差最小化，但不能最小化學習過程的泛化誤差。ERM方法不成功的例子就是神經網絡中的過學習問題。爲此，由Vapnik領導的貝爾實驗室研究小組於1963年提出了一種新的非常有

2020-07-05 19:02:51

SVM 详解2

SVM入門（四）線性分類器的求解——問題的描述Part1 上節說到我們有了一個線性分類函數，也有了判斷解優劣的標準——即有了優化的目標，這個目標就是最大化幾何間隔，但是看過一些關於SVM的論文的人一定記得什麼優化的目標是要最

2020-07-05 15:48:12

SVM 详解6

SVM入門（八）鬆弛變量現在我們已經把一個本來線性不可分的文本分類問題，通過映射到高維空間而變成了線性可分的。就像下圖這樣：圓形和方形的點各有成千上萬個（畢竟，這就是我們訓練集中文檔的數量嘛，當然很大了）。現在想象我們有另

2020-07-05 15:48:12

SVM 详解4

SVM入門（六）線性分類器的求解——問題的轉化，直觀角度讓我再一次比較完整的重複一下我們要解決的問題：我們有屬於兩個類別的樣本點（並不限定這些點在二維空間中）若干，如圖，圓形的樣本點定爲正樣本（連帶着，我們可以把正樣本所屬的類

2020-07-05 15:48:11

SVM 详解7

SVM入門（九）鬆弛變量（續）接下來要說的東西其實不是鬆弛變量本身，但由於是爲了使用鬆弛變量才引入的，因此放在這裏也算合適，那就是懲罰因子C。回頭看一眼引入了鬆弛變量以後的優化問題：注意其中C的位置，也可以回想一下C所起的作用

2020-07-05 15:48:10

SVM 详解

按:之前的文章重新彙編一下,修改了一些錯誤和不當的說法，一起復習,然後繼續SVM之旅. （一）SVM的八股簡介支持向量機(Support Vector Machine)是Cortes和Vapnik於1995年首先提出的，它在解決小

2020-07-05 15:48:10

基于DL的计算机视觉（3）-- SVM和Softmax分类器

1. 線性分類器在深度學習與計算機視覺系列(2)我們提到了圖像識別的問題，同時提出了一種簡單的解決方法——KNN。然後我們也看到了KNN在解決這個問題的時候，雖然實現起來非常簡單，但是有很大的弊端：分類器必須記住全部的訓練數

2020-07-04 22:45:57

Scala 版本的svm库

Scala 版本的svm庫常用的svm庫是臺灣大學libsvm，在此就不在詳細介紹。在實際工作中，想在spark框架裏面使用svm，但是spark自帶的svm感覺不是很適用，就找到一個github上面的一個scala版本的sv

菩提树下写代码

2020-07-03 19:38:15

【ML从入门到入土系列05】支持向量机

文章目錄1 理論1.1 線性SVM1.2 非線性SVM2 代碼3 參考 1 理論 SVM基本形式：有監督二分類線性分類模型；擴展形式：有監督二分類非線性分類模型，有監督多分類（線性/非線性）分類模型，有監督線性迴歸模型（SVR），

2020-07-03 16:10:39

[完]机器学习实战第六章支持向量机（Support Vector Machine）

[參考] 機器學習實戰（Machine Learning in Action）本章內容支持向量機（Support Vector Machine）是最好的現成的分類器，“現成”指的是分類器不加修改即可直接使用。基本形式的SV

2020-07-02 16:27:02

24小時熱門文章

最新文章

最新評論文章