支持向量机 Support Vector Machine（学习笔记、python）

原創 爱跑步的mango 2020-05-24 23:40

SVM目录

一、支持向量机

支持向量机的基本思想是SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开（训练错误率为0），且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面，并且使训练集中的点距离分类面尽可能的远，也就是寻找一个分类面使它两侧的空白区域（margin）最大。（SVM算法就是为找到距分类样本点间隔最大的分类超平面(ω,b)(\omega, b)过两类样本中离分类面最近的点，且平行于最优分类面的超平面上H1，H2的训练样本就叫支持向量。)
在这里插入图片描述
上图中直线(ω∗.x)+b∗=0是空间R2上的分划线。直线(ω∗.x)+b∗=1和(ω∗.x)+b∗=−1{(\omega* .x)+b^* =0}是空间R2上的分划线。直线{(\omega*.x)+b^*=1}和{(\omega^* .x)+b^*=-1}是两条支持直线.属于正类的非支持向量一定位于对应1的支持直线的一侧(包含边界线),属于负类的非支持向量一定位于对应-1的支持直线的一侧(包含边界线).而属于正类的支持向量和属于负类的支持向量分别位于上述两条支持直线上由此可以体会“支持向量”一词的由来。（如图中的红框框里面的点即是支持向量）

1.线性支持向量机

给定线性可分（不可分）的训练数据集，通过硬（软）间隔最大化或者等价的
的求解相应的凸二次规划问题学习得到的分离超平面为：ω∗x+b=0{\omega∗x+b=0}
以及相应的分类决策函数：f(x)=sign(ω∗x)+bf(x)=sign(ω∗x)+b{f(x)=sign(\omega∗x)+bf(x)=sign(\omega∗x)+b}

2.非线性支持向量机

从非线性分类训练集，通过核函数与软间隔最大化，或者凸二次优化，学习得到的分类决策函数 f(x)=sign(∑i=1NαiyiK(x,xi)+b){f(x)=sign(\displaystyle\sum_{i=1}^N{\alpha_iy_i}K(x,x_i)+b)}
其中，K(x,z)是正定核函数。其中，{K(x,z)}是正定核函数。

二、支持向量机重要概念

1.函数间隔

定义超平面(ω,b)关于样本点(xi,yi)的函数间隔是γi^=yi(w∗xi+b);超平面ω,b关于训练集T的函数间隔为：超平面(ω,b)与所有样本点(xi,yi)的函数间隔最小值：定义超平面{(\omega, b)}关于样本点{(x_i, y_i)}的函数间隔是 {\hat {\gamma_i}=y_i(w∗x_i+b);} 超平面\omega, b 关于训练集 T 的函数间隔为：\\ 超平面{(\omega, b)}与所有样本点 (x_i, y_i)的函数间隔最小值：
γ^=min⁡i=1,2...Nγi^{\hat{\gamma}=\displaystyle\min_{i=1,2...N}\hat{\gamma_i}}

  • 函数间隔可以表示分类预测的正确性及确信度

2.几何间隔

定义超平面(ω,b)关于样本点(xi,yi)的几何间隔是γi=yi(ω∥ω∥∗xi+b∥ω∥)定义超平面{(\omega, b)}关于样本点{(x_i, y_i)}的几何间隔是{\gamma_i=y_i(\frac{\omega}{\Vert\omega \Vert}*x_i+\frac{b}{\Vert\omega \Vert})};超平面(ω,b)关于训练数据集T的几何间隔是：超平面(ω,b)与所有样本点(xi,yi)超平面(\omega, b)关于训练数据集T的几何间隔是： 超平面(\omega, b)与所有样本点 (x_i, y_i)的几何间隔最小值：γ=min⁡i=1,2...Nγi^{\gamma=\displaystyle\min_{i=1,2...N}\hat{\gamma_i}}

  • 几何间隔是为样本点到超平面的带符号距离，当样本被正确分类时，即为样本点到超平面的距离

3.核函数

从输入空间χ（欧式空间Rn的子集或者离散集合）到特征空间H(希尔伯特空间)的映射：ϕ(x):χ⇒H;使得对所有的x,z∈χ,函数K(x,z)满足条件K(x,z)=ϕ(x)∗ϕ(z),则称K(x,z)为核函数，ϕ(x)为映射函数。从输入空间\chi（欧式空间R^n 的子集或者离散集合）到特征空间H (希尔伯特空间)的映射： \\{ϕ(x):\chi{\Rightarrow}H};使得对所有的{x,z\in\chi},函数K(x,z)满足条件{K(x,z)=\phi(x)∗\phi(z)},\\则称K(x,z)为核函数，\phi(x)为映射函数。

三、拉格朗日对偶性

1.原始问题

假设f(x),ci(x),hj(x)是定义在Rn上的连续可微函数，考虑约束最优化问题：假设f(x), c_i(x), h_j(x)是定义在R^n 上的连续可微函数，考虑约束最优化问题：
{min⁡x∈Rnf(x) ①s.t.ci(x)≤0，i=1,2,3,......k ②hj(x)=0，j=1,2,3，......l ③\begin{cases} \displaystyle\min_{x\in{R^n}}f(x) \ ① \\ s.t. c_i(x)\leq0，i = 1,2,3,......k \ ② \\ h_j(x) = 0，j = 1,2,3，......l \ ③\\ \end{cases}
则该约束最优化问题为原始问题或者原始最优化问题。
在求解该最优化问题时，首先引入广义拉格朗日函数（generalized Lagrange function）
L(x,α,β)=f(x)+∑i=1kαici(x)+∑j=1lβjhj(x)拉格朗日乘子，且αi≥0。考虑x的函数θp(x)=max⁡α，β，αi≥0L(x，α，β)=max⁡α，β，αi≥0[f(x)+∑i=1kαici(x)+∑j=1lβjhj(x)]{L(x,\alpha,\beta)=f(x)+\displaystyle\sum_{i=1}^k\alpha_ic_i(x)+\displaystyle\sum_{j=1}^l\beta_jh_j(x)}拉格朗日乘子，且 {\alpha_i≥0}。考虑x的函数\\{\theta_p(x)=\displaystyle\max_{\alpha，\beta，\alpha_i\geq0}{L(x，\alpha，\beta)}=\displaystyle\max_{\alpha，\beta，\alpha_i\geq0}[f(x)+\displaystyle\sum_{i=1}^k\alpha_ic_i(x)+\displaystyle\sum_{j=1}^l\beta_jh_j(x)]}
如果x违反约束条件，即存在xi使得ci(xi)>0或者存在xj使得hj(xj)≠0,则有θp(x)=max⁡α，β，αi≥0L(x，α，β)=+∞如果x 违反约束条件，即存在x_i 使得{ c_i(x_i)>0}或者存在x_j使得{h_j(x_j)≠0}, 则有\\ {\theta_p(x)=\displaystyle\max_{\alpha，\beta，\alpha_i\geq0}{L(x，\alpha，\beta)}=+\infty}
1.若xi使约束条件ci(x)>0,则令αi→+∞，使得αici(x)→+∞；2.若xj使得约束条件hj(xj)≠0，则令βj→+∞，使得βjhj(xj)→∞βjhj(xj)→∞,同时令其余α，β均取0，可得θp(x)=+∞。1.若x_i 使约束条件 c_i(x)>0, 则令\alpha_i\rightarrow+\infty， 使得\\\alpha_ic_i(x)\rightarrow+\infty； 2.若x_j 使得约束条件h_j(x_j)≠0， 则令\beta_j\rightarrow+\infty，使得\\βjhj(xj)→∞βjhj(xj)→∞, 同时令其余\alpha，\beta均取0，可得\theta_p(x)=+\infty 。
所以有：
θp(x)={f(x) x满足约束条件+∞ 其他\theta_p(x)=\begin{cases} f(x) \ x 满足约束条件\\ +\infty \ 其他\\ \end{cases}
原始最优化问题转换为:
P∗=min⁡xmax⁡α，β，αi≥0L(x，α，β)；P∗定义为原始问题的最优值。{P^*=\displaystyle\min_{x}\displaystyle\max_{\alpha，\beta，\alpha_i\geq0}{L(x，\alpha，\beta)}}；P^*定义为原始问题的最优值。

2.对偶问题

定义：θD=min⁡xL(x，α，β)。定义：{\theta_D=\displaystyle\min_{x}{L(x，\alpha，\beta)}}。

再考虑对θD=min⁡xL(x，α，β)的极大化，即max⁡α，β，αi≥0θD=max⁡α，β，αi≥0min⁡xL(x，α，β)。再考虑对\theta_D= \displaystyle\min_{x}{L(x，\alpha，\beta)}的极大化，即\\ {\displaystyle\max_{\alpha，\beta，\alpha_i\geq0}}{\theta_D}=\displaystyle\max_{\alpha，\beta，\alpha_i\geq0}\displaystyle\min_{x}{L(x，\alpha，\beta)}。

问题max⁡α，β，αi≥0min⁡xL(x，α，β)成为广义拉格朗日函数的极大极小问题。问题{\displaystyle\max_{\alpha，\beta，\alpha_i\geq0}\displaystyle\min_{x}{L(x，\alpha，\beta)}}成为广义拉格朗日函数的极大极小问题。
将广义拉格朗日函数的极大极小问题表示为约束最优化问题：
max⁡α，β，αi≥0θD=max⁡α，β，αi≥0min⁡xL(x，α，β){\displaystyle\max_{\alpha，\beta，\alpha_i\geq0}{\theta_D}=\displaystyle\max_{\alpha，\beta，\alpha_i\geq0}\displaystyle\min_{x}{L(x，\alpha，\beta)}}
s.t.αi≥0s.t. \alpha_i\geq0
称为原始问题的对偶问题，定义对偶问题的最优值为：d∗=max⁡α，β，αi≥0θD称为原始问题的对偶问题，定义对偶问题的最优值为：{d^∗=\displaystyle\max_{\alpha，\beta，\alpha_i\geq0}{\theta_D}}

3.原始问题与对偶问题的关系

定理1： 若原始问题与对偶问题都有最优值，则
d∗=max⁡α，β，αi≥0min⁡xL(x，α，β)≤min⁡xmax⁡α，β，αi≥0L(x，α，β)=P∗。{d^∗=\displaystyle\max_{\alpha，\beta，\alpha_i\geq0}\displaystyle\min_{x}{L(x，\alpha，\beta)}\leq\displaystyle\min_{x}\displaystyle\max_{\alpha，\beta，\alpha_i\geq0}{L(x，\alpha，\beta)}=P^∗}。
定理2：考虑原始问题与对偶问题，假设函数f(x)和ci(x)是凸函数，hj(x)是仿射函数；并且假设不等式约束ci(x)是严格可行的，即存在x,对所有i有ci(x)<0,则存在x∗,α∗,β∗，使得x∗是原始问题的解，α∗,β∗是对偶问题的解，并且P∗=L(x，α，β)。定理2：考虑原始问题与对偶问题，假设函数f(x) 和c_i(x) 是凸函数，h_j(x) 是仿射函数；\\并且假设不等式约束c_i(x)是严格可行的，即存在x, 对所有i 有{c_i(x)<0}, \\则存在x^∗,\alpha^∗,\beta^∗， 使得x^∗是原始问题的解，\alpha^∗,\beta^∗是对偶问题的解，\\并且 {P^∗={L(x，\alpha，\beta)}}。

  • 在满足约束条件下，该定理保证了对偶问题求的最优解，既是对原始问题求的最优值。

定理3：考虑原始问题与对偶问题，假设函数f(x)和ci(x)是凸函数，hj(x)是仿射函数；并且假设不等式约束ci(x)是严格可行的，则x∗和α∗,β∗分别原始问题和对偶问题解的充分必要条件是x∗,α∗,β∗满足KKT条件：定理3：考虑原始问题与对偶问题，假设函数f(x)和c_i(x)是凸函数，h_j(x)是仿射函数；\\并且假设不等式约束c_i(x)是严格可行的，则x^∗ 和\alpha^∗,\beta^∗ 分别原始问题和对偶问题\\解的充分必要条件是x^∗,\alpha^∗,\beta^∗ 满足 KKT条件：
▽xL(x∗,α∗,β∗)=0▽αLx∗,α∗,β∗)=0▽βLx∗,α∗,β∗)=0▽_xL(x^∗,\alpha^∗,\beta^∗)=0\\ ▽αLx^∗,\alpha^∗,\beta^∗)=0\\ ▽βLx^∗,\alpha^∗,\beta^∗)=0
αi∗ci(x∗)=0,i=1,2,……，k这条重要，在优化α\alpha^∗_ic_i(x^*)=0,i=1,2,……，k这条重要，在优化\alpha， 选择第一个变量的依据是违反KKT条件，就是违反了这一条ci(x∗)≤0,i=1,2,……，kαi∗≥0,i=1,2,……，khj(xj∗)=0,j=1,2,……，l选择第一个变量的依据是违反KKT 条件，就是违反了这一条\\ c_i(x^∗)\leq0, i=1,2,……，k\\ \alpha^∗_i\geq0, i=1,2,……，k\\ h_j(x_j^*)=0, j=1,2,……，l

  • 该定理提供了对偶问题和原始问题求解的方法。

4.目标函数

SVM 算法的分类思想是求得一个几何间隔最大的分离超平面，即最大间隔分离超平面，可表示为以下约束问题：
max⁡ω,bγs.t. yi(ω∥ω∥∗xi+b∥ω∥)≥γ,i=1,2,…N{\displaystyle\max_{\omega,b}{\gamma }\\ s.t. \ y_i(\frac{\omega}{\Vert\omega \Vert}*x_i+\frac{b}{\Vert\omega \Vert})≥\gamma , i=1,2,…N}
最大化分离超平面与训练数据集的几何间隔γ,约束条件保证了所有样本点与分离超平面的几何间隔至少为γ。根据几何间隔与函数间隔的关系，γ=γ^∥ω∥，上述问题可转换为：最大化分离超平面与训练数据集的几何间隔\gamma , 约束条件保证了所有样本点与分\\离超平面的几何间隔至少为γ。\\ 根据几何间隔与函数间隔的关系，\gamma=\frac{\hat\gamma}{\Vert\omega \Vert}， 上述问题可转换为：
max⁡ω,bγ^∥ω∥s.t.yi(ω∗xi+b)≥γ^,i=1,2,…N\displaystyle\max_{\omega,b}\frac{\hat\gamma}{\Vert\omega \Vert}\\ s.t. y_i(\omega∗x_i+b)\geq\hat\gamma, i=1,2,…N
由于函数间隔γ^的取值不影响最优化问题，可取γ^=1(线性可分支持向量机)。对1∥ω∥求极大值，可转换为求∥ω∥2的极小值。但在线性不可分训练集中，某些样本点可能不满足函数间隔大于等于1的约束条件。所以，对每个样本点引入一个松弛变量ξ≥0。(在机器学习实战中，ξ称为容错率)因此上述约束条件改为：s.t.yi(ω∗xi+b)≥1−ξi,i=1,2,…N由于函数间隔\hat\gamma的取值不影响最优化问题，可取{\hat\gamma=1}(线性可分支持向量机)。\\对\frac{1}{\Vert\omega \Vert}求极大值，可转换为求{\Vert\omega \Vert}^2的极小值。\\但在线性不可分训练集中，某些样本点可能不满足函数间隔大于等于1的约束条件。\\所以，对每个样本点引入一个松弛变量{\xi\geq0}。(在机器学习实战中，\xi称为容错率)\\因此上述约束条件改为： {s.t. y_i(\omega∗x_i+b)\geq1−\xi_i, i=1,2,…N}
于是，可得目标函数，即最优化问题转换为：min⁡ω，b，ξ12∥ω∥2+C∑i=1Nξi ; s.t.yi(ω∗xi+b)≥1−ξi这一项就是拉格朗日对偶性中的ci(x)ξi≥0,i=1,2,……，NC≥0是惩罚参数，C值大时对误分类的惩罚增加，C值小时对误分类的惩罚减小（boosting的原理也是惩罚误分类点（机器学习实战SVM篇小结处问SVM和boosting的相似处））。最小化目标函数，一方面使间隔尽量大（12∥ω∥2尽量小），同时，使误分类点的个数尽量减小。C是调节二者的系数。当ξi=0时，为线性可分SVM的参数优化模型。于是，可得目标函数，即最优化问题转换为：\\ {\displaystyle\min_{\omega，b，\xi}{\frac{1}{2}{\Vert\omega \Vert}^2+C\displaystyle\sum_{i=1}^N\xi_i} \ ; \ s.t. y_i(\omega∗x_i+b)\geq1−\xi_i}\\这一项就是拉格朗日对偶性中的{c_i(x) \xi_i\geq0, i=1,2,……，N}\\ {C\geq0}是惩罚参数， C值大时对误分类的惩罚增加，C值小时对误分类的惩罚减小\\（boosting的原理也是惩罚误分类点（机器学习实战SVM篇小结处问SVM和boosting 的相似处））。\\最小化目标函数，一方面使间隔尽量大（{\frac{1}{2}{\Vert\omega \Vert}^2}尽量小），同时，使误分类点的个数尽量减小。\\C是调节二者的系数。 当\xi_i=0时，为线性可分SVM 的参数优化模型。
在这里插入图片描述
约束条件①②③④⑤
{αi(yi(ω∗x+b)−1+ξi)=0 ①C−αi−μi=0 ②αi≥0 ③μi≥0 ④αiμi=0 ⑤\begin{cases} \alpha_i(y_i(\omega*x+b)-1+\xi_i)=0 \ ①\\ C-\alpha_i-\mu_i=0 \ ②\\ \alpha_i\geq0 \ ③\\ \mu_i\geq0 \ ④\\ \alpha_i\mu_i=0 \ ⑤\\ \end{cases}
αi(yi(ω∗x+b)−1+ξi)=0及αi的取值不同，软间隔的支持向量xi有4种可能:若αi<C,则ξi=0,该样本点恰好落在间隔边界上，如点A若αi=C,0<ξi<1,则分类正确,该样本落在间隔边界和分离超平面之间,如点B若αi=C,ξi=1,则该样本落在分离超平面之间，如点M若αi=C,ξi>1,则该样本落在分离超平面误分的一侧;如点N{\alpha_i(y_i(\omega*x+b)-1+\xi_i)=0}及\alpha_i的取值不同，软间隔的支持向量x_i有4种可能: 若{\alpha_i<C,则\xi_i=0},该样本点恰好落在间隔边界上，如点A\\ 若{\alpha_i=C,0<\xi_i<1},则分类正确,该样本落在间隔边界和分离超平面之间,如点B\\ 若{\alpha_i=C,\xi_i=1},则该样本落在分离超平面之间，如点M\\ 若{\alpha_i=C,\xi_i>1},则该样本落在分离超平面误分的一侧; 如点N

四、sklearn中的SVM

1.准备一个简单二分类数据集

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
iris = datasets.load_iris()
x = iris.data
y = iris.target
# 只做一个简单的二分类
x = x[y<2, :2]
y = y[y<2]
plt.scatter(x[y==0, 0], x[y==0, 1])
plt.scatter(x[y==1, 0], x[y==1, 1])
plt.show()

在这里插入图片描述
2.实现svm，先使用一个比较大的C

# 标准化数据
from sklearn.preprocessing import StandardScaler
from sklearn.svm import LinearSVC
standardscaler = StandardScaler()
standardscaler.fit(x)
x_standard = standardscaler.transform(x)
svc = LinearSVC(C=1e9)
svc.fit(x_standard, y)
def plot_decision_boundary(model, axis):
    x0, x1 = np.meshgrid(np.linspace(axis[0], axis[1], int((axis[1] - axis[0])*100)).reshape(1, -1),np.linspace(axis[2], axis[3], int((axis[3] - axis[2])*100)).reshape(1, -1),)
    x_new = np.c_[x0.ravel(), x1.ravel()]
    y_predict = model.predict(x_new)
    zz = y_predict.reshape(x0.shape)
    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)
plot_decision_boundary(svc, axis=[-3, 3, -3, 3])
plt.scatter(x_standard[y==0, 0], x_standard[y==0, 1], color='red')
plt.scatter(x_standard[y==1, 0], x_standard[y==1, 1], color='blue')
plt.show()

在这里插入图片描述
3.使用一个比较小的C，对比C取不同值的效果

svc2 = LinearSVC(C=0.01)
svc2.fit(x_standard, y)
plot_decision_boundary(svc2, axis=[-3, 3, -3, 3])
plt.scatter(x_standard[y==0, 0], x_standard[y==0, 1], color='red')
plt.scatter(x_standard[y==1, 0], x_standard[y==1, 1], color='blue')
plt.show()

在这里插入图片描述
对比两幅图可以发现，当C较小时，误将一个红色的点分到蓝色当中，这也再次验证了当C越小，就意味着有更大的容错空间
4.查看线性SVM的截距和系数

svc.coef_
svc.intercept_

在这里插入图片描述
5.画出除了决策边界以外的两条跟支持向量相关的直线

def plot_svc_decision_boundary(model, axis):
    x0, x1 = np.meshgrid(np.linspace(axis[0], axis[1], int((axis[1] - axis[0])*100)).reshape(1, -1),np.linspace(axis[2], axis[3], int((axis[3] - axis[2])*100)).reshape(1, -1),)
    x_new = np.c_[x0.ravel(), x1.ravel()]
    y_predict = model.predict(x_new)
    zz = y_predict.reshape(x0.shape)
    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A', '#FFF59D', '#90CAF9'])
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)
    w = model.coef_[0]
    b = model.intercept_[0]
    # w0*x0 + w1*x1 + b = 0
    # x1 = -w0/w1 * x0 - b/w1
    plot_x = np.linspace(axis[0], axis[1], 200)
    up_y = -w[0]/w[1] * plot_x - b/w[1] + 1/w[1]
    down_y = -w[0]/w[1] * plot_x - b/w[1] - 1/w[1]
    up_index = (up_y >= axis[2]) & (up_y <= axis[3])
    down_index = (down_y >= axis[2]) & (down_y <= axis[3])
    plt.plot(plot_x[up_index], up_y[up_index], color='black')
    plt.plot(plot_x[down_index], down_y[down_index], color='black')
plot_svc_decision_boundary(svc, axis=[-3, 3, -3, 3])
plt.scatter(x_standard[y==0, 0], x_standard[y==0, 1], color='red')
plt.scatter(x_standard[y==1, 0], x_standard[y==1, 1], color='blue')
plt.show()

在这里插入图片描述

plot_svc_decision_boundary(svc2, axis=[-3, 3, -3, 3])
plt.scatter(x_standard[y==0, 0], x_standard[y==0, 1], color='red')
plt.scatter(x_standard[y==1, 0], x_standard[y==1, 1], color='blue')
plt.show()

在这里插入图片描述

svc3 = LinearSVC(C=0.1)
svc3.fit(x_standard, y)
# 从上述结果可以看出sklearn中对于svm封装的linearSVC默认对于多分类使用ovr，L2正则。
plot_svc_decision_boundary(svc3, axis=[-3, 3, -3, 3])
plt.scatter(x_standard[y==0, 0], x_standard[y==0, 1], color='red')
plt.scatter(x_standard[y==1, 0], x_standard[y==1, 1], color='blue')
plt.show()

在这里插入图片描述

五、SVM中使用多项式特征

1.svm解决非线性问题，先生成数据集

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
x, y = datasets.make_moons()
#x.shape
#y.shape
plt.scatter(x[y==0, 0], x[y==0, 1])
plt.scatter(x[y==1, 0], x[y==1, 1])
plt.show()

在这里插入图片描述
2.给数据添加一些随机噪声

x, y = datasets.make_moons(noise=0.15, random_state=666)
plt.scatter(x[y==0, 0], x[y==0, 1])
plt.scatter(x[y==1, 0], x[y==1, 1])
plt.show()

在这里插入图片描述

from sklearn.preprocessing import PolynomialFeatures, StandardScaler
from sklearn.svm import LinearSVC
from sklearn.pipeline import Pipeline
def PolynomiaSVC(degree, C=1.0):
    return Pipeline([('poly', PolynomialFeatures(degree=degree)),('std_scale', StandardScaler()),('linear_svc', LinearSVC(C=C))])
poly_svc = PolynomiaSVC(degree=3)
poly_svc.fit(x, y)
def plot_decision_boundary(model, axis):
    x0, x1 = np.meshgrid(np.linspace(axis[0], axis[1], int((axis[1] - axis[0])*100)).reshape(1, -1),np.linspace(axis[2], axis[3], int((axis[3] - axis[2])*100)).reshape(1, -1),)
    x_new = np.c_[x0.ravel(), x1.ravel()]
    y_predict = model.predict(x_new)
    zz = y_predict.reshape(x0.shape)
    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A', '#FFF59D', '#90CAF9'])
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)
plot_decision_boundary(poly_svc, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(x[y==0, 0], x[y==0, 1])
plt.scatter(x[y==1, 0], x[y==1, 1])
plt.show()

在这里插入图片描述
除了使用这种增加多项式特征之后再给入线性svc中之外，还有一种方法可以实现类似的功能

from sklearn.svm import SVC
# 这种方法训练的过程并不完全是先将数据进行标准化，再使用linearSVC这么一个过程
# SVC中默认的C=0
def PolynomiaKernelSVC(degree, C=1.0):
    return Pipeline([('std_scale', StandardScaler()),('kernel_svc', SVC(kernel='poly', degree=degree, C=C))])# poly代表多项式特征
poly_kernel_svc = PolynomiaKernelSVC(degree=3)
poly_kernel_svc.fit(x, y)
plot_decision_boundary(poly_svc, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(x[y==0, 0], x[y==0, 1])
plt.scatter(x[y==1, 0], x[y==1, 1])
plt.show()

在这里插入图片描述
是svm中kernel函数

六、高斯核函数

高斯核函数的目的就是将每一个样本点映射到一个无穷维的特征空间。实质上就是把一个mn维的数据映射成了mm的数据。由于理论上数据量可以是无穷维，所以说是映射到一个无穷维空间中。
在这里插入图片描述
1.通过高斯核函数映射来更加直观地理解整个映射的过程

import numpy as np
import matplotlib.pyplot as plt
x = np.arange(-4, 5, 1)
y = np.array((x >= -2) & (x <= 2), dtype='int')
# array([0, 0, 1, 1, 1, 1, 1, 0, 0])
plt.scatter(x[y==0], [0] * len(x[y==0]))
plt.scatter(x[y==1], [0] * len(x[y==1]))
plt.show()

在这里插入图片描述

def gaussian(x, l):
    gamma = 1.0
    return np.exp(-gamma *(x-l)**2)
l1, l2 = -1, 1
x_new = np.empty((len(x), 2))
for i,data in enumerate(x):
    x_new[i, 0] = gaussian(data, l1)
    x_new[i, 1] = gaussian(data, l2)
plt.scatter(x_new[y==0, 0], x_new[y==0, 1])
plt.scatter(x_new[y==1, 0], x_new[y==1, 1])
plt.show()

在这里插入图片描述
真正的高斯核函数实现的过程中并不是固定的landmark，而是对于每一个数据点都是landmark
在这里插入图片描述
在这里插入图片描述
gamma越大，高斯分布越宽；

gamma越小，高斯分布越窄。
2.使用sklearn中封装的高斯核函数

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
x, y = datasets.make_moons(noise=0.15, random_state=666)
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.pipeline import Pipeline
def RBFKernelSVC(gamma=1.0):
    return Pipeline([('std_scale', StandardScaler()),('svc', SVC(kernel='rbf', gamma=gamma))])
svc = RBFKernelSVC(gamma=1.0)
svc.fit(x, y)
def plot_decision_boundary(model, axis):
    x0, x1 = np.meshgrid(np.linspace(axis[0], axis[1], int((axis[1] - axis[0])*100)).reshape(1, -1),np.linspace(axis[2], axis[3], int((axis[3] - axis[2])*100)).reshape(1, -1),)
    x_new = np.c_[x0.ravel(), x1.ravel()]
    y_predict = model.predict(x_new)
    zz = y_predict.reshape(x0.shape)
    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A', '#FFF59D', '#90CAF9'])
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)
plot_decision_boundary(svc, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(x[y==0, 0], x[y==0, 1])
plt.scatter(x[y==1, 0], x[y==1, 1])
plt.show()

在这里插入图片描述

svc_gamma100 = RBFKernelSVC(gamma=100)
svc_gamma100.fit(x, y)
plot_decision_boundary(svc_gamma100, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(x[y==0, 0], x[y==0, 1])
plt.scatter(x[y==1, 0], x[y==1, 1])
plt.show()

在这里插入图片描述

svc_gamma10 = RBFKernelSVC(gamma=10)
svc_gamma10.fit(x, y)
plot_decision_boundary(svc_gamma10, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(x[y==0, 0], x[y==0, 1])
plt.scatter(x[y==1, 0], x[y==1, 1])
plt.show()

在这里插入图片描述

svc_gamma01 = RBFKernelSVC(gamma=0.1)
svc_gamma01.fit(x, y)
plot_decision_boundary(svc_gamma01, axis=[-1.5, 2.5, -1.0, 1.5])
plt.scatter(x[y==0, 0], x[y==0, 1])
plt.scatter(x[y==1, 0], x[y==1, 1])
plt.show()

在这里插入图片描述
gamma相当于是在调节模型的复杂度，gammma越小模型复杂度越低，gamma越高模型复杂度越高。因此需要调节超参数gamma平衡过拟合和欠拟合。

七、SVM解决回归问题

1.在sklearn中实现SVM解决回归问题(在margin区域内的点越多越好)

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
boston = datasets.load_boston()
x = boston.data
y = boston.target
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=888)
from sklearn.svm import SVR
from sklearn.svm import LinearSVR
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
def StandardLinearSVR(epsilon=0.1):
    return Pipeline([
        ('std_scale', StandardScaler()),
        # C, kernel, 等超参需要调节
        ('linear_svr', LinearSVR(epsilon=epsilon))])
svr = StandardLinearSVR()
svr.fit(x_train, y_train)
svr.score(x_test, y_test)

在这里插入图片描述
由上图输出结果可知，准确率0.703其实并不高，这是因为使用了默认的参数，超参数epsilon，C，kernel等的设置，包括使用交叉验证等等，可以逐步提高准确率。

参考文献

  • 《统计学习方法》 李航
  • 支持向量机-课件-518.docx
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

《期货-市场技术分析》读书笔记

第二本技術分析書籍，《期貨-市場分析技術》： 書中的很多內容，如趨勢、趨勢線、阻力、支撐等，也象《日本蠟燭圖》一樣，沒有邏輯推理過程，沒有數據驗證。但是我認可其確實有一定的心理暗示作用。因爲我在聽很多技術分析大 V 的視頻時，他們中的大部

BloodyAngel 2024-04-29 14:32:19

《日本蜡烛图》读书笔记 & 技术分析回测

最近想做一些現金流的策略，所以決定把技術分析研究得更加深入一些。朋友推薦了幾本書：《日本蠟燭圖》、《期貨市場技術分析》、《纏論》，我想挨個把它們看完，同步也嘗試做一些量化技術策略。 日本蠟燭圖 下面這本書就是上面所說的第一本： 其實，我是

BloodyAngel 2024-04-29 14:32:19

pytest lastfailed原理

相信很多使用pytest的，都知道pytest有運行上次失敗用例的參數，如下： --lf, --last-failed rerun only the tests that failed at the last run (or all

Believer007 2024-04-29 14:24:29

一个开源轻量级的C#代码格式化工具（支持VS和VS Code）

前言 C#代碼格式化工具除了ReSharper和CodeMaid，還有一款由.NET開源、免費（MIT License）、輕量級的C#語言代碼格式化工具：CSharpier。 工具介紹 CSharpier是一款開源、免費、輕量級的C#語言代

追逐時光 2024-04-29 14:22:08

顶级 Javaer 都在用的 20 个类库，真香！

優秀且經驗豐富的Java開發人員的特徵之一是對API的廣泛瞭解，包括JDK和第三方庫。 我花了很多時間來學習API，尤其是在閱讀了Effective Java 3rd Edition之後 ，Joshua Bloch建議在Java 3rd E

Java技術棧 2024-04-29 14:21:48

Linux内核之SPI协议

SPI(Serial Peripheral Interface，串行外設接口)是一種同步串行的行業標準，但是並沒有像I2C那樣有標準文檔，它還有主從、可片選的特性。 圖源自Serial Peripheral Interface-wikip

藍天上的雲℡ 2024-04-29 14:21:38

mongodb处理json数据很好

mysql只適合處理簡單的一級數據表 複雜嵌套的json用mongodb mongodb實現: 插入: //切記數字不要帶引號,帶引號就字符串了,就無法比較大小了. //每一個對象都用{}包起來.這樣查詢時候方便多了.雖然插入寫起

張博的博客 2024-04-29 14:20:08

【Nano Framework ESP32篇】使用 LCD 屏幕

在開始主題之前，先介紹一個刷固件工具。這個工具在 idf 中是集成的，不過，樂鑫也單獨發佈了這個工具—— esptool。下載鏈接：Releases · espressif/esptool · GitHub。這貨是用 Python 寫的，只

東邪獨孤 2024-04-29 14:16:57

双token+redis（token无感刷新）

爲什麼要使用雙token+redis呢？單token+redis+自動續期不行嗎？ 單token+redis的缺點： 可能會出現用戶正在操作的時候，token過期了，讓用戶重新登錄的情況。 單token+redis+自動續期的缺點： 單to

uper超人 2024-04-29 14:15:37

cookie,session,token的区别

cookie,session,token它們本質上不是同一個東西。但是都跟維持狀態信息有關係。 什麼是狀態信息呢？ 我來用一個登錄來個大家講解。 如果我們登錄以後，希望後續的所有的頁面都維持登錄的狀態，那我們就需要用剛剛講到的cookie，

uper超人 2024-04-29 14:15:37

Asp .Net Core 系列：国际化多语言配置

目錄概述術語本地化器IStringLocalizer在服務類中使用本地化IStringLocalizerFactoryIHtmlLocalizerIViewLocalizer資源文件區域性回退配置 CultureProvider內置的 Re

IT技術派 2024-04-29 14:14:57

编译原理PL0语法分析实验1

編譯原理PL0語法分析實驗1 1，待分析的簡單語言的詞法相同點：都是分析種別碼不同點：詞法分析器分析的是字符串中的單詞的種別碼（單詞）語法分析器分析的是字符串的文法是否正確（句子）待分析的簡單語言的語法 BNF：（1）<程序>::=begi

孤獨的貓 2024-04-29 14:13:26

google浏览器插件开发

項目結構 在開發Chrome插件時，以下幾個文件的作用如下： manifest.json：這是Chrome插件的清單文件，用於配置插件的基本信息、權限、頁面跳轉等。其中包括插件的名稱、版本號、圖標、後臺腳本、瀏覽器動作等信息。 ba

張佔嶺 2024-04-29 14:12:46

element表单中选择 el-date-picker 选择后没反应

折騰一早上沒有用直到百度到了 https://blog.csdn.net/KeepReal666/article/details/134471038 解決辦法：直接加上@input="$forceUpdate()"即可。

York 2024-04-29 14:09:56

什么是SQL 语句中相关子查询与非相关子查询

1.什麼是SQL子查詢 要理解相關子查詢和非相關子查詢，我們得首先理解什麼是子查詢，子查詢是指在一個查詢語句中嵌套的另一個查詢語句。 子查詢可以嵌套在其他查詢語句中，如 SELECT、INSERT、UPDATE、DELETE 等，它作爲一個

魯邊 2024-04-29 14:06:35