天津网站建设定制,wordpress设置2个网站,搜狗网页版,佛山龙江做网站的原文链接#xff1a;SVM支持向量机原理及核函数
转载请注明出处
支持向量机原理
大距离分类算法
1、名词解释#xff1a;
分割超平面#xff1a;如下图所示#xff0c;构造一个分割线把圆形的点和方形的点分开#xff0c;这个线称为分割超平面。支持向量#xff1a;…原文链接SVM支持向量机原理及核函数
转载请注明出处
支持向量机原理
大距离分类算法
1、名词解释
分割超平面如下图所示构造一个分割线把圆形的点和方形的点分开这个线称为分割超平面。支持向量离分割超平面最近的点间距支持向量到分割超平面距离的两倍
SVM算法的原理就是找到一个分割超平面它能把数据正确的分类并且间距最大 2、计算间距
在而为空间里可以使用方程w1x1w2x2b0w_1x_1+w_2x_2+b=0来表示分割超平面。针对高纬度空间可以写成一般化的向量形式即wTxb0w^Tx+b=0。这里画出与分割线超平面平行的两条直线分别穿过两个类别的支持向量。这两条直线的方程分别为wTxb−1w^Tx+b=-1和wTxb1w^Tx+b=1。如下图所示 根据点到直线的距离公式可以算出支持向量A到分割超平面的距离为
d∣∣wTAb∣∣∣∣∣∣w∣∣∣∣
d=\frac{\left| w^{T}A+b \right|}{\left| \left| w \right| \right|}由于点AA在直线wTx+b=−1w^Tx+b=-1和wTxb1w^Tx+b=1在代入可的支持向量AA到分割超平面的距离为d=1∣∣∣∣w∣∣∣∣d=\frac{1}{\left| \left| w \right| \right|}。为了使间距最大只需找到合适的参数ww和bb使1∣∣∣∣w∣∣∣∣\frac{1}{\left| \left| w \right| \right|}最大即可。||w||||w||使向量ww的L2范数，计算公式为：
∣∣∣∣w∣∣∣∣=∑i=1nw2i‾‾‾‾‾‾⎷\left| \left| w \right| \right|=\sqrt{\sum_{i=1}^{n}{w_{i}^{2}}} 求1∣∣∣∣w∣∣∣∣\frac{1}{\left| \left| w \right| \right|}的最大值即使求||w||2||w||^2的最小值
∣∣∣∣w∣∣∣∣2∑i1nw2i
\left| \left| w \right| \right|^{2}=\sum_{i=1}^{n}{w_{i}^{2}}其中nn为限量ww的纬度。除了间距最大分割超平面更能用来解决分类问题回到上图针对方形点xx，必须满足wTx+b≥1w^Tx+b≥1的约束条件。针对圆形的点必须满足wTxb−1w^Tx+b的约束条件。 类别是离散的值分别使用-1表示圆点类别1表示方点类别即y\in \left\(-1,1 \right\)y\in \left\(-1,1 \right\)。针对数据集中的所有样本x(i),y(i)x^{(i)},y^{(i)}只要满足以下约束条件则由以下参数ww和参数bb定义的分割超平面进行分类
y(i)(wTx(i)b)≥1
y^{(i)}(w^Tx^{(i)}+b)≥1一句话概括求解SVM算法就是在满足约束条件y(i)(wTx(i)b)≥1y^{(i)}(w^Tx^{(i)}+b)≥1的前提下求解||w||2||w||^2的最小值。
松弛系数
针对现行不可分的数据集上面的方法就不能用了。解决这个问题的办法就是引入一个参数ϵ\epsilon称为松弛系数。然后把优化的目标函数变为
argmin∣∣∣∣w2∣∣∣∣R∑i1mϵi
\mbox{argmin}\left| \left| w^{2} \right| \right|+R\sum_{i=1}^{m}{\epsilon_{i}}其中mm为数据集的个数，RR为算法参数其约束条件变为
y(i)(wTx(i)b)≥1−ϵi
y^{\left( i \right)}\left( w^T{x^{\left( i \right)}}+b \right)\geq 1-\epsilon_{i}理解松弛系数
可以把εiε_{i}理解为样本x(i)x^{(i)}违反一大间距规则的程度。针对大多数满足约束条件的样本ε0ε=0。而对部分违反最大间距规则的样本ε0ε>0。参数RR则表示对违反约束的样本的”惩罚”。RR越大对违反约束的点“惩罚力度”越大反之越小 。这样模型就会倾向于允许部分点违反最大间距规则。
把y(i)(wTx(i)b)y^{\left( i \right)}\left( w^{T}x^{\left( i \right)}+b \right)作为横坐标违反约束条件的代价JiJ_i作为纵坐标画图 上图可以看出针对哪些没有违反约束条件的样本其成本为0。违反了约束条件的样本其成本与εε成正比，斜线的斜率为RR。
因此引入松弛系数类似于逻辑回归的成本函数引入正则项目的是为了纠正过拟合问题让SVM对噪声数据由更强的忍耐性。如上上图所示当出现违反大间距规则的噪声样本出现时仍能让分割超平面是原来的样子这就是松弛系数的作用。
核函数
核函数是特征转换函数。
最简单的核函数
回顾上面内容我们的任务是找出合适的参数w,bw,b使得分割超平面间距最大且能正确对数据进行分类。间距最大是我们的优化目标。真确地对数据分类是约束条件。即在满足约束条件y(i)(wTx(i)b)≥1y^{(i)}(w^Tx^{(i)}+b)≥1的前提下求解||w||2||w||^2的最小值。
拉格朗日乘子法是解决约束条件下求函数极值的理想方法。其方法是引入非负系数αα来作为约束条件的权重：L=12∣∣∣∣w∣∣∣∣2−∑i=1mαi(y(i)(wTx(i)+b)−1)L=\frac{1}{2}\left| \left| w \right| \right|^{2}-\sum_{i=1}^{m}{\alpha _{i}\left( y^{\left( i \right)}\left( w^{T}x^{\left( i \right)}+b \right)-1 \right)}
由于极值的偏导数为0因此这需要让LL对ww求导使之为0得到ww和αα对关系
w∑i1maiy(i)x(i)
w=\sum_{i=1}^{m}{a_{i}y^{\left( i \right)}x^{\left( i \right)}} 接着继续求LL对bb对偏导数得出:∑i1my(i)αi0
\sum_{i=1}^{m}{y^{\left( i \right)}\alpha_{i}=0} 把这两个式子代入LL通过数学运算得出：L=∑i=1mai−12∑i=1m∑j=1maiajy(i)y(j)x(i)Tx(j)L=\sum_{i=1}^{m}{a_{i}-}\frac{1}{2}\sum_{i=1}^{m}{\sum_{j=1}^{m}{a_{i}}a_{j}y^{\left( i \right)}y^{\left( j \right)}x^{\left( i \right)T}x^{\left( j \right)}} 这个公式中mm是数据集个数，aa是拉格朗日乘子法引入的一个系数针对数据集中的每个样本x(i)x^{(i)},都有对应的aia_i。x(i)x^{(i)}是数据集中地ii个样本的输入，它是一个向量，y(i)y^{(i)}是对应的输出标签值为y\in \left\( -1,1 \right\)y\in \left\( -1,1 \right\)。这个公式的最小值求解这里就不说明了。最后求出的aa有个明显的特点。即大部分ai=0a_i=0。因为只有那些支持向量所对应的样本直接决定了间隙的大小。实际上以上推导出这个公式就是为了引入支持向量机的另外一个核心概念核函数:
K(x(i),x(j))x(i)Tx(j)
K({x^{({i})},x^{({j})}})=x^{({i})T}x^{({j})}LL里的x(i)Tx(j)x^{(i)T}x^{(j)}部分其中x(i)x^{(i)}是一个特征向量所以x(i)Tx(j)x^{(i)T}x^{(j)}是一个数值就是两个输入特征向量的内积。预测函数为
wTxb∑i1maiy(i)x(i)Txb
w^{T}x+b=\sum_{i=1}^{m}{a_{i}y^{\left( i \right)}x^{\left( i \right)T}x+b}当wTxb0w^{T}x+b>0预测函数为类别1当wTxb0w^{T}x+b预测类别为-1。注意到预测函数里也包含式子x(i)Txx^{({i})T}x。我们把K(x(i),x(j))x(i)Tx(j)K({x^{({i})},x^{({j})}})=x^{({i})T}x^{({j})}称为核函数。 x(i)Tx(j)x^{(i)T}x^{(j)}是两个向量内积它的物理含义是衡量两个向量的相似性。典型地当两个向量相互垂直是即完全线性无关此时x(i)Tx(j)0x^{(i)T}x^{(j)}=0。引入核函数后预测函数为
wTxb∑i1maiy(i)K(x(i),x)b
w^{T}x+b=\sum_{i=1}^{m}{a_{i}y^{\left( i \right)}K\left( x^{\left( i \right)},x \right)+b}相似性函数
假设数据集已有一个数图特征如下图如何进行分类。 解决这个问题的方式是用一定规则把这些无法进行线性分割的样本映射到更高纬度的空间里然后找出超平面。
SVM的核函数就是为了实现这种相似性映射。最简单的核函数是K(x(i),x(j))x(i)Tx(j)K({x^{({i})},x^{({j})}})=x^{({i})T}x^{({j})}它衡量的是两个输入特征向量的相似性。可以通过定义和函数K(x(i),x(j))K({x^{({i})},x^{({j})}})来重新定义相似性从而得到想要的映射。例如在基因测试领域我们需要根据DNA分子的特征来定义相似性函数即和函数。在文本处理领域也可以自己定义和函数来衡量两个词之间的相似性。
怎么把低维度的空间映射到高纬度的空间呢
举个例子联想下利用多项式解决线性回归欠拟合问题的方法。如果输入特征是一维的[x1][x_1]变量我们把它变成二维的一个方法是把输入特征转化为[x1,2x21][x_1,2x_1^2]定义这种特征映射的函数就称之为相似性函数Φ(x)Φ({x})。这样在原来低维度计算相似性的运算x(i)Tx(j)x^{({i})T}x^{({j})}就可以转换为高纬度空间里进行相似性运算Φ(x(i))TΦ(x(i))Φ({x^{({i})}})^{T}Φ({x^{({i})}})。
核函数K(x(i),x(j))K({x^{({i})},x^{({j})}})和相似性函数Φ(x)Φ({x})的关系
相似性函数是特征的映射函数起到转换的作用。而核函数是特征向量的内积。经过相似性函数转换后核函数变成K(x(i),x(j))Φ(x(i))TΦ(x(i))K\left( x^{\left( i \right)},x^{\left( j \right)} \right)=\Phi \left( x^{\left( i \right)} \right)^{T}\Phi \left( x^{\left( i \right)} \right)。
常用核函数
核函数一般和应用场景相关在不同领域所应用的核函数可能也不相同。但是实际上也有一些通用核函数“万金油”一般有两种多项式核函数和高斯核函数。
1、多项式核函数 2、高斯核函数
K(x(i),x(j))exp⎛⎝⎜⎜⎜−(x(i)−x(j))22σ2⎞⎠⎟⎟⎟
K\left( x^{\left( i \right)},x^{\left( j \right)} \right)=\exp \left( -\frac{\left( x^{\left( i \right)}-x^{\left( j \right)} \right)^{2}}{2\sigma ^{2}} \right)如果输入的特征是一维的标量那么高斯核函数对应的形状就是一个反钟形的曲线其参数σσ控制反钟形的宽度。如下图所示：由于K(x(i),x(j))=Φ(x(i))TΦ(x(i))K\left( x^{\left( i \right)},x^{\left( j \right)} \right)=\Phi \left( x^{\left( i \right)} \right)^{T}\Phi \left( x^{\left( i \right)} \right)经过合适的数学变换可得高斯核函数对应的特征转换函数为
Φ(x)∑i0∞exp(−x2)2ii!‾‾‾√xi
\Phi \left( x \right)=\sum_{i=0}^{\infty }{\exp \left( -x^{2} \right)\sqrt{\frac{2^{i}}{i!}}}x^{i} 前面无限多项的累加器其物理意义就是把特征向量转换到无限多维向量空间里即
高斯函数可以吧输入特征扩展到无限多维空间里。公式的推导公式会用到
泰勒公式。高斯预测函数∑i1maiy(i)K(x(i),x)b
高斯预测函数=\sum_{i=1}^{m}{a_{i}y^{\left( i \right)}K\left( x^{\left( i \right)},x \right)+b} 其中K(x(i),x(j))K\left( x^{\left( i \right)},x^{\left( j \right)} \right)是高斯核函数aia_i只在支持向量对应的样本出不为0.由此可知
预测函数时中心点在支持向量机处的高斯函数的线性组合其线性组合的系数为aiy(i)a_iy^{(i)}。因此高斯核函数也称为
RBF核函数即反钟形函数的线性组合。核函数的对比 简单线性核函数K(x(i),x(j))x(i)Tx(j)
简单线性核函数K\left( x^{\left( i \right)},x^{\left( j \right)} \right)=x^{\left( i \right)T}x^{\left( j \right)}多项式核函数
多项式核函数：高斯核函数K(x(i),x(j))exp⎛⎝⎜⎜⎜−(x(i)−x(j))22σ2⎞⎠⎟⎟⎟
高斯核函数K\left( x^{\left( i \right)},x^{\left( j \right)} \right)=\exp \left( -\frac{\left( x^{\left( i \right)}-x^{\left( j \right)} \right)^{2}}{2\sigma ^{2}} \right) 1、
线性核函数这是最简单的核函数它直接计算两个输入特征向量的内积。 - 优点简单高效结果易解释总能生成一个最简洁的线性分割超平面 - 缺点只适用线性可分的数据集2、多项式核函数通过多项式来作为特征映射函数 - 优点可以拟合出复杂的分割超平面。 - 缺点参数太多。有γ,c,nγ,c,n三个参数要选择选择起来比较困难另外多项式的阶数不宜太高否则会给模型求解带来困难。
3、高斯核函数 - 优点可以把特征映射到无限多维并且没有多项式计算那么困难参数也比较好选择。 - 缺点不容易解释计算速度比较慢容易过拟合。
核函数的选择
1、最一般的选择原则是针对数据量很大的时候可以选择复杂一点的模型。虽然复杂模型容易过拟合但由于数据量很大可以有效弥补过拟合问题。如果数据集较小选择简单点的模型否则很容易过拟合此时特别要注意模型是否欠拟合如果欠拟合可以增加多项式纠正欠拟合。
2、根据样本量mm和特征量nn进行选择 - 特征相比样本较大如m101000n10000选逻辑回归或者线性函数SVM - 特征较少样本量中如m1010000n11000选择高斯SVM - 特征量少样本多如m50000n1~1000)选多项式或高斯SVM
原文链接SVM支持向量机原理及核函数
转载请注明出处
