第6章支持向量机

支持向量机的英文为support vector machine从字面意思就可以清楚的看出是一种以向量所在映射为目标的划分的二分类模型曾经一度战胜神经网络取得良好的效果。基本模型定义为特征空间中寻找一个超平面对样本进行最大间隔的线性分类器。SVM方法的基本思想是定义最优线性超平面并把寻找最优线性超平面的算法归结为求解一个最优化凸规划问题。进而基于Mercer核展开定理通过非线性映射把样本空间映射到一个高维乃至于无穷维的特征空间Hilbert空间使得在特征空间中可以应用线性学习机的方法解决样本空间中的高度非线性分类和回归等问题。简单地说就是实现升维和线性化划分的包括当训练样本是线性可划分时则需要一个线性可分的SVM通过硬间隔最大化当训练样本近似线性可分时则需要一个线性支持SVM通过软间隔最大化当训练样本不可分时则需要通过和技巧和软间隔最大化学习一个非线性的SVM。一、线性分类图(a)是已有的数据红色和蓝色分别代表两个不同的类别。数据显然是线性可分的但是将两类数据点分开的直线显然不止一条。上图的(b)和(c)分别给出了B、C两种不同的分类方案其中黑色实线为分界线术语称为“决策面”。每个决策面对应了一个线性分类器。虽然从分类结果上看分类器A和分类器B的效果是相同的。但是他们的性能是有差距的在决策面不变的情况下我又添加了一个红点。可以看到分类器B依然能很好的分类结果而分类器C则出现了分类错误。显然分类器B的决策面放置的位置优于分类器C的决策面放置的位置SVM算法也是这么认为的它的依据就是分类器B的分类间隔比分类器C的分类间隔大。这里涉及到第一个SVM独有的概念分类间隔。在保证决策面方向不变且不会出现错分样本的情况下移动决策面会在原来的决策面两侧找到两个极限位置越过该位置就会产生错分现象如虚线所示。虚线的位置由决策面的方向和距离原决策面最近的几个样本的位置决定。而这两条平行虚线正中间的分界线就是在保持当前决策面方向不变的前提下的最优决策面。两条虚线之间的垂直距离就是这个最优决策面对应的分类间隔。显然每一个可能把数据集正确分开的方向都有一个最优决策面有些方向无论如何移动决策面的位置也不可能将两类样本完全分开而不同方向的最优决策面的分类间隔通常是不同的那个具有“最大间隔”的决策面就是SVM要寻找的最优解。而这个真正的最优解对应的两侧虚线所穿过的样本点就是SVM中的支持样本点称为支持向量。二数学建模求解这个决策面的过程就是最优化。一个最优化问题通常有两个基本的因素1目标函数也就是你希望什么东西的什么指标达到最好2优化对象你期望通过改变哪些因素来使你的目标函数达到最优。1.决策面方程2.间隔方程分类器的好坏的评定依据是分类间隔W2d的大小即分类间隔w越大我们认为这个超平面的分类效果越好。此时求解超平面的问题就变成了求解分类间隔W最大化的为题。W的最大化也就是d最大化的。3.硬间隔最大化4.软间隔最大化5.核函数参考文献1.https://cuijiahua.com/blog/2017/11/ml_8_svm_1.html2.https://www.bilibili.com/video/av61753702/?spm_id_from333.788.videocard.1