【机器学习算法笔记】4. 支持向量机（SVM）_支持向量机 ( svm )是建立在统计学习理论基础之上的新一代机器学习算法。支 持向-程序员宅基地
【机器学习算法笔记】4. 支持向量机（SVM）
给定训练样本，支持向量机建立一个超平面作为决策曲面，使得正例和反例之间的隔离边缘最大化
4.1 线性模型
考虑到用于分离超平面的决策曲面：
x到超平面的距离：
现在我们考虑到要寻找一个超平面，使得全体x到超平面的距离都大于1：（这里d=1或-1）
（这里可以看出，d取1或-1和d取2或-2是一样，在是用于分割超平面的两半）
并且满足权值向量最小化代价函数：
建立拉格朗日函数（这里也可以看出d的值不会影响函数）：
得到：
可以变为：
计算出
4.2 不可分模式的最优超平面
上面情况是一个不具有分类误差的分离超平面，我更希望找到一个最优平面，使香分类平均误差最小，这样的分类边缘称为软的。
我们将分类距离定义为：
最小化代价函数可简化为：
这里的参数C用于控制不可分离点数之间的平衡，当C比较大的时，暗示训练样本质量较高，而当C较小时，说明其存在噪声
所以不可分离情况与可分离情况，主要是在：
支持向量的个数反映了隐藏空间特征的个数。
4.3 SVM的数学解释
SVM有两个方向去看待这个问题，第一个是从拉格朗日方向（也就是前面），第二个方向是直接从目标函数（损失项和正则项角度去看）
一般来说，监督学习可以看做最小化下面的目标函数：
逻辑回归中Logistic regression中损失函数
而SVM中的 
这个方向上考虑SVM，虽然在式子相似，但在理论上是不同的，前者这里的那项C，这是在软间隔中引入的，即在不能线性可分的情况下，允许离群点存在。此时你希望分错的距离越少越好，就增大C，相当于提升了加号后式子的权重，减弱了加号前式子的权重，从而学出来的模型分错的点的距离会小，当C无穷大时，相当于没有错分的，也就是硬间隔。而后者的项C是加在正则项上的。
4.4 核方法支持向量机
超平面被写成如下形式：
此时：
4.5 SMO算法求解
首先回到我们前面一直悬而未解的问题，对偶函数最后的优化问题，这个问题可以由SMO算法来快速解决，SMO算法是最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。
按照坐标上升的思路，我们首先固定除α1以外的所有参数，然后在α1上求极值。等一下，这个思路有问题，因为如果固定α1以外的所有参数，那么α1将不再是变量（可以由其他值推出），因为问题中规定了
因此，我们需要一次选取两个参数做优化，比如α1和α2，此时α2可以由α1和其他参数表示出来。这样回带到W中，W就只是关于α1的函数了，可解。
这样，SMO的主要步骤如下：
意思是，第一步选取一对αi和αj，选取方法使用启发式方法。
第二步，固定除αi和αj之外的其他参数，确定W极值条件下的αi，αj由αi表示。
4.6 RBF的SVM
径向基网络的支持向量机结构：
对于径向基网络的支持向量机来说，其径向基函数的数目和中心分别由支持向量的个数和值来决定，其特别是：
1、有意使特征（隐藏）空间的维数足够大，使得可以在整个空间建立超平面
2、通过聚类方法找到中心。
4.7 SVM的核函数
支持向量机是建立在统计学习理论基础之上的新一代机器学习算法，支持向量机的优势主要体现在解决线性不可分问题，它通过引入核函数，巧妙地解决了在高维空间中的内积运算，从而很好地解决了非线性分类问题。
构造出一个具有良好性能的SVM，核函数的选择是关键．核函数的选择包括两部分工作：一是核函数类型的选择，二是确定核函数类型后相关参数的选择．因此如何根据具体的数据选择恰当的核函数是SVM应用领域遇到的一个重大难题，也成为科研工作者所关注的焦点，即便如此，却依然没有得到具体的理论或方法来指导核函数的选取．
1、经常使用的核函数
核函数的定义并不困难，根据泛函的有关理论，只要一种函数 K ( x i , x j ) 满足Mercer条件，它就对应某一变换空间的内积．对于判断哪些函数是核函数到目前为止也取得了重要的突破，得到Mercer定理和以下常用的核函数类型：
(1)线性核函数
(2)多项式核
(3)径向基核（RBF）
Gauss径向基函数则是局部性强的核函数，其外推能力随着参数 σ 的增大而减弱。多项式形式的核函数具有良好的全局性质。局部性较差。
(4)小波核
(5)样条核
(6)Sigmoid核函数
采用Sigmoid函数作为核函数时，支持向量机实现的就是一种多层感知器神经网络，应用SVM方法，隐含层节点数目(它确定神经网络的结构)、隐含层节点对输入节点的权值都是在设计(训练)的过程中自动确定的。而且支持向量机的理论基础决定了它最终求得的是全局最优值而不是局部最小值，也保证了它对于未知样本的良好泛化能力而不会出现过学习现象。
2、核函数的选择
在选取核函数解决实际问题时，通常采用的方法有：一是利用专家的先验知识预先选定核函数；二是采用Cross-Validation交叉验证方法，即在进行核函数选取时，分别试用不同的核函数，归纳误差最小的核函数就是最好的核函数。三是混合核函数方法，该方法较之前两者是目前选取核函数的主流方法，主要是将不同的核函数结合起来后会产生更好的特性。
关于核函数的一些参考：
http://blog.csdn.net/wsj998689aa/article/details/47027365
http://blog.csdn.net/batuwuhanpei/article/details/52354822
智能推荐
运行uniapp跳转微信开发工具后一直卡在微信开发工具首页的解决方法_uni调试工具启动后一直卡在启动页面-程序员宅基地
文章浏览阅读6.4k次。启动uni-app项目后我的微信开发者工具一直卡着不动了在这了_uni调试工具启动后一直卡在启动页面
python输入输出-python输入与输出-程序员宅基地
文章浏览阅读389次。python输出python3中的输出python3中的输出使用函数print()，示例如下：>>> print('hello kitty')print()也可接受多个参数，使用逗号隔开：>>> print('hello','kitty')hello kitty可以看到字符串合并输出后，中间会模式使用逗号隔开~print函数除了可以接收字符串外，也可以接收其他的数据类型>>> print(1) ..._"python输入\"237846278\"和\"4\",输出\"237846278的第4位是6"
HDU 2051 Bitset_hdu 2051 bitset-程序员宅基地
文章浏览阅读502次。/*中文题意：中文翻译：题目大意：解题思路：难点详解：关键点：解题人：解题时间：解题感受：*/_hdu 2051 bitset
关于simplis仿真和驱动方法-程序员宅基地
文章浏览阅读9k次，点赞4次，收藏34次。转自：http://bbs.21dianyuan.com/thread-233723-1-1.html1.1.4 驱动线路（死区控制、隔离变压器）A.互补驱动（带死区控制）实现方式，UC3843的PWM输出用逻辑非门芯片取反，然后利用RCD做死区，经驱动IC HIP2101（仿真软件自带驱动芯片模型），得到两路带死区的互补驱动信号PWM1和PWM2，如下图所示：该电路可用来做同步Buck，同..._simplis
软件构建（转）_软件构建是什么意思-程序员宅基地
文章浏览阅读5.2k次。1、什么是构建你一定知道“构建（construction）”一次在软件开发领域以外的含义。“构建”就是“建筑工人（construction workers）”在建设一栋房屋，一所学校，乃至一座摩天大楼时所做的工作。在你年轻时，可能也曾用“硬纸板（construction paper）”构建过什么东西吧。按照一般的用法，“构建”是指建设的过程。构建过程可能包含有计划、设计、检查工作的一些方面，但..._软件构建是什么意思
reboot后centos服务器无法ssh连接_服务器重启reboot 无法连接-程序员宅基地
文章浏览阅读9.4k次，点赞2次，收藏10次。问题描述安装好了centOS服务器，一直用Secure CRT工具通过ssh服务来远程连接linux，很方便的进行各种操作。今天偶然尝试了一下在非root的一般用户下执行重启服务器的命令，发现一般用户是没有权限执行重启的，果断使用sudo命令再次执行，终于重启成功，却发现Secure CRT再也连不上服务器了，郁闷不已，去网上查找各种资料总算有了一点粗浅的认识，记录下来，也让其他的linux beginner们能够少走些弯路吧。普通用户下执行重启命令：shutdown -r now 或者 _服务器重启reboot 无法连接
随便推点
波士顿房价预测的TensorFlow实现(多元线性回归)_x_train=tf.cast(scale(x_train),dtype=tf.float32)-程序员宅基地
文章浏览阅读2.6k次。import tensorflow as tfimport numpy as npimport pandas as pdfrom sklearn.utils import shuffle from sklearn.preprocessing import scale import matplotlib.pyplot as plt%matplotlib inline获取数据和查看数..._x_train=tf.cast(scale(x_train),dtype=tf.float32)
欠拟合与过拟合及其解决方法-程序员宅基地
文章浏览阅读7.1k次，点赞5次，收藏33次。一、欠拟合（Underfitting）模型在训练数据上不能获得很好的拟合，并且在测试数据集上也不能很好的拟合数据，这种现象称为欠拟合，即高偏差（high bias）。(模型过于简单)原因：模型不够复杂、拟合函数的能力不足，学习到的有用特征太少，导致拟合的函数无法满足训练集。二、过拟合（Overfitting）模型在训练数据上能够获得很好的拟合，但是在测试数据集上却不能很好的拟合数据..._欠拟合
VC++获取CPU时钟频率_c++获取cpu频率-程序员宅基地
文章浏览阅读2.4k次。先通过执行两条汇编语句得到执行两条汇编语句所使用的相对时间刻度，然后继续执行这两条汇编语句获取一个时间刻度减去先前的相对时间刻度就是CPU时钟频率。inline UINT64 CGetCPUTimeDlg::GetCount(){ _asm _emit 0x0f; _asm _emit 0x31;} // 获取CPU时钟频率CString CGetCPUTimeDlg::..._c++获取cpu频率
c++中 #include 用法解析_c++include-程序员宅基地
文章浏览阅读8.7k次，点赞9次，收藏55次。这里需要注意include的两种不同写法，#include<***.h> 和 #include"***.h"采用"< >"方式进行包含的头bai文件表示让编译器在编译器的预设标准路径下去搜索相应的头文件，如果找不到则报错。例如：VS2008的安装目录\Microsoft Visual Studio 9.0\VC\include下面就包含了标准库的头文件。第二种方式表示先在工程所在路径下搜索，如果失败，再到系统标准路径下搜索。所以，特别要注意的是，如果是标准库头文件，那么既_c++include
shineblink Core上手编程-程序员宅基地
文章浏览阅读1.2k次。十分钟上手基于Core的Lua编程语言一、函数、变量二、数组、表(table)三、流程控制：if、elseif、else四、循环控制：for、while五、结语前言：无论您擅长什么语言，C、python、Java、Lua、或PHP，哪怕是刚入门的编程小白，只要您掌握了最基本的编程思想比如：if,else, for, while的用法，您基本就可以很快速的上手 Core 的编程开发了。在 Core上面的编程只会涉及到最基本的编程语法，而编程语言自带的一些高级特性在 Core 上您基本用不到，即使Cor
LDPC译码：和积译码算法（SPA）、最小和算法（MSA）、分层译码算法（LBP）、动态信息更新策略IDS（含RBP、NW-RBP、SVNF-RBP）的MATLAB实现_最小和译码算法-程序员宅基地
文章浏览阅读1.8w次，点赞32次，收藏232次。LDPC各类译码方法的MATLAB实现主要内容新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入主要内容LDP..._最小和译码算法