博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
SVM学习笔记3-问题转化
阅读量:5897 次
发布时间:2019-06-19

本文共 1706 字,大约阅读时间需要 5 分钟。

在中,我们的求解问题是:$min_{w,b}$ $\frac{1}{2}||w||^{2}$,使得$y^{(i)}(w^{T}x^{(i)}+b)\geq 1 ,1 \leq i \leq n$

设$g_{i}(w)=-y^{(i)}(w^{T}x^{(i)}+b)+1 \leq 0$,

那么按照中的定义,对应的拉格朗日函数为$L(w,b,\alpha)=\frac{1}{2}||w||^{2}-\sum_{i=1}^{n}\alpha_{i}[y^{(i)}(w^{T}x^{(i)}+b)-1]$

这里我们这里面没有$\beta$,因为没有$h$。

那么按照中的定义有:

(1)$ \frac{\partial}{\partial w}L(w,b,\alpha)=w-\sum_{i=1}^{n}\alpha_{i}y^{(i)}x^{(i)}=0$
(2)$ \frac{\partial}{\partial b}L(w,b,\alpha)=\sum_{i=1}^{n}\alpha_{i}y^{(i)}=0$

由(1)得$w=\sum_{i=1}^{n}\alpha_{i}y^{(i)}x^{(i)}$,将其带入$L(w,b,\alpha)$的表达式,化简得到:$L(w,b,\alpha)=\sum_{i=1}^{n}\alpha_{i}-\frac{1}{2} \sum_{i,j=1}^{n}y^{(i)}y^{(j)}\alpha_{i}\alpha_{j}(x^{(i)})^{T}x^{(j)}-b\sum_{i=1}^{n}\alpha_{i}y^{(i)}$

由(2)得$\sum_{i=1}^{n}\alpha_{i}y^{(i)}=0$,所以最后式子为$L(w,b,\alpha)=\sum_{i=1}^{n}\alpha_{i}-\frac{1}{2} \sum_{i,j=1}^{n}y^{(i)}y^{(j)}\alpha_{i}\alpha_{j}(x^{(i)})^{T}x^{(j)}$

现在这个式子里只有$\alpha$是未知数。这里我们要说明一点,这里我们其实将问题转成了它的对偶问题,也就是说我们的目标是求解中所说的$d^{*}$。所以我们的目标是:

$\underset{\alpha}{max}W(\alpha)=\sum_{i=1}^{n}\alpha_{i}-\frac{1}{2} \sum_{i,j=1}^{n}y^{(i)}y^{(j)}\alpha_{i}\alpha_{j}(x^{(i)})^{T}x^{(j)}$,使得满足(1)$\alpha_{i}\geq 0,1 \leq i \leq n$,(2)$\sum_{i=1}^{n}\alpha_{i}y^{(i)}=0$

我们将最大化变为最小化,

$\underset{\alpha}{min}W(\alpha)=\frac{1}{2} \sum_{i,j=1}^{n}y^{(i)}y^{(j)}\alpha_{i}\alpha_{j}(x^{(i)})^{T}x^{(j)}-\sum_{i=1}^{n}\alpha_{i}$,使得满足(1)$\alpha_{i}\geq 0,1 \leq i \leq n$,(2)$\sum_{i=1}^{n}\alpha_{i}y^{(i)}=0$

此时,假设我们求出了$\alpha^{*}$(我们将在后面说如何求$\alpha$),那么可以通过$w^{*}=\sum_{i=1}^{n}\alpha_{i}y^{(i)}x^{(i)}$求出$w$。现在看如何求b。由于b只是一个截距,所以$w^{*}$一旦确定,那么就确定了一个平面簇,b只是一个偏移,所以当平面偏移到两类点的中间时最好,所以b的求解公式为:$b^{*}=- \frac{ \underset{i:y^{(i)}=-1}{max}(w^{*})^{T}x_{(i)}+ \underset{i:y^{(i)}=1}{min}(w^{*})^{T}x_{(i)}}{2}$

转载地址:http://kqxsx.baihongyu.com/

你可能感兴趣的文章
VS2010的dll工程设置输出文件的路径
查看>>
最简单删除SQL Server中所有数据的方法(不用考虑表之间的约束条件,即主表与子表的关系)...
查看>>
mysql自动更新时间的触发器
查看>>
【转】Ubuntu 14.04 引导修复(Boot Repair)(双系统修复一)
查看>>
NGINX开篇
查看>>
全栈是什么体验?想想都恐怖
查看>>
【python】-- Django 分页 、cookie、Session、CSRF
查看>>
dpkg的用法
查看>>
C# 文件下载四方法
查看>>
JAVA基础细谈
查看>>
J2EE Map
查看>>
金庸笔下人物以及网络俏皮英语对应关系表-诗词
查看>>
Unity3D–Texture图片空间和内存占用分析
查看>>
IOS的一些小知识
查看>>
javascript => 方法的简写形式
查看>>
jdk1.8安装后查看Java -version出错。
查看>>
CentOS7 线上环境的一些 配置
查看>>
Struts文件上传与下载详解 _上传多个文件
查看>>
Mac版和windows版 R语言中文乱码
查看>>
imx6solo wm8960始终没有声音输出
查看>>