机器学习系列17:支持向量机

itaquestion 2019-06-15

机器学习系列17:支持向量机

支持向量机(Support vector machine)是一种强大的机器学习算法,和神经网络相比,它在学习复杂的非线性方程时,能够提供更清晰和更加强大的方式。为了学习支持向量机,我们可以先从逻辑回归开始,看看如何经过小小的改动能得到支持向量机。

在逻辑回归中,假设函数 h_θ(x) 为:

机器学习系列17:支持向量机

图像为:

机器学习系列17:支持向量机

对于一个样本来说,代价函数为:

机器学习系列17:支持向量机

当 y =1 时,第二项为 0,只需要考虑第一项,画出第一项的图像:

机器学习系列17:支持向量机

我们把这个图像稍微修改一下,趋势与逻辑回归相似,就变成了支持向量机代价函数一部分的图像 cost_1(z),如下图粉色线:

机器学习系列17:支持向量机

第二项同样道理,cost_0(z):

机器学习系列17:支持向量机

逻辑回归中正则化代价函数为:

机器学习系列17:支持向量机

将其中系数 1/m 去掉,把红色部分换成上面粉色图像的函数:

机器学习系列17:支持向量机

接着将浅蓝色和粉色部分调换一下权重:

机器学习系列17:支持向量机

这样就得到支持向量机的代价函数:

机器学习系列17:支持向量机

只需要将这个函数最小化即可得到参数。以上就是从逻辑回归推出支持向量机的整个过程。

相关推荐