|
相比于逻辑回归，在很多情况下，SVM算法能够对数据计算从而产生更好的精度。而传统的SVM只能适用于二分类操作，不过却可以通过核技巧（核函数），使得SVM可以应用于多分类的任务中。
本篇文章只是介绍SVM的原理以及核技巧究竟是怎么一回事，最后会介绍sklearn svm各个参数作用和一个demo实战的内容，尽量通俗易懂。至于公式推导方面，网上关于这方面的文章太多了，这里就不多进行展开了~
1.SVM简介
支持向量机，能在N维平面中，找到最明显得对数据进行分类的一个超平面！看下面这幅图：
如上图中，在二维平面中，有红和蓝两类点。要对这两类点进行分类，可以有很多种分类方法，就如同图中多条绿线，都可以把数据分成两部分。
但SVM做的，是找到最好的那条线（二维空间），或者说那个超平面（更高维度的空间），来对数据进行分类。这个最好的标准，就是最大间距。
至于要怎么找到这个最大间距，要找到这个最大间距，这里大概简单说一下，两个类别的数据，到超平面的距离之和，称之为间隔。而要做的就是找到最大的间隔。
这最终就变成了一个最大化间隔的优化问题。
2.SVM的核技巧
核技巧，主要是为了解决线性SVM无法进行多分类以及SVM在某些线性不可分的情况下无法分类的情况。
比如下面这样的数据：
这种时候就可以使用核函数，将数据转换一下，比如这里，我们手动定义了一个新的点，然后对所有的数据，计算和这个新的点的欧式距离，这样我们就得到一个新的数据。而其中，离这个新点距离近的数据，就被归为一类，否则就是另一类。这就是核函数。
这是最粗浅，也是比较直观的介绍了。通过上面的介绍，是不是和Sigmoid有点像呢？都是通过将数据用一个函数进行转换，最终得到结果，其实啊，Sigmoid就是一钟核函数来着，而上面说的那种方式，是高斯核函数。
这里补充几点：
- 1.上面的图中只有一个点，实际可以有无限多个点，这就是为什么说SVM可以将数据映射到多维空间中。计算一个点的距离就是1维，2个点就是二维，3个点就是三维等等。。。
- 2.上面例子中的红点是直接手动指定，实际情况中可没办法这样，通常是用随机产生，再慢慢试出最好的点。
- 3.上面举例这种情况属于高斯核函数，而实际常见的核函数还有多项式核函数，Sigmoid核函数等等。
OK，以上就是关于核技巧（核函数）的初步介绍，更高级的这里也不展开了，网上的教程已经非常多了。
接下来我们继续介绍sklearn中SVM的应用方面内容。
3.sklearn中SVM的参数
def SVC(C=1.0,
kernel='rbf',
degree=3,
gamma='auto_deprecated',
coef0=0.0,
shrinking=True,
probability=False,
tol=1e-3,
cache_size=200,
class_weight=None,
verbose=False,
max_iter=-1,
decision_function_shape='ovr',
random_state=None)
- C：类似于Logistic regression中的正则化系数，必须为正的浮点数，默认为 1.0，这个值越小，说明正则化效果越强。换句话说，这个值越小，越训练的模型更泛化，但也更容易欠拟合。
- kernel：核函数选择，比较复杂，稍后介绍
- degree：多项式阶数，仅在核函数选择多项式（即“poly”）的时候才生效，int类型，默认为3。
- gamma：核函数系数，仅在核函数为高斯核，多项式核，Sigmoid核（即“rbf“，“poly“ ，“sigmoid“）时生效。float类型，默认为“auto”（即值为 1 / n_features）。
- coef0：核函数的独立项，仅在核函数为多项式核核Sigmoid核（即“poly“ ，“sigmoid“）时生效。float类型，默认为0.0。独立项就是常数项。
- shrinking：不断缩小的启发式方法可以加快优化速度。 就像在FAQ中说的那样，它们有时会有所帮助，有时却没有帮助。 我认为这是运行时问题，而不是收敛问题。
- probability：是否使用概率评估，布尔类型，默认为False。开启的话会评估数据到每个分类的概率，不过这个会使用到较多的计算资源，慎用！！
- tol：停止迭代求解的阈值，单精度类型，默认为1e-3。逻辑回归也有这样的一个参ckcode">
# 拟合一个SVM模型
clf = svm.SVC(kernel='linear')
clf.fit(X, Y)
# 获取分割超平面
w = clf.coef_[0]
# 斜率
a = -w[0] / w[1]
# 从-5到5，顺序间隔采样50个样本，默认是num=50
# xx = np.linspace(-5, 5) # , num=50)
xx = np.linspace(-2, 10) # , num=50)
# 二维的直线方程
yy = a * xx - (clf.intercept_[0]) / w[1]
print("yy=", yy)
# plot the parallels to the separating hyperplane that pass through the support vectors
# 通过支持向量绘制分割超平面
print("support_vectors_=", clf.support_vectors_)
b = clf.support_vectors_[0]
yy_down = a * xx + (b[1] - a * b[0])
b = clf.support_vectors_[-1]
yy_up = a * xx + (b[1] - a * b[0])
# plot the line, the points, and the nearest vectors to the plane
plt.plot(xx, yy, 'k-')
plt.plot(xx, yy_down, 'k--')
plt.plot(xx, yy_up, 'k--')
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=80, facecolors='none')
plt.scatter(X[:, 0].flat, X[:, 1].flat, c='#86c6ec', cmap=plt.cm.Paired)
# import operator
# from functools import reduce
# plt.scatter(X[:, 0].flat, X[:, 1].flat, c=reduce(operator.add, Y), cmap=plt.cm.Paired)
plt.axis('tight')
plt.show()
最终的SVM的分类结果如下：
以上就是详解python 支持向量机(SVM)算法的详细内容，更多关于python SVM算法的资料请关注社区其它相关文章！ | 
转播
