包含python高斯核函数的词条

2020-05-22 第十三章 支持向量机模型(python)

SVM 是 Support Vector Machine 的简称，它的中文名为支持向量机，属于一种有监督的机器学习算法，可用于离散因变量的分类和连续因变量的预测。通常情况下，该算法相对于其他单一的分类算法（如 Logistic 回归、决策树、朴素贝叶斯、 KNN 等）会有更好的预测准确率，主要是因为它可以将低维线性不可分的空间转换为高维的线性可分空间。

创新互联建站主打移动网站、成都网站制作、做网站、外贸营销网站建设、网站改版、网络推广、网站维护、域名申请、等互联网信息服务，为各行业提供服务。在技术实力的保障下，我们为客户承诺稳定，放心的服务，根据网站的内容与功能再决定采用什么样的设计。最后，要实现符合网站需求的内容、功能与设计，我们还会规划稳定安全的技术方案做保障。

“分割带”代表了模型划分样本点的能力或可信度，“分割带”越宽，说明模型能够将样本点划分得越清晰，进而保证模型泛化能力越强，分类的可信度越高；反之，“分割带”越窄，说明模型的准确率越容易受到异常点的影响，进而理解为模型的预测能力越弱，分类的可信度越低。

线性可分的 所对应的函数间隔满足 的条件，故 就等于 。所以，可以将目标函数 等价为如下的表达式：

假设存在一个需要最小化的目标函数 ，并且该目标函数同时受到 的约束。如需得到最优化的解，则需要利用拉格朗日对偶性将原始的最优化问题转换为对偶问题，即：

分割面的求解

分割面的表达式

对于非线性SVM模型而言，需要经过两个步骤，一个是将原始空间中的样本点映射到高维的新空间中，另一个是在新空间中寻找一个用于识别各类别样本点线性“超平面”。

假设原始空间中的样本点为 ，将样本通过某种转换 映射到高维空间中，则非线性SVM模型的目标函数可以表示为：

其中，内积 可以利用核函数替换，即 。对于上式而言，同样需要计算最优的拉格朗日乘积 ，进而可以得到线性“超平面” 与 的值：

假设原始空间中的两个样本点为 ，在其扩展到高维空间后，它们的内积 如果等于样本点 在原始空间中某个函数的输出，那么该函数就称为核函数。

线性核函数的表达式为 ，故对应的分割“超平面”为：

多项式核函数的表达式为 ，故对应的分割“超平面”为：

高斯核函数的表达式为 ，故对应的分割“超平面”为：

Sigmoid 核函数的表达式为 ，故对应的分割“超平面”为：

在实际应用中， SVM 模型对核函数的选择是非常敏感的，所以需要通过先验的领域知识或者交叉验证的方法选出合理的核函数。大多数情况下，选择高斯核函数是一种相对偷懒而有效的方法，因为高斯核是一种指数函数，它的泰勒展开式可以是无穷维的，即相当于把原始样本点映射到高维空间中。

output_13_0.png

python的seaborn.kdeplot有什么用

kde(kernel density estimation)是核密度估计。核的作用是根据离散采样，估计连续密度分布。

如果原始采样是《阴阳师》里的式神，那么kernel（核函数）就相当于御魂。

假设现在有一系列离散变量X = [4, 5, 5, 6, 12, 14, 15, 15, 16, 17],可见5和15的概率密度应该要高一些，但具体有多高呢？有没有三四层楼那么高，有没有华莱士高？如果要估计的是没有出现过的3呢？这就要自己判断了。

核函数就是给空间的每个离散点都套上一个连续分布。最简单的核函数是Parzen窗，类似一个方波：

这时候单个离散点就可以变成区间，空间或者高维空间下的超立方，实质上是进行了升维。

设h=4，则3的概率密度为：

(只有4对应的核函数为1，其他皆为0)

kernel是非负实值对称可积函数，表示为K，且一本满足：

这样才能保证cdf仍为1。

实际上应用最多的是高斯核函数(Gaussian Kernel)，也就是标准正态分布。所谓核密度估计就是把所有离散点的核函数加起来，得到整体的概率密度分布。核密度估计在很多机器学习算法中都有应用，比如K近邻、K平均等。

在支持向量机里，也有“核”的概念，同样也是给数据升维，最常用的还是高斯核函数，也叫径向基函数(Radial Basis Funtion)。

seaborn.kdeplot内置了多种kerne，总有一款适合你。

114 11 个案例掌握 Python 数据可视化--美国气候研究

自哥本哈根气候会议之后，全球日益关注气候变化和温室效应等问题，并于会后建立了全球碳交易市场，分阶段分批次减碳。本实验获取了美国 1979 - 2011 年间 NASA 等机构对美国各地日均最高气温、降雨量等数据，研究及可视化了气候相关指标的变化规律及相互关系。

输入并执行魔法命令 %matplotlib inline， 并去除图例边框。

数据集介绍：

本数据集特征包括美国 49 个州（State），各州所在的地区（Region），统计年（Year），统计月（Month），平均光照（Avg Daily Sunlight），日均最大空气温度（Avg Daily Max Air Temperature ），日均最大热指数（Avg Daily Max Heat Index ），日均降雨量（Avg Daily Precipitation ），日均地表温度（Avg Day Land Surface Temperature）。

各特征的年度区间为：

导入数据并查看前 5 行。

筛选美国各大区域的主要气候指数，通过 sns.distplot 接口绘制指数的分布图。

从运行结果可知：

光照能量密度（Sunlight），美国全境各地区分布趋势大致相同，均存在较为明显的两个峰（强光照和弱光照）。这是因为非赤道国家受地球公转影响，四季光照强度会呈现出一定的周期变化规律；

从地理区位能看出，东北部光照低谷明显低于其他三个区域；

日均最高空气温度（Max Air Temperature），美国全境各地区表现出较大差异，东北部和中西部趋势大致相同，气温平缓期较长，且包含一个显著的尖峰；西部地区平缓期最长，全年最高温均相对稳定；南部分布则相对更为集中；

日均地表温度（Land Surface Temperature），与最高空气温度类似，不同之处在于其低温区分布更少；

最大热指数（Max Heat Index），西部与中西部分布较为一致，偏温和性温度，东北部热指数偏高，南部偏低；

降雨量（Precipitation），西部明显偏小，南部与东北部大致相同，中西部相对较多。

结合地理知识做一个总结:

东北部及大多数中西部地区，属于温带大陆性气候，四季分明，夏季闷热，降雨较多。

西部属于温带地中海气候，全年气候温和，并且干燥少雨，夏季气候温和，最高温度相对稳定。

南部沿海一带，终年气候温暖，夏季炎热，雨水充沛。

按月计算美国各地区降雨量均值及标准偏差，以均值 ± 一倍标准偏差绘制各地区降雨量误差线图。

从运行结果可知：

在大多数夏季月份，西部地区降雨量远小于其他地区；

西部地区冬季月降雨量高于夏季月；

中西部地区是较为典型的温带大陆性气候，秋冬降雨逐渐减少，春夏降雨逐渐升高；

南部地区偏向海洋性气候，全年降雨量相对平均。

需要安装joypy包。

日均最高气温变化趋势

通过 joypy 包的 joyplot 接口，可以绘制带堆积效应的直方分布曲线，将 1980 年 - 2008 年的日均最高温度按每隔 4 年的方式绘制其分布图，并标注 25%、75% 分位数。

从运行结果可知：

1980 - 2008 年区间，美国全境日均最高温度分布的低温区正逐渐升高，同时高温区正逐渐降低，分布更趋向于集中；

1980 - 2008 年区间，美国全境日均最高温度的 25% 分位数和 75% 分位数有少量偏离但并不明显。

日均降雨量变化趋势

同样的方式对降雨量数据进行处理并查看输出结果。

筛选出加州和纽约州的日均降雨量数据，通过 plt.hist 接口绘制降雨量各月的分布图。

从运行结果可知：

加州地区降雨量多集中在 0 - 1 mm 区间，很少出现大雨，相比而言，纽约州则显得雨量充沛，日均降雨量分布在 2 - 4 mm 区间。

直方图在堆积效应下会被覆盖大多数细节，同时表达聚合、离散效应的箱线图在此类问题上或许是更好的选择。

通过 sns.boxplot 接口绘制加州和纽约州全年各月降雨量分布箱线图.

从箱线图上，我们可以清晰地对比每个月两个州的降雨量分布，既可以看到集中程度，例如七月的加州降雨量集中在 0.1 - 0.5 mm 的窄区间，说明此时很少会有大雨；又可以看到离散情况，例如一月的加州，箱线图箱子（box）部分分布较宽，且上方 10 mm 左右存在一个离散点，说明此时的加州可能偶尔地会出现大到暴雨。

视觉上更为美观且简约的是摆动的误差线图，实验 「美国全境降雨量月度分布」 将所有类别标签的 x 位置均放于同一处，导致误差线高度重合。可通过调节 x 坐标位置将需要对比的序列紧凑排布。

从输出结果可以看出，加州冬季的降雨量不确定更强，每年的的十一月至次年的三月，存在降雨量大，且降雨量存在忽多忽少的现象（误差线长）。

上面的实验均在研究单变量的分布，但经常性地，我们希望知道任意两个变量的联合分布有怎样的特征。

核密度估计 ， 是研究此类问题的主要方式之一， sns.kdeplot 接口通过高斯核函数计算两变量的核密度函数并以等高线的形式绘制核密度。

从运行结果可知：

加州在高温区和低降雨期存在一个较为明显的高密度分布区（高温少雨的夏季）；

纽约州在高温及低温区均存在一个高密度的分布区，且在不同温区降雨量分布都较为均匀。

将美国全境的降雨量与空气温度通过 plt.hist2d 接口可视化。

从运行结果可知：

美国全境最高密度的日均高温温度区域和降雨量区间分别为，78 F （约等于 25 C）和 2.2 mm 左右，属于相对舒适的生活气候区间。

美国全境降雨量与空气温度的关系-核密度估计

在上面实验基础上，在 x， y 轴上分别通过 sns.rugplot 接口绘制核密度估计的一维分布图，可在一张绘图平面上同时获取联合分布和单变量分布的特征。

美国全境降雨量与空气温度的关系-散点分布和直方分布

sns.jointplot 接口通过栅格的形式，将单变量分布用子图的形式进行分别绘制，同时通过散点图进行双变量关系的展示，也是一种较好的展现数据分布的方式。

上面两个实验研究了双变量分布的可视化，以下研究 3 变量聚合结果的可视化。

通过 sns.heatmap 接口可实现对透视数据的可视化，其原理是对透视结果的值赋予不同的颜色块，以可视化其值的大小，并通过颜色条工具量化其值大小。

上面的两个实验可视化了各州随年份日均最高温度的中位数变化趋势，从图中并未看出有较为显著地变化。

以下通过 t 检验的方式查看统计量是否有显著性差异。stats.ttest_ind 接口可以输出 1980 年 与 2010 年主要气候指数的显著性检验统计量及 p 值。

从运行结果可以看出：

检验结果拒绝了降雨量相等的原假设，即 1980 年 与 2010 年两年间，美国降雨量是不同的，同时没有拒绝日均日照、日均最大气温两个变量相等的原假设，说明气温未发生显著性变化。

如何利用 Python 实现 SVM 模型

我先直观地阐述我对SVM的理解，这其中不会涉及数学公式，然后给出Python代码。

SVM是一种二分类模型，处理的数据可以分为三类：

线性可分，通过硬间隔最大化，学习线性分类器

近似线性可分，通过软间隔最大化，学习线性分类器

线性不可分，通过核函数以及软间隔最大化，学习非线性分类器

线性分类器，在平面上对应直线；非线性分类器，在平面上对应曲线。

硬间隔对应于线性可分数据集，可以将所有样本正确分类，也正因为如此，受噪声样本影响很大，不推荐。

软间隔对应于通常情况下的数据集（近似线性可分或线性不可分），允许一些超平面附近的样本被错误分类，从而提升了泛化性能。

如下图：

实线是由硬间隔最大化得到的，预测能力显然不及由软间隔最大化得到的虚线。

对于线性不可分的数据集，如下图：

我们直观上觉得这时线性分类器，也就是直线，不能很好的分开红点和蓝点。

但是可以用一个介于红点与蓝点之间的类似圆的曲线将二者分开，如下图：

我们假设这个黄色的曲线就是圆，不妨设其方程为x^2+y^2=1，那么核函数是干什么的呢？

我们将x^2映射为X，y^2映射为Y，那么超平面变成了X+Y=1。

那么原空间的线性不可分问题，就变成了新空间的（近似）线性可分问题。

此时就可以运用处理（近似）线性可分问题的方法去解决线性不可分数据集的分类问题。

---------------------------------------------------------------------------------------------------------------------------

以上我用最简单的语言粗略地解释了SVM，没有用到任何数学知识。但是没有数学，就体会不到SVM的精髓。因此接下来我会用尽量简洁的语言叙述SVM的数学思想，如果没有看过SVM推导过程的朋友完全可以跳过下面这段。

对于求解（近似）线性可分问题：

由最大间隔法，得到凸二次规划问题，这类问题是有最优解的（理论上可以直接调用二次规划计算包，得出最优解）

我们得到以上凸优化问题的对偶问题，一是因为对偶问题更容易求解，二是引入核函数，推广到非线性问题。

求解对偶问题得到原始问题的解，进而确定分离超平面和分类决策函数。由于对偶问题里目标函数和分类决策函数只涉及实例与实例之间的内积，即xi,xj。我们引入核函数的概念。

拓展到求解线性不可分问题：

如之前的例子，对于线性不可分的数据集的任意两个实例：xi,xj。当我们取某个特定映射f之后，f(xi)与f(xj)在高维空间中线性可分，运用上述的求解（近似）线性可分问题的方法，我们看到目标函数和分类决策函数只涉及内积f(xi),f(xj)。由于高维空间中的内积计算非常复杂，我们可以引入核函数K(xi,xj)=f(xi),f(xj)，因此内积问题变成了求函数值问题。最有趣的是，我们根本不需要知道映射f。精彩！

我不准备在这里放推导过程，因为已经有很多非常好的学习资料，如果有兴趣，可以看：CS229 Lecture notes

最后就是SMO算法求解SVM问题，有兴趣的话直接看作者论文：Sequential Minimal Optimization:A Fast Algorithm for Training Support Vector Machines

我直接给出代码：SMO+SVM

在线性可分数据集上运行结果：

图中标出了支持向量这个非常完美，支持向量都在超平面附近。

在线性不可分数据集上运行结果（200个样本）：

核函数用了高斯核，取了不同的sigma

sigma=1，有189个支持向量，相当于用整个数据集进行分类。

sigma=10，有20个支持向量，边界曲线能较好的拟合数据集特点。

我们可以看到，当支持向量太少，可能会得到很差的决策边界。如果支持向量太多，就相当于每次都利用整个数据集进行分类，类似KNN。