python求ks值函数 python k数

python:5种正态性检验方法

1.直方图

创新互联：成立与2013年为各行业开拓出企业自己的“网站建设”服务，为成百上千公司企业提供了专业的成都网站制作、网站设计、外贸网站建设、网页设计和网站推广服务， 按需定制制作由设计师亲自精心设计，设计的效果完全按照客户的要求，并适当的提出合理的建议，拥有的视觉效果，策划师分析客户的同行竞争对手，根据客户的实际情况给出合理的网站构架，制作客户同行业具有领先地位的。

由于正态分布具有非常典型的中间高，两边低的图形特征，如果样本数据并不服从正态分布，我们可以通过直方图很快地分辨出来。更进一步地，Python可以辅助生成基于样本数据估计的正态曲线，这样就容易辅助我们进行判断。

图形观察虽然直观，但是部分研究者认为单纯观察图形过于主观，因此我们也可以选择使用统计检验的方法去研究数据是否服从正态分布。

操作步骤：

导入相关的包及数据

2 P-P图及Q-Q图

直方图是最长用于观察数据分布的常用图形选项，尤其是带正态曲线的直方图，可以非常直观地看到实际数据分布和正态曲线的对比，而P-P图及Q-Q图则是另一种选择，它可以直观给出实际数据分布和理论的差距。

值得注意的是，虽然P-P图及Q-Q图常用用于判断数据样本是否服从正态分布，但实际上它们也能判断数据样本是否服从其他的分布

P-P图:反映的是数据的实际累积概率与假定所服从分布的理论累积概率的符合程度。在此处，我们所假定的分布就是正态分布，如果数据样本是服从正态分布的话，那么实际的累积概率与理论的累积概率应该是相对一致的，放映在图形中就是数据点应该沿着图形的对角线分布。

Q-Q图的原理与P-P图几乎一致。P-P图考察的是实际分布与理论分布的累积概率分布差异，而Q-Q图考察的是实际百分位数与理论百分位数的差异。同理在此处，我们所假定的分布就是正态分布，如果数据样本是服从正态分布的话，那么实际的分布应该是相对一致的，反映在图形中就是数据点应该沿着图形的对角线分布。

在Python中，statsmodels包中目前主要提供的是Q-Q图的绘制

柯尔莫戈洛夫-斯米诺夫检验（Kolmogorov-Smirnov test），一般又称K-S检验，是一种基于累计分布函数的非参数检验，用以检验两个经验分布是否不同或一个经验分布与另一个理想分布是否不同。

K-S检验的原假设是“样本数据来自的分布与正态分布无显著差异”，因此一般来说，KS检验最终返回两个结果，分别是检验统计量及P值,检验结果P0.05才是我们的目标。

实际上，GraphPad不推荐使用单纯的Kolmogorov-Smirnov test方法

夏皮洛-威尔克检验（Shapiro—Wilk test），一般又称W检验。W检验是一种类似于利用秩进行相关性检验的方法。同样需要注意的是，W检验与K-S检验一样，原假设是“样本数据来自的分布与正态分布无显著差异”，因此一般来说，W检验最终返回两个结果，分别是检验统计量及P值。,检验结果P0.05才是我们的目标。

当数据集中的数据无重复值时，该方法的检验效果比较好，但是当数据集中有些数据不是独一无二的，即有些数据的数值是相同的，那么该方法的检验效果就不是很好

GraphPad官方推荐使用该方法。

首先计算 偏度和峰度以便在不对称和形状方面量化分布离高斯分布的距离。然后，其计算这些值中的每一个与高斯分布的预期值之间的差异，并基于这些差异的总和，计算各P值。这是一种通用和强大的正态性检验，推荐使用。请注意，D'Agostino开发了几种正态性检验。Prism使用的其中一个是“综合K2”检验。

安德森-达令检验样本数据是否来自特定分布，包括分布：'norm', 'expon', 'gumbel', 'extreme1' or 'logistic'.

原假设 H0：样本服从特定分布； 备择假设 H1：样本不服从特定分布

实际上，从已有的文献表明，对于数据分布的正态性研究，首选方法是图形观察，即利用直方图、P-P图或Q-Q图进行观察，如果分布严重偏态和尖峰分布则建议进行进一步的假设检验。如果图形分布结果不好判断，则再进行正态性检验。

实际上，从已有的文献表明，对于数据分布的正态性研究，首选方法是图形观察，即利用直方图、P-P图或Q-Q图进行观察，如果分布严重偏态和尖峰分布则建议进行进一步的假设检验。如果图形分布结果不好判断，则再进行正态性检验。

其次，对于检验方法来说，对于K-S检验及W检验结果来说，有文献采用蒙特卡罗模拟方法进行多次验证，结果表明W检验结果相比于大部分方法都有较大的检验功效，而K-S方法的检验结果相对不佳。并且部分学者认为，K-S检验的实用性远不如图形工具，因为在样本量少时，该检验不太敏感，但是在样本量大时，该检验却过于敏感。因此正常情况下，我们更常采用W检验的结果。

值得注意的是，虽然说K-S检验结果相对不佳，但是不同检验方法对于样本量的敏感度是不一样的。在样本量较小的情况下（小于50个样本的情况下），请优先选择W检验；在样本量50-5000的情况下，可以酌情使用W检验及K—S检验；在样本量大于5000的情况下，请使用K-S检验结果，尤其是在SPSS中，当样本量大于5000的情况下，将只显示K-S检验结果，而不显示W检验结果。

python之KS曲线

# 自定义绘制ks曲线的函数

def plot_ks(y_test, y_score, positive_flag):

# 对y_test,y_score重新设置索引

y_test.index = np.arange(len(y_test))

#y_score.index = np.arange(len(y_score))

# 构建目标数据集

target_data = pd.DataFrame({'y_test':y_test, 'y_score':y_score})

# 按y_score降序排列

target_data.sort_values(by = 'y_score', ascending = False, inplace = True)

# 自定义分位点

cuts = np.arange(0.1,1,0.1)

# 计算各分位点对应的Score值

index = len(target_data.y_score)*cuts

scores = target_data.y_score.iloc[index.astype('int')]

# 根据不同的Score值，计算Sensitivity和Specificity

Sensitivity = []

Specificity = []

for score in scores:

    # 正例覆盖样本数量与实际正例样本量

    positive_recall = target_data.loc[(target_data.y_test == positive_flag) (target_data.y_scorescore),:].shape[0]

    positive = sum(target_data.y_test == positive_flag)

    # 负例覆盖样本数量与实际负例样本量

    negative_recall = target_data.loc[(target_data.y_test != positive_flag) (target_data.y_score=score),:].shape[0]

    negative = sum(target_data.y_test != positive_flag)

    Sensitivity.append(positive_recall/positive)

    Specificity.append(negative_recall/negative)

# 构建绘图数据

plot_data = pd.DataFrame({'cuts':cuts,'y1':1-np.array(Specificity),'y2':np.array(Sensitivity),

                          'ks':np.array(Sensitivity)-(1-np.array(Specificity))})

# 寻找Sensitivity和1-Specificity之差的最大值索引

max_ks_index = np.argmax(plot_data.ks)

plt.plot([0]+cuts.tolist()+[1], [0]+plot_data.y1.tolist()+[1], label = '1-Specificity')

plt.plot([0]+cuts.tolist()+[1], [0]+plot_data.y2.tolist()+[1], label = 'Sensitivity')

# 添加参考线

plt.vlines(plot_data.cuts[max_ks_index], ymin = plot_data.y1[max_ks_index],

          ymax = plot_data.y2[max_ks_index], linestyles = '--')

# 添加文本信息

plt.text(x = plot_data.cuts[max_ks_index]+0.01,

        y = plot_data.y1[max_ks_index]+plot_data.ks[max_ks_index]/2,

        s = 'KS= %.2f' %plot_data.ks[max_ks_index])

# 显示图例

plt.legend()

# 显示图形

plt.show()

# 调用自定义函数，绘制K-S曲线

plot_ks(y_test = y_test, y_score = y_score, positive_flag = 1)

python ks检验的2个值是什么意思

首先生成1000个服从N(0,1)标准正态分布的随机数，在使用k-s检验该数据是否服从正态分布，提出假设：x从正态分布。

最终返回的结果，p-value=0.76584491300591395，比指定的显著水平（假设为5%）大，则我们不能拒绝假设：x服从正态分布。

这并不是说x服从正态分布一定是正确的，而是说没有充分的证据证明x不服从正态分布。因此我们的假设被接受，认为x服从正态分布。

如果p-value小于我们指定的显著性水平，则我们可以肯定的拒绝提出的假设，认为x肯定不服从正态分布，这个拒绝是绝对正确的。