(一)白噪声的检验
创新互联建站-专业网站定制、快速模板网站建设、高性价比农安网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式农安网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖农安地区。费用合理售后完善,十载实体公司更值得信赖。
一般判断平稳有三种方法
(1)直接画出时间序列的趋势图,看趋势判断
(2)画出自相关和偏相关图:平稳的序列和自相关图和偏相关图要么拖尾,要么截尾。
(3)单位根检验:检验序列中是否存在单位根,如果存在单位根就是非平稳时间序列。
设mean(x),var(x)分别为序列{x}的平均值和方差,根据自身相关系数ACF判断是否为平稳序列:
ACF=∑(x[i]-mean(x)) (x[i+k]-mean(x))/(n var(x)),0=kN,0=iN-k
如果ACF系数随K值的增加衰减到0的速度比非平稳随机序列更快,即可说明为平稳的。
不平稳序列可以通过差分转换为平稳序列。k阶差分就是相距k期的两个序列值相减。如果一个时间序列经过差分运算后具有平稳序列,则该序列为差分平稳序列。
(二)AR模型的参数估计
AR模型的参数估计主要有三种方法:矩估计、最小二乘估计和最大似然估计。
在此学习最小二乘估计。
对于样本序列{x t },当j=p+1时,记白噪声的估计为
//以上流程就是最小二乘用矩阵的方式运算,很简单的
(三)AR模型的定阶
在对AR模型识别时,根据其样本自相关系数的截尾步数,可初步得到AR模型的阶数p,然而,此时建立的 AR(p) 未必是最优的。
定阶的一般步骤为:
(1).确定p值的上限,一般是序列长度N的比例或是lnN的倍数
(2).在补偿过max(p)值的前提下,从1开始根据某一原则确定最优p。
一个好的模型通常要求残差序列方差较小,同时模型页相对简单,即要求阶数较低。因此我们需要一些准则来比较不同阶数的模型之间的优劣,从而确定最合适的阶数。下面给出四种常用的定阶准则。
是序列的各阶样本自协方差函数,其最终预报误差可表示为
在具体应用时,通常是分别建立从低阶到高阶的 AR 模型,并计算出相应的 FPE 的值,由此确定使 FPE 达到最小的 p 值。
2.贝叶斯信息准则
定义
使得 BIC 达到最小值的 p 即为该准则下的最优 AR 模型的阶数。
3.AIC(最小信息准则)
4.SC(施瓦茨准则)
另:python中有函数可以直接求AIC,BIC,HQIC的值。
python操作实例推荐
在进行数据处理时,如果数据简单,数量不多,excel是大家的首选。但是当数据众多,类型复杂,需要灵活地显示切片、进行索引、以及排序时,python会更加方便。借助python中的numpy和pandas库,它能快速完成各种任务,包括数据的创建、检查、清洗、预处理、提取、筛选、汇总、统计等。接下来几篇文章,将以excel为参照,介绍python中数据的处理。
提到pandas,那就不得不提两类重要的数据结构,Series和DataFrame,这两类数据结构都是建立在numpy的数组array基础上。与array相比,Series是一个一维的数据集,但是每个数据元素都带有一个索引,有点类似于字典。而DataFrame在数组的基础上,增加了行索引和列索引,类似于Series的字典,或者说是一个列表集。
所以在数据处理前,要安装好numpy , pandas。接下来就看看如何完成一套完整的数据操作。
创建数据表的方法分两种,分别是从外部导入数据,以及直接写入数据。
在python中,也可外部导入xlsx格式文件,使用read_excel()函数:
import pandas as pd
from pandas import DataFrame,Series
data=DataFrame(pd.read_excel('c:/python27/test.xlsx'))
print data
输出:
Gene Size Function
0 arx1 411 NaN
1 arx2 550 monooxygenase
2 arx3 405 aminotransferase
……
即:调用pandas中read_excel属性,来读取文件test.xlsx,并转换成DataFrame格式,赋给变量data。在每一行后,自动分了一个索引值。除了excel,还支持以下格式文件的导入和写入:
Python写入的方法有很多,但还是不如excel方便。常用的例如使用相等长度的字典或numpy数组来创建:
data1 = DataFrame(
{'Gene':['arx1','arx2','arx3'],
'Size':[411,550,405],
'Func':[np.NaN,'monooxygenase','aminotransferase ']})
print data1
输出
Func Gene Size
0 NaN arx1 411
1 monooxyg arx2 550
2 amino arx3 405
分配一个行索引后,自动排序并输出。
在python中,可以使用info()函数查看整个数据的详细信息。
print data.info()
输出
RangeIndex: 7 entries, 0 to 6
Data columns (total 3 columns):
Gene 7 non-null object
Size 7 non-null int64
Function 5 non-null object
dtypes: int64(1), object(2)
memory usage: 240.0+ bytes
None
此外,还可以通过shape, column, index, values, dtypes等函数来查看数据维度、行列组成、所有的值、 数据类型:
print data1.shape
print data1.index
print data1.columns
print data1.dtypes
输出
(3, 3)
RangeIndex(start=0, stop=3, step=1)
Index([u'Func', u'Gene', u'Size'], dtype='object')
Func object
Gene object
Size int64
dtype: object
在excel中可以按“F5”,在“定位条件”中选择“空值”,选中后,输入替换信息,再按“Ctrl+Enter”即可完成替换。
在python中,使用函数 isnull 和 notnull 来检测数据丢失, 包含空值返回True,不包含则返回False。
pd.isnull(data1)
pd.notnull(data1)
也可以使用函数的实例方法,以及加入参数,对某一列进行检查:
print data1['Func'].isnull()
输出
Func Gene Size
0 True False False
1 False False False
2 False False False
再使用fillna对空值进行填充:
data.fillna(value=0)
#用0来填充空值
data['Size'].fillna(data1['Size'].mean())
#用data1中Size列的平均值来填充空值
data['Func']=data['Func'].map(str.strip)
#清理Func列中存在的空格
Excel中可以按“Ctrl+F”,可调出替换对话框,替换相应数据。
Python中,使用replace函数替换:
data['Func'].replace('monooxygenase', 'oxidase')
将Func列中的'monooxygenase'替换成'oxidase'。
Excel中,通过“数据-筛选-高级”可以选择性地看某一列的唯一值。
Python中,使用unique函数查看:
print data['Func'].unique()
输出
[nan u'monooxygenase' u'aminotransferase' u'methyltransferase']
Excel中,通过UPPER、LOWER、PROPER等函数来变成大写、小写、首字母大写。
Python中也有同名函数:
data1['Gene'].str.lower()
Excel中可以通过“数据-删除重复项”来去除重复值。
Python中,可以通过drop_duplicates函数删除重复值:
print data['Func'].drop_duplicates()
输出
0 NaN
1 monooxygenase
2 aminotransferase
3 methyltransferase
Name: Func, dtype: object
还可以设置“ keep=’last’ ”参数,后出现的被保留,先出现的被删除:
print data['Func'].drop_duplicates(keep='last')
输出
2 aminotransferase
3 methyltransferase
6 monooxygenase
8 NaN
Name: Func, dtype: object
内容参考:
Python For Data Analysis
蓝鲸网站分析博客,作者蓝鲸(王彦平)
听别人分享提到了CAP曲线,网上资料比较少,自己动手实践一发
输入: predictions , labels , cut_point
数据预览,左列labels,右列predictions
模型预测坏客户/企业的能力较好,和最优模型的接近程度为0.81