大数据会撒谎？如何戳破大数据的谎言

数据科学家使用统计分析工具深度挖掘数据潜在的内容时经常会遭遇到大数据挖的坑，实际上这些坑并不是只有大数据才有，大自然本身就存在很多虚假的相关性，大数据只是更加剧了这种虚假的相关性。

随着数据来源的增多和预测类型的多样化，数据建模关系的数量开始接近无穷大。正如David G. Young指出的那样，在预测分析的时候，我们要看到相互作用，变化的曲率、意义，有时甚至要看到变化的标志。

在做数据建模的相关性分析时，最关键的是找对数据范围，尤其是设置合适的变量和算法。一旦你找到了变量和算法的正确组合，那么你就掌握了正确打开相关性分析的密钥。

有时候，我们会发现数据建模的相关性可能和实际情况并不相符，它只是你自以为正确的数据模型。即使你本身并没有欺骗的意图，也是按照科学的方法来建模的，但是你的数据模型并不一定能帮助你获得数据背后的真正洞察力。

认知偏差是每一个人都会犯的错误，即使你是一个非常优秀的数据科学家也不能百分百确保不犯数学和逻辑上的错误、正确的挖掘出数据背后的价值。

诺贝尔经济学奖获得者丹尼尔·卡纳曼在他的著作《思维说，快与慢》中表示：人类如果没有接受教育，那么每个人都是生而不同的。我们可能无法看透数据统计的深层次内容，但是现实世界确实存在着某种规律，这种规律有时难以捉摸，但有时我们只凭直觉就可以找到。

如果你是一个正在探索数据驱动的数据科学家，那么你就要注意虚假相关性，它将会是一个非常危险的陷阱。这种虚假相关性产生的原因可能是数据科学家太想要验证某个假设，也可能是迫于企业的商业模式的要求。利用这种虚假相关性建立的数据模型也许能够解决一时的问题，但是它本质还是一个劣质的模型，经不起时间的考验，说不定会在哪个瞬间给你致命的一击。

那么数据科学家如何才能减少在数据挖掘时无意中做出虚假统计相关性的概率。

集成学习

集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。这种方法的难点在于要在不同的样本中进行训练，采用不同的算法，但是这种方法能够有效的揭示一些相关性。集成学习的算法是通过独立模型的结果集的训练、取平均、bagging、boosting等多种方法得到的，能够有效减少各层模型之间的差异。

A/B测试

A/B测试其实是一种“先验”的实验体系，属于预测型结论，与“后验”的归纳性结论差别巨大。A/B测试顾名思义就是为同一个目标设计A、B两套方案，其中一个为守擂者，一个为攻击者，通过科学的实验设计、真实的数据监测来选出最具预测价值的方案。

稳健模型

这种方法涉及到数据建模的方方面面，为了确保预测是稳定的，我们要多方考虑，比如数据源、采样技术、算法方法、时间等等。此外，离散点分析也是非常重要的，Vincent Granville前几年就已经表示数据集的异常有可能掩盖数据的真正模式，增加虚假相关性的发生率。

“数据驱动决策”已经成为这个时代的潮流，好的决策应该是数据驱动的，所以数据模型的建立就显得尤为重要。如果你是一个数据科学家，希望以上的方法能够对你建模有所帮助。