第56课：SparkSQL和DataFrame的本质-创新互联

一、Spark SQL与Dataframe

在潞城等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供做网站、成都网站设计 网站设计制作按需定制网站,公司网站建设,企业网站建设,成都品牌网站建设,成都全网营销推广,成都外贸网站建设公司,潞城网站建设费用合理。

Spark SQL之所以是除Spark core以外大和最受关注的组件的原因：

a） 能处理一切存储介质和各种格式的数据（你同时可以方便的扩展Spark SQL的功能来支持更多的数据类型，例如KUDO）

b）Spark SQL 把数据仓库的计算能力推向了一个新的高度。不仅是无敌的计算速度（Spark SQL比Shark快了一个数量级，Shark比Hive快了一个数量级），尤其是在tungsten成熟以后会更加无可匹敌。更为重要的是把数据仓库的计算复杂度推向了历史新高度（Spark后续推出的Dataframe可以让数据仓库直接使用机器学习、图计算等算法库来对数据仓库进行深度数据价值的挖掘）。

c）Spark SQL（Dataframe，DataSet）不仅是数据仓库的引擎，同时也是数据挖掘的引擎，更为重要的是Spark SQL是科学计算和分析的引擎。

d）后来的DataFrame让Spark SQL一举成为大数据计算引擎的技术上的霸主（尤其是在钨丝计划的强力支持下）。

e) Hive+Spark SQL+DataFrame

 1） Hive负责廉价的数据存储

 2) Spark SQL 负责高速的计算

 3）DataFrame 负责复杂的数据挖掘

二、DataFrame与RDD

a）R和Python中都有DataFrame，Spark中的DataFrame从形式上看，大的不同点就是其天生是分布式的；你可以简单的认为DataFrame是一个分布式的Table，形式如下：

Name	Age	Tel
String	Int	Long
String	Int	Long
String	Int	Long
String	Int	Long
String	Int	Long
String	Int	Long

而RDD的形式如下：

Person

Person

Person

Person

Person

Person

RDD不知道数据行的属性，而DataFrame知道数据的列信息

b）RDD和DataFrame的根本差异

 RDD以record为基本单位，Spark在处理RDD时无法优化RDD的内部细节，所以也就无法进行更深入的优化，这极大的限制了Spark SQL的性能。

 DataFrame中包含了每个record的metadata信息，也就是说DataFrame优化时基于列内部优化，而不像RDD基于行进行优化。

三、Spark企业级最佳实践

阶段1 文件系统+C语言处理

阶段2 JavaEE + 传统数据库（扩展性太差，不支持分布式。即便有部分数据库支持分布式，但是因为事务一致性的关系，速度非常慢）

阶段3 Hive hive的计算能力有限，速度非常慢。

阶段4 Hive转向Hive+Spark SQL

阶段5 Hive+Spark SQL+DataFrame

阶段6 Hive+Spark SQL+DataFrame+DataSet

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

分享文章：第56课：SparkSQL和DataFrame的本质-创新互联
标题链接：http://cdkjz.cn/article/dhcdgj.html