SparkSQL中怎么实现union操作

今天就跟大家聊聊有关Spark SQL中怎么实现union操作，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。

创新互联服务紧随时代发展步伐，进行技术革新和技术进步，经过十多年的发展和积累，已经汇集了一批资深网站策划师、设计师、专业的网站实施团队以及高素质售后服务人员，并且完全形成了一套成熟的业务流程，能够完全依照客户要求对网站进行网站设计制作、成都网站设计、建设、维护、更新和改版，实现客户网站对外宣传展示的首要目的，并为客户企业品牌互联网化提供全面的解决方案。

union all是直接连接，取到得是所有值，记录可能有重复  
union 是取唯一值，记录没有重复  
1、UNION 的语法如下：

[SQL 语句 1]
     UNION
[SQL 语句 2]

2、UNION ALL 的语法如下：

[SQL 语句 1]
     UNION ALL
[SQL 语句 2]

对比总结：

UNION和UNION ALL关键字都是将两个结果集合并为一个，但这两者从使用和效率上来说都有所不同。

1、对重复结果的处理：UNION在进行表链接后会筛选掉重复的记录，Union All不会去除重复记录。

2、对排序的处理：Union将会按照字段的顺序进行排序；UNION ALL只是简单的将两个结果合并后就返回。

从效率上说，UNION ALL 要比UNION快很多，所以，如果可以确认合并的两个结果集中不包含重复数据且不需要排序时的话，那么就使用UNION ALL。

Spark SQL

实际上Spark SQL的DataSet的API是没有union all操作的，只有union操作，而且其union操作就是union all操作。

此时要实现union操作，需要在union之后加上distinct操作。

sales.union(sales).show()

输出结果是有重复数据的

需要将操作更改为：

sales.union(sales).distinct().show()

看完上述内容，你们对Spark SQL中怎么实现union操作有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注创新互联行业资讯频道，感谢大家的支持。