spark2.2.0如何配置sparksql操作hive

小编给大家分享一下spark2.2.0如何配置spark sql操作hive，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！

创新互联是一家集网站建设,长丰企业网站建设,长丰品牌网站建设,网站定制,长丰网站建设报价,网络营销,网络优化,长丰网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

spark可以通过读取hive的元数据来兼容hive，读取hive的表数据，然后在spark引擎中进行sql统计分析，从而，通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下：

 1、启动hive的元数据服务
hive可以通过服务的形式对外提供元数据读写操作，通过简单的配置即可
  编辑 $HIVE_HOME/conf/hive-site.xml,增加如下内容:

hive.metastore.uris
thrift:// master:9083

  启动hive metastore

[root@master apache-hive-1.2.2-bin]# ./bin/hive --service metastore  1>/dev/null  2>&1  &

  查看 metastore:

[root@master apache-hive-1.2.2-bin]# jobs
[1]+  Running                 ./bin/hive --service metastore > /dev/null 2>&1 &

 
2、spark配置
    将hive的配置文件拷贝给spark
将 $HIVE_HOME/conf/hive-site.xml copy $SPARK_HOME/conf/

[root@master apache-hive-1.2.2-bin]# cp ./conf/hive-site.xml /usr/local/spark-2.3.0/conf/

 
   将MySQL的jdbc驱动包拷贝给spark
将 $HIVE_HOME/lib/mysql-connector-java-5.1.12.jar copy或者软链到$SPARK_HOME/lib/

[root@master lib]# cp ./mysql-connector-5.1.8.jar /usr/local/spark-2.3.0/jars/

 
3、启动spark-sql的shell交互界面
   [root@master lib]# spark-sql 

4、在spark sql 中执行hive操作

spark-sql> show databases;

以上是“spark2.2.0如何配置spark sql操作hive”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！