这篇文章主要介绍了spark with hive的用法示例，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。
成都创新互联是一家专业提供
襄汾企业网站建设,专注与
网站设计制作、成都网站设计、
H5技术、小程序制作等业务。10年已为襄汾众多企业、政府机构等服务。创新互联专业网站设计公司优惠进行中。
//需要spark-hive project
package hgs.spark.hive
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.hadoop.hive.conf.HiveConfUtil
import org.apache.spark.sql.SparkSession
//注:需要将hive-site.xml放到当前工程的classpath下面
object SparkWithHive {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("hive").setMaster("local")
val context = new SparkContext(conf)
val builder = SparkSession.builder()
.appName("hiveApp")
.config("spark.sql.warehouse.dir","hdfs://bigdata00:9000/user/hive/warehouse/")
.enableHiveSupport()
.getOrCreate()
import builder.implicits
//test库下面的test表 ssql.show()可以打印表的信息
val ssql = builder.sql("select a.id,b.name,b.age+10 bigage from test.test a,test.test1 b where a.id = b.id")
//这里转换为rdd进行操作，转换为三元的tuple, List((1,hgs,26), (2,wd,24), (3,zz,25), (4,cm,24))
val list = ssql.rdd.map(x=>(x(0),x(1),x(2))).collect()
println(list.toList)
context.stop()
}
}感谢你能够认真阅读完这篇文章，希望小编分享的“spark with hive的用法示例”这篇文章对大家有帮助，同时也希望大家多多支持创新互联，关注创新互联-成都网站建设公司行业资讯频道，更多相关知识等着你来学习!
标题名称：sparkwithhive的用法示例-创新互联
分享URL：
http://cdkjz.cn/article/doggep.html
