资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

fs.defaultFS变更使spark-sql查询hive失败是怎么回事

这篇文章将为大家详细讲解有关fs.defaultFS变更使spark-sql查询hive失败是怎么回事,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

目前创新互联公司已为近1000家的企业提供了网站建设、域名、网页空间、绵阳服务器托管、企业网站设计、饶河网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。


我们在将hdfs换成⾼可⽤后,我们的namede地址发⽣变更,也就是我们的fs.defaultFS发⽣变更后, 需要注意:这些修改会影响到我们的hive的正常运⾏,因为我们hive在建表的时候,其实已经改变了该表 的数据存放路径。会导致我们在提交spark脚本【执⾏spark-sql】的脚本,报错。如下图所示:⼀直显 示,读取⽼的hdfs的namenode路径。  
fs.defaultFS变更使spark-sql查询hive失败是怎么回事
这⾥,我们可以访问我们的hive元数据表 SDS,如下图所示:发现还是以未升级前的namenode地 址,也就是master:9000。  
fs.defaultFS变更使spark-sql查询hive失败是怎么回事
因此,我们需要修改这些存储信息,有两种⽅式:
  1. 直接修改表的信息 
  2. 利⽤hive⾃带的⼯具
metatool -updateLocation  
在装有hive的节点执⾏命令
   
     
   
   
   metatool -updateLocation hdfs://bi hdfs://master:9000/
查询元数据信息是否发⽣更改

   
     
   
   
   metatool -listFSRoot
fs.defaultFS变更使spark-sql查询hive失败是怎么回事
此时,hive的元数据信息已经发生变更,可以正常使用

关于“fs.defaultFS变更使spark-sql查询hive失败是怎么回事”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。


分享题目:fs.defaultFS变更使spark-sql查询hive失败是怎么回事
文章URL:http://cdkjz.cn/article/ghgscd.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220