这篇文章给大家分享的是有关Hue3.9如何搭建集成HDFS和Hive的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。
创新互联公司为您提适合企业的网站设计 让您的网站在搜索引擎具有高度排名，让您的网站具备超强的网络竞争力！结合企业自身，进行网站设计及把握，最后结合企业文化和具体宗旨等，才能创作出一份性化解决方案。从网站策划到网站设计、
网站制作， 我们的网页设计师为您提供的解决方案。
运行环境：
CentOS 6.5
hadoop-2.6.0-cdh6.7.0
hadoop-2.6.0-cdh6.7.0
hive-1.1.0-cdh6.7.0
hue-3.9.0-cdh6.7.0
sqoop-1.4.6-cdh6.7.0
Hue:
官网地址：http://gethue.com/
官网安装说明：http://cloudera.github.io/hue/latest/admin-manual/manual.html#centosrhel
官网github地址：
http://github.com/cloudera/hue
Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job,Hive
等等
支持功能：
数据库查询编辑器,支持 Hive, Impala, MySql, PostGres, Sqlite and Oracle
动态查询仪表盘,支持 Solr
支持 Spark 编辑器和仪表盘
浏览器查看状态,支持 YARN, HDFS, Hive table Metastore, HBase, ZooKeeper
支持 Pig Editor, Sqoop2, Oozie workflows 编辑器和仪表盘
将数据导入hdfs
1.CentOS6.5依赖环境：
yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel
libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel
gmp-devel
2.下载CDH5.7.0平台Hue:
wget http://archive-primary.cloudera.com/cdh6/cdh/5/http://archive-primary.cloudera.com/cdh6/cdh/5/hue-3.9.0-cdh6.7.0.tar.gz
3.环境变量配置：
vim /.bash_profile
export HUE_HOME=/home/hadoop/app/hue-3.9.0
export PATH=$HUE_HOME/bin:$PATH
source ~/.bash_profile
4.编译源码(Hue3.9)
tar -xzvf hue-3.9.0-cdh6.7.0.tar.gz -C ~/app/ -- 检查解压后的用户和用户组
cd hue-3.9.0
make apps
编译过程需要下很多模块和包，所以根据你的网速可能会需要编译很久。
最后出现xxx post-processed说明编译成功
1190 static files copied to '/home/hadoop/app/hue-3.9.0/build/static', 1190 post-processed.
make[1]: Leaving directory `/home/hadoop/app/hue-3.9.0/apps'
5.Hue配置全局文件($HUE_HOME/desktop/conf/hue.ini)
[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn6.Hue集成Hadoop($HADOOP_HOME/etc/hadoop)
hdfs-site.xml
dfs.webhdfs.enabled
true
core-site.xml
hadoop.proxyuser.hue.hosts
*
hadoop.proxyuser.hue.groups
*
httpfs-site.xml
httpfs.proxyuser.hue.hosts
*
httpfs.proxyuser.hue.groups
*
6.1 Hue集成Hadoop($HUE_HOME/desktop/conf/hue.ini)
[hadoop]
# Configuration for HDFS NameNode
# ------------------------------------------------------------------------
[[hdfs_clusters]]
# HA support by using HttpFs
[[[default]]]
# Enter the filesystem uri
fs_defaultfs=hdfs://localhost:8020
# NameNode logical name.
## logical_name=
# Use WebHdfs/HttpFs as the communication mechanism.
# Domain should be the NameNode or HttpFs host.
# Default port is 14000 for HttpFs.
webhdfs_url= -- 取消注释
7.Hue集成Hive($HIVE_HOME/conf/hive-site.xml)
hive.server2.thrift.bind.port
10000
hive.server2.thrift.bind.host
hadoop001
hive.server2.long.polling.timeout
5000
hive.server2.authentication
NOSASL
7.1.Hue集成Hive($HUE_HOME/desktop/conf/hue.ini)
[beeswax]
# Host where HiveServer2 is running.
# If Kerberos security is enabled, use fully-qualified domain name (FQDN).
hive_server_host=hadoop001
# Port where HiveServer2 Thrift server runs on.
hive_server_port=10000
# Hive configuration directory, where hive-site.xml is located
hive_conf_dir=/home/hadoop/app/apache-hive-2.2.0-bin/conf
8.启动Hue
-- 先启动Hive
[hadoop@hadoop001 bin]$ ./hiveserver2 --hiveconf hive.server2.thrift.port=10000
-- 启动hue服务
[hadoop@hadoop001 hue-3.9.0]$ build/env/bin/supervisor
9.访问Hue操作hive
http://IP:8888/
由于初次创建的用户admin用户 只能权限操作HDFS上/user/admin/* 目录
如果要操作/user/hadoop/目录，hue必须创建hadoop用户操作；
遇到的权限报错：
Note: you are a Hue admin but not a HDFS superuser, "hadoop" or part of HDFS supergroup,
"supergroup".
解决办法：
# This should be the hadoop cluster admin
default_hdfs_superuser=hadoop -- HDFS 修改为 hadoop
感谢各位的阅读！关于“Hue3.9如何搭建集成HDFS和Hive”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！
标题名称：Hue3.9如何搭建集成HDFS和Hive-创新互联
文章路径：http://cdkjz.cn/article/ihcdh.html
