资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

hadoop2.6.5+sqoop1.4.6环境部署与测试(一)-创新互联

情景描述:

专注于为中小企业提供成都网站设计、成都做网站服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业衡东免费做网站提供优质的服务。我们立足成都,凝聚了一批互联网行业人才,有力地推动了上千家企业的稳健成长,帮助中小企业通过网站建设实现规模扩充和转变。

用户的登录信息以记录的方式被存放在mysql(版本为5.1.73)的表中,现打算使用sqoop将登录记录抽取并存放到hdfs上,并使用mapreduce程序统计每个用户的登录次数。

环境描述:
采用4台虚拟机部署hadoop2.6.5的完全分布式环境,在其中一台担任namenode节点的主机上安装mysql-server和sqoop,用于存放和抽取源数据。除此之外,使用一台另外的机器编写mapreduce程序和发布jar包,提供给hadoop使用。
4台部署hadoop机器信息与集群中担任的角色信息如下:

IP         主机名              hadoop集群担任角色
10.0.1.100    hadoop-test-nn    NameNode,ResourceManager
10.0.1.101    hadoop-test-snn   SecondaryNameNode
10.0.1.102    hadoop-test-dn1   DataNode,NodeManager
10.0.1.103    hadoop-test-dn2   DataNode,NodeManager

涉及软件:
1. jdk1.7.0_45 --hadoop和sqoop运行必须。
2. hadoop2.6.5 --下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz
3. sqoop1.4.6 --下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/ 注:请选择sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz下载,其他版本可能存在于hadoop2.6.5不兼容,导致抽取数据时出现异常。
4. mysql-connector-java-5.1.32-bin.jar,连接mysql的可执行JAR包,用于提供给sqoop连接mysql数据库,可以从https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz 下载的tar包中解压后的目录中获得。

准备工作:
1. 修改主机名,修改/etc/hosts文件,配置主机名和IP映射关系,使各VM间可以互相解析主机名:
在每个VM的/etc/hosts文件中添加如下记录:

10.0.1.100      hadoop-test-nn nn
10.0.1.101      hadoop-test-snn snn
10.0.1.102      hadoop-test-dn1 dn1
10.0.1.103      hadoop-test-dn2 dn2

2. 在每个VM上建立hadoop用户,以后的配置工作使用hadoop用户来进行,并使用ssh-keygen和ssh-copy-id命令配置各VM的hadoop用户可以SSH互信访问。
3. 安装JDK并配置环境变量:为每台VM解压jdk的jar包到/usr/local/java下,安装JDK,并配置JAVA_HOME变量,在/etc/profile中添加如下记录:

export JAVA_HOME=/usr/local/java/jdk1.7.0_45
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

下一节介绍hadoop完全分布式环境搭建。

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


分享标题:hadoop2.6.5+sqoop1.4.6环境部署与测试(一)-创新互联
文章网址:http://cdkjz.cn/article/spgse.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220