资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划，从策略到执行的一站式服务

网站建设 >

查看其它板块

如何搭建hadoop

本篇内容介绍了“如何搭建hadoop”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

创新互联专注于邹平企业网站建设,成都响应式网站建设公司,成都做商城网站。邹平网站建设公司,为邹平等地区提供建站服务。全流程专业公司，专业设计，全程项目跟踪，创新互联专业和态度为您提供的服务

搭建hadoop环境(centos7)

第 1 节 虚拟机环境准备

  • (1)静态IP配置 编辑 vi /etc/sysconfig/network-scripts/ifcfg-ens33

    1. 三台虚拟机（静态IP，关闭防⽕墙，修改主机名，配置免密登录，集群时间同步）

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=84435f7d-0321-4f1a-817f-0f9f1cf39d43
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.80.101
NETMASK=255.255.255.0
GATEWAY=192.168.80.2
DNS1=8.8.8.8
DNS2=8.8.4.4

** systemctl restart network

(2)关闭防火墙

systemctl status firewalld.service 查看firewall状态
systemctl stop firewalld.service 停⽌firewall
systemctl disable firewalld.service 禁⽌firewall开机启动
关闭本机电脑防⽕墙后，可以在本地ping 虚拟机ip

(2.1)三态机器关闭selinux

安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系
统。
关闭安全策略否则SELinux服务开启后导致SSH连接异常。
修改文件
vi /etc/selinux/config

如何搭建hadoop (3)修改主机名

vi /etc/sysconfig/network

如何搭建hadoop

(4) 配置hostname与IP映射 如何搭建hadoop

(5)配置免密登录 如何搭建hadoop

前提：配置hostname与IP映射 
第一步：在三台机器器执行行以下命令，生成公钥与私钥

第二步：将centos7-2和centos7-3的公钥拷贝到centos7-1

第三步：再将centos7-1的公钥分发给centos7-2和centos7-3 

第一步: ssh-keygen -t rsa 在centos7-1和centos7-2和centos7-3上面都要执行，产生公钥和私钥 

第二步：在centos7-1 ,centos7-2和centos7-3上执行: ssh-copy-id centos7-1 将公钥拷贝到centos7-1上面去 

第三步： scp authorized_keys centos7-2:$PWD scp authorized_keys centos7-3:$PWD

使用ssh完成免密登录即可 （ssh centos7-2）

(6)集群时间同步

6.1. 查看本机当前时间--date
6.2. 设置本机当前时间
date -s "2018-08-17 20:08:09"
6.3. 通过命名和时钟服务器同步时间:
网络计时协议（NTP） : net time protocal
ntpdate us.pool.ntp.org 
6.4. 编辑定时任务
crontab -e
6.5) 定时任务内容如下
*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;
每隔1分钟执行指令一次

如何搭建hadoop

    1. 在/opt⽬录下创建⽂件夹

mkdir -p /opt/lagou/software --软件安装包存放⽬录
mkdir -p /opt/lagou/servers --软件安装⽬录

  • 3 Hadoop下载地址：

https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/

第 2 节 集群规划

如何搭建hadoop

第 3 节 安装Hadoop（前提是配置好jdk的环境）

  • 登录linux121节点；进⼊/opt/lagou/software,解压安装⽂件到/opt/lagou/servers

tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers

  • 查看是否解压成功

ll /opt/lagou/servers/hadoop-2.9.2

  • 添加Hadoop到环境变量 vim /etc/profile

##HADOOP_HOME
export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

  • 使环境变量⽣效

source /etc/profile

  • 验证hadoop

hadoop version

如何搭建hadoop

  • hadoop 目录

drwxr-xr-x 2 root root    194 Nov 13  2018 bin
drwxr-xr-x 3 root root     17 Oct 31 01:09 data
drwxr-xr-x 3 root root     20 Nov 13  2018 etc
drwxr-xr-x 2 root root    106 Nov 13  2018 include
drwxr-xr-x 3 root root     20 Nov 13  2018 lib
drwxr-xr-x 2 root root    239 Nov 13  2018 libexec
-rw-r--r-- 1 root root 106210 Nov 13  2018 LICENSE.txt
drwxr-xr-x 3 root root   4096 Nov  2 07:20 logs
-rw-r--r-- 1 root root  15917 Nov 13  2018 NOTICE.txt
-rw-r--r-- 1 root root   1366 Nov 13  2018 README.txt
drwxr-xr-x 3 root root   4096 Nov 13  2018 sbin
drwxr-xr-x 4 root root     31 Nov 13  2018 share

1. bin⽬录:对Hadoop进⾏操作的相关命令，如hadoop,hdfs等
2. etc⽬录：Hadoop的配置⽂件⽬录，⼊hdfs-site.xml,core-site.xml等
3. lib⽬录：Hadoop本地库（解压缩的依赖）
4. sbin⽬录：存放的是Hadoop集群启动停⽌相关脚本，命令
5. share⽬录：Hadoop的⼀些jar,官⽅案例jar，⽂档等

3.1 集群配置

(Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置)

  • HDFS集群配置

1. 将JDK路径明确配置给HDFS（修改hadoop-env.sh）
2. 指定NameNode节点以及数据存储⽬录（修改core-site.xml）
3. 指定SecondaryNameNode节点（修改hdfs-site.xml）
4. 指定DataNode从节点（修改etc/hadoop/slaves⽂件，每个节点配置信息占⼀⾏）

  • MapReduce集群配置

1. 将JDK路径明确配置给MapReduce（修改mapred-env.sh）
2. 指定MapReduce计算框架运⾏Yarn资源调度框架（修改mapred-site.xml）

  • Yarn集群配置

1. 将JDK路径明确配置给Yarn（修改yarn-env.sh）
2. 指定ResourceManager⽼⼤节点所在计算机节点（修改yarn-site.xml）
3. 指定NodeManager节点（会通过slaves⽂件内容确定）

** 集群配置具体步骤：

HDFS集群配置

1.配置：hadoop-env.sh
将JDK路径明确配置给HDFS

vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

2.指定NameNode节点以及数据存储⽬录（修改core-site.xml）
vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/core-site.xml



fs.defaultFS
 hdfs://linux121:9000



hadoop.tmp.dir
/opt/lagou/servers/hadoop-2.9.2/data/tmp


2.1.core-site.xml的默认配置：
https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core default.xml

3.指定secondarynamenode节点(修改hdfs-site.xml)
vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml



 dfs.namenode.secondary.http-address
 linux123:50090



dfs.replication
3


3.1官⽅默认配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop hdfs/hdfs-default.xml

4.指定datanode从节点(修改slaves⽂件，每个节点配置信息占⼀⾏)
vi /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/slaves

linux121
linux122
linux123

** 注意：该⽂件中添加的内容结尾不允许有空格，⽂件中不允许有空⾏。

MapReduce集群配置

1.指定MapReduce使⽤的jdk路径（修改mapred-env.sh）
vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/mapred-env.sh

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

2. 指定MapReduce计算框架运⾏Yarn资源调度框架(修改mapred-site.xml)
2.1 mv mapred-site.xml.template mapred-site.xml
vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml



mapreduce.framework.name
yarn


2.2 mapred-site.xml默认配置

https://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoop mapreduce-client-core/mapred-default.xml

Yarn集群配置

1.指定JDK路径
vim /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/yarn-env.sh

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

2.指定ResourceMnager的master节点信息(修改yarn-site.xml)



yarn.resourcemanager.hostname
linux123



yarn.nodemanager.aux-services
mapreduce_shuffle


2.1 yarn-site.xml的默认配置
https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn default.xml

3. 指定NodeManager节点（slaves⽂件已修改）

** 注意

Hadoop安装⽬录所属⽤户和所属⽤户组信息，默认是501 dialout，⽽我们操作Hadoop集群的⽤户使
⽤的是虚拟机的root⽤户，
所以为了避免出现信息混乱，修改Hadoop安装⽬录所属⽤户和⽤户组！！

chown -R root:root /opt/lagou/servers/hadoop-2.9.2

3.2 分发配置

编写集群分发脚本rsync-script

  • rsync 远程同步⼯具

rsync主要⽤于备份和镜像。具有速度快、避免复制相同内容和⽀持符号链接的优点。

rsync和scp区别：⽤rsync做⽂件的复制要⽐scp的速度快，rsync只对差异⽂件做更新。scp是把所有⽂ 件都复制过去。

3.2.1. 基本语法

rsync -rvl $pdir/$fname $user@$host:$pdir/$fname

3.2.2. 三台虚拟机安装rsync (执⾏安装需要保证机器联⽹)

yum install -y rsync

3.2.3. 把linux121机器上的/opt/lagou/software⽬录同步到linux122服务器的root⽤户下的/opt/⽬录

rsync -rvl /opt/lagou/software/ root@linux122:/opt/lagou/software

3.2.4 分发脚本

#!/bin/bash

#1 获取命令输⼊参数的个数，如果个数为0，直接退出命令
paramnum= $#
if ((paramnum == 0 )) ;  then
echo  no params;
exit ;
fi
#2 根据传⼊参数获取⽂件名称
p1= $1
file_name= `basename  $p1 `
echo  fname= $file_name
#3 获取输⼊参数的绝对路径
pdir= `cd -P $(dirname  $p1 ) ;  pwd`
echo  pdir= $pdir
#4 获取⽤户名称
user= `whoami`
#5 循环执⾏rsync
for ((host = 101 ; host < 104 ; host ++ )) ;  do
echo  ------------------- linux $host  --------------
rsync -rvl  $pdir / $file_name   $user @hadoop $host : $pdir
done

3.2.5 修改脚本 rsync-script 具有执⾏权限

[root@linux121 bin]$ chmod 777 rsync-script

3.2.6 调⽤脚本形式：rsync-script ⽂件名称

[root@linux121 bin]$ rsync-script /home/root/bin

3.2.7 调⽤脚本分发Hadoop安装⽬录到其它节点

[root@linux121 bin]$ rsync-script /opt/lagou/servers/hadoop-2.9.2

第 4 节 启动集群

** 注意：如果集群是第⼀次启动，需要在Namenode所在节点格式化NameNode，⾮第⼀次不⽤执⾏格 式化Namenode操作！！

4.1 单节点启动

[root@linux121 hadoop-2.9.2]$ hadoop namenode -format

格式化命令执行效果 如何搭建hadoop

1.在linux121上启动NameNode
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start namenode
[root@linux121 hadoop-2.9.2]$ jps
2. 在linux121、linux122以及linux123上分别启动DataNode
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux121 hadoop-2.9.2]$ jps
3461 NameNode
3608 Jps
3561 DataNode
[root@linux122 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux122 hadoop-2.9.2]$ jps
3190 DataNode
3279 Jps
[root@linux123 hadoop-2.9.2]$ hadoop-daemon.sh start datanode
[root@linux123 hadoop-2.9.2]$ jps
3237 Jps
3163 DataNode
3. web端查看Hdfs界⾯
http://linux121:50070/dfshealth.html#tab-overview

如何搭建hadoop

4. Yarn集群单节点启动
[root@linux123 servers]# yarn-daemon.sh start resourcemanager
[root@linux123 servers]# jps
7881 ResourceManager
8094 Jps
[root@linux122 servers]# yarn-daemon.sh start nodemanager
[root@linux122 servers]# jps
8166 NodeManager
8223 Jps
[root@linux121 servers]# yarn-daemon.sh start nodemanager
[root@linux121 servers]# jps
8166 NodeManager
8223 Jps

4.2 集群群起

    1. 如果已经单节点⽅式启动了Hadoop,可以先停⽌之前的启动的Namenode与Datanode进程,如果 之前Namenode没有执⾏格式化，这⾥需要执⾏格式化!!!!

hadoop namenode -format
2. 启动HDFS
[root@linux121 hadoop-2.9.2]$ sbin/start-dfs.sh
[root@linux121 hadoop-2.9.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode

[root@linux122 hadoop-2.9.2]$ jps
3218 DataNode
3288 Jps
[root@linux123 hadoop-2.9.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
3. 启动YARN
[root@linux122 hadoop-2.9.2]$ sbin/start-yarn.sh

  • 注意：NameNode和ResourceManger不是在同⼀台机器，不能在NameNode上启动 YARN，应该 在ResouceManager所在的机器上启动YARN。

4.3 Hadoop集群启动停⽌命令汇总

1. 各个服务组件逐⼀启动/停⽌

(1)分别启动/停⽌HDFS组件

hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode

(2) 启动/停⽌YARN

yarn-daemon.sh start / stop resourcemanager / nodemanager
2. 各个模块分开启动/停⽌（配置ssh是前提）常⽤

(1) 整体启动/停⽌HDFS

start-dfs.sh / stop-dfs.sh

(2) 整体启动/停⽌YARN

start-yarn.sh / stop-yarn.sh

“如何搭建hadoop”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站，小编将为大家输出更多高质量的实用文章！


文章名称：如何搭建hadoop
转载注明：http://cdkjz.cn/article/gpggds.html
返回首页 了解更多建站资讯

相关资讯

多年建站经验

多一份参考，总有益处

联系快上网，免费获得专属《策划方案》及报价

咨询相关问题或预约面谈，可以通过以下方式与我们联系

大客户专线   成都：13518219792   座机：028-86922220

在线咨询 提交需求
友情链接 交换友情链接
橡塑保温管成都电商解决方案h5响应式网站温江电信机房成都网站建设时嘉做网站成都商城网站建设IDC机房托管德阳网站建设广安网站建设

成都网站建设公司地址：成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220

成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.

专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网！ | 成都网站建设哪家好？ | 网站建设地图