部署Hadoop高性能集群

建站服务器

服务器概述

1）Hadoop是什么

Hadoop包括两大核心，分布式存储系统和分布式计算系统。

2）分布式存储

为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些数据吗？事实上，确实装不下。比如，很多的电信通话记彔就存储在很多台服务器的很多硬盘中。那么，要处理这么多数据，必须从一台一台服务器分别读取数据和写入数据，太麻烦了！ 我们希望有一种文件系统，可以管辖很多服务器用于存储数据。通过这个文件系统存储数据时，感觉不到是存储到不同的服务器上的。当读取数据时，感觉不到是从不同的服务器上读取。

3）如图：这就是分布式文件系统。

分布式文件系统管理的是一个服务器集群。在这个集群中，数据存储在集群的节点（即集群中的服务器）中，但是该文件系统把服务器的差异屏蔽了。那么，我们就可以像使用普通的文件系统一样使用，但是数据却分散在不同的服务器中。

4）命名空间（namespace）：

5）主从节点：

用户操作时，也应该先和主节点打交道，查询数据在哪些从节点上存储，然后再从从节点读取。在主节点，为了加快用户访问的速度，会把整个命名空间信息都放在内存中，当存储的文件越多时，那么主节点就需要越多的内存空间。

（1）block：在从节点存储数据时，有的原始数据文件可能很大，有的可能很小，大小不一的文件不容易管理，那么可以抽象出一个独立的存储文件单位，称为块（block）。

（2）容灾：数据存放在集群中，可能因为网络原因或者服务器硬件原因造成访问失败，最好采用副本（replication）机制，把数据同时备份到多台服务器中，这样数据就安全了，数据丢失或者访问失败的概率就小了。

（3）工作流程图：

6）总结：

在以上的主从式结构中，由于主节点含有整个文件系统的目彔结构信息，因为非常重要。另外，由于主节点运行时会把命名空间信息都放到内存中，因此存储的文件越多，主节点的内存就需要的越多。

在hadoop中，分布式存储系统称为HDFS（hadoop distributed file system）。其中，主节点称为名字节点（namenode），从节点称为数据节点（datanode）。

7）分布式计算：

对数据进行处理时，我们会把数据读取到内存中进行处理。如果我们对海量数据进行处理，比如数据大小是100GB，我们要统计文件中一共有多少个单词。要想把数据都加载到内存中几乎是不可能的，称为移动数据。

那么是否可以把程序代码放到存放数据的服务器上哪？因为程序代码与原始数据相比，一般很小，几乎可以忽略的，所以省下了原始数据传输的时间了。现在，数据是存放在分布式文件系统中，100GB的数据可能存放在很多的服务器上，那么就可以把程序代码分发到这些服务器上，在这些服务器上同时执行，也就是并行计算，也是分布式计算。这就大大缩短了程序的执行时间。我们把程序代码移动到数据节点的机器上执行的计算方式称为移动计算。

在分布式计算过程中有以下角色：

主节点称为作业节点（jobtracker），

从节点称为任务节点（tasktracker）。

在任务节点中，运行第一阶段的代码称为map任务（map task），运行第二阶段的代码称为reduce任务（reduce task）。task ： 任务 ， tracker ，跟踪器

8）关于hadoop的名词解释

（1）Hadoop：Apache开源的分布式框架。

（2）HDFS：Hadoop的分布式文件系统。

（3）NameNode：Hadoop HDFS元数据主节点服务器，负责保存DataNode 文件存储元数据信息，这个服务器是单点的。

（4）JobTracker：Hadoop的Map/Reduce调度器，负责与TaskTracker通信分配计算任务并跟踪任务进度，这个服务器也是单点的。

（5）DataNode：Hadoop数据节点，负责存储数据。

（6）TaskTracker：Hadoop调度程序，负责Map,Reduce任务的启动和执行。

注：Namenode记录着每个文件中各个块所在的数据节点的位置信息

一：实验拓扑

二：实验目标

实站：搭建Hadoop集群：

三：实验环境

xuegod63.cn 192.168.1.63NameNode

xuegod64.cn 192.168.1.64 DataNode1

xuegod62.cn 192.168.1.62DataNode2

四：实验代码

1：基本环境配置如下

1）三台机器上配置hosts文件，如下：

[root@xuegod63 ~]# vim /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.63 xuegod63.cn

192.168.1.64 xuegod64.cn

192.168.1.62 xuegod62.cn

复制hosts到其它两机器：

[root@xuegod63 ~]# scp /etc/hosts root@192.168.1.64:/etc/

[root@xuegod63 ~]# scp /etc/hosts root@192.168.1.62:/etc/

注意：在/etc/hosts中，不要把机器名字，同时对应到127.0.0.1这个地址，否则会导致数据节点连接不上

namenode，报错如下：

org.apache.hadoop.ipc.Client: Retrying connect to server: master/192.168.1.10:9000

2）无秘钥登录

配置在xuegod63上，可以ssh无密码登录机器xuegod63，xuegod64，xuegod62 ，方便后期复制文件和启动服务。因为namenode启动时，会连接到datanode上启动对应的服务。

（1）生成公钥和私钥

[root@xuegod63 ~]# ssh-keygen

（2）导入公钥到其他datanode节点认证文件

[root@xuegod63 ~]# ssh-copy-id root@192.168.1.62

[root@xuegod63 ~]# ssh-copy-id root@192.168.1.64

2：三台机器上都要配置安装Java环境JDK：

1）安装及配置Java运行环境—jdk。升级了jdk的版本

[root@xuegod63 ~]# rpm -ivh jdk-7u71-linux-x64.rpm

[root@xuegod63 ~]#rpm -pql /root/jdk-7u71-linux-x64.rpm#通过查看jdk的信息可以知道jdk的安装目录在/usr/java

[root@xuegod63 ~]#vim/etc/profile#在文件的最后添加以下内容：

export JAVA_HOME=/usr/java/jdk1.7.0_71

export JAVA_BIN=/usr/java/jdk1.7.0_71/bin

export PATH=${JAVA_HOME}/bin:$PATH

export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar

2）使配置文件生效

[root@xuegod63 ~]#source /etc/profile

3）验证java运行环境是否安装成功：

[root@xuegod63 ~]# java -version

java version 1.7.0_71

Java(TM) SE Runtime Environment (build 1.7.0_71-b14)

Java HotSpot(TM) 64-Bit Server VM (build 24.71-b01, mixed mode)

如果出现安装的对应版本，说明java运行环境已经安装成功。

注：这里只是升级了jdk的版本，因为在我安装的系统中已经安装了jdk。

4）将jdk部署到其它两台机器上：

[root@xuegod63 ~]# scp jdk-7u71-linux-x64.rpm root@192.168.1.62:/root

[root@xuegod63 ~]# scp jdk-7u71-linux-x64.rpm root@192.168.1.64:/root

[root@xuegod63 ~]# scp /etc/profile 192.168.1.62:/etc/profile

[root@xuegod63 ~]# scp /etc/profile 192.168.1.64:/etc/profile

5）安装：

[root@xuegod64 ~]# rpm -ivh jdk-7u71-linux-x64.rpm

[root@xuegod62~]# rpm -ivh jdk-7u71-linux-x64.rpm

6）重新加载java运行环境：

[root@xuegod64 ~]# source /etc/profile

[root@xuegod62~]# source /etc/profile

7）测试：

[root@xuegod64~]# java -version

java version 1.7.0_71

Java(TM) SE Runtime Environment (build 1.7.0_71-b14)

Java HotSpot(TM) 64-Bit Server VM (build 24.71-b01, mixed mode)

[root@xuegod62 ~]# java -version

java version 1.7.0_71

Java(TM) SE Runtime Environment (build 1.7.0_71-b14)

Java HotSpot(TM) 64-Bit Server VM (build 24.71-b01, mixed mode)

3：创建运行hadoop用户账号和Hadoop目录。

[root@xuegod63 ~]# useradd -u 8000hadoop#为了保障，在其它服务器上创建的hadoop用户ID保持一致，创建时，尽量把UID调大

[root@xuegod63 ~]# echo 123456| passwd --stdin hadoop

[root@xuegod64~]# useradd -u 8000hadoop

[root@xuegod64~]# echo 123456| passwd --stdin hadoop

[root@xuegod62~]# useradd -u 8000hadoop

[root@xuegod62~]# echo 123456| passwd --stdin hadoop

注：创建用户hadoop时，不能使用参数-s /sbin/nologin ,因为稍后我们要su -hadoop 切换用户

4：在xuegod63安装Hadoop并配置成namenode主节点

Hadoop安装目录：/home/hadoop/hadoop-2.2.0使用root帐号将hadoop-2.2.0.tar.gz上传到服务器

1）创建hadoop相关的工作目录:

[root@xuegod63 ~]# cp hadoop-2.2.0.tar.gz /home/hadoop/

[root@xuegod63 ~]# chown -R hadoop:hadoop /home/hadoop/hadoop-2.2.0.tar.gz

[root@xuegod63 ~]# su - hadoop

[hadoop@xuegod63~]$ mkdir -p /home/hadoop/dfs/name /home/hadoop/dfs/data /home/hadoop/tmp

[hadoop@xuegod63 ~]$ tar zxvf hadoop-2.2.0.tar.gz

[hadoop@xuegod63 ~]$ ls

dfs hadoop-2.2.0 hadoop-2.2.0.tar.gz tmp

2）配置Hadoop：需要修改7个配置文件。

文件位置：/home/hadoop/hadoop-2.2.0/etc/hadoop/

文件名称：hadoop-env.sh、yarn-evn.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

（1）配置文件hadoop-env.sh，指定hadoop的java运行环境

该文件是hadoop运行基本环境的配置，需要修改的为java虚拟机的位置。

[hadoop@xuegod63hadoop-2.2.0]$ vim /home/hadoop/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

改：27 export JAVA_HOME=${JAVA_HOME}

为：export JAVA_HOME=/usr/java/jdk1.7.0_71

注：指定java运行环境变量，注意Java版本要对应

（2）配置文件yarn-env.sh，指定yarn框架的java运行环境

该文件是yarn框架运行环境的配置，同样需要修改java虚拟机的位置。

yarn ：Hadoop 的新MapReduce 框架Yarn是Hadoop 自0.23.0 版本后新的map-reduce 框架（Yarn) 原理。

[hadoop@xuegod63 hadoop-2.2.0]$ vim /home/hadoop/hadoop-2.2.0/etc/hadoop/yarn-env.sh

改：26 JAVA_HOME=$JAVA_HOME

为：26 JAVA_HOME=/usr/java/jdk1.7.0_71

（3）配置文件slaves，指定datanode 数据存储服务器

将所有DataNode的机器名字写入此文件中，每个主机名一行，配置如下：

[hadoop@xuegod63 hadoop-2.2.0]$ vim /home/hadoop/hadoop-2.2.0/etc/hadoop/slaves

改：localhost

为：

xuegod64.cn

xuegod62.cn

（4）配置文件core-site.xml，指定访问hadoop web界面访问路径

这个是hadoop的核心配置文件，这里需要配置的就这两个属性，fs.default.name配置了hadoop的HDFS系统的命名，位置为主机的9000端口；hadoop.tmp.dir配置了hadoop的tmp目录的根位置。这里使用了一个文件系统中没有的位置，所以要先用mkdir命令新建一下。

[hadoop@xuegod63 hadoop-2.2.0]$ vim /home/hadoop/hadoop-2.2.0/etc/hadoop/core-site.xml

改：

19

20

注：在和中间插入以一下红色和蓝色标记内容：

为：

注：property 财产

（5）配置文件hdfs-site.xml

这个是hdfs的配置文件，dfs.http.address配置了hdfs的http的访问位置；

dfs.replication配置了文件块的副本数，一般不大于从机的个数。

[root@xuegod63 ~]# vim /home/hadoop/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

改：19

20

21

注：在和中间插入以一下红色和蓝色标记内容：

为：

注：

dfs.namenode.secondary.http-address

xuegod63.cn:9001# 通过web界面来查看HDFS状态

dfs.replication

2#每个Block有2个备份。

（6）配置文件mapred-site.xml，

这个是mapreduce任务的配置，由于hadoop2.x使用了yarn框架，所以要实现分布式部署，必须在mapreduce.framework.name属性下配置为yarn。mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数，同时指定：Hadoop的历史服务器historyserver

Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器

$ sbin/mr-jobhistory-daemon.shstart historyserver

这样我们就可以在相应机器的19888端口上打开历史服务器的WEB UI界面。可以查看已经运行完的作业情况，生成mapred-site.xml。

[hadoop@xuegod63 hadoop-2.2.0]$ cp/home/hadoop/hadoop-2.2.0/etc/hadoop/mapred-site.xml.template /home/hadoop/hadoop-2.2.0/etc/hadoop/mapred-site.xml

[hadoop@xuegod63hadoop-2.2.0]$ vim /home/hadoop/hadoop-2.2.0/etc/hadoop/mapred-site.xml

改：19

20

21

注：在和中间插入以一下红色和蓝色标记内容：

为：

（7）配置节点yarn-site.xml

该文件为yarn框架的配置,主要是一些任务的启动位置

[hadoop@xuegod63 hadoop-2.2.0]$ vim /home/hadoop/hadoop-2.2.0/etc/hadoop/yarn-site.xml

# 修改configuration内容如下：

改：

注：在和中间插入以一下红色和蓝色标记内容：

为：

（8）复制到其他datanode节点：xuegod64和xuegod62

[hadoop@xuegod63 hadoop-2.2.0]$ scp -r /home/hadoop/hadoop-2.2.0 hadoop@xuegod62.cn:~/

[hadoop@xuegod63 hadoop-2.2.0]$ scp -r /home/hadoop/hadoop-2.2.0 hadoop@xuegod64.cn:~/

5：格式化

1）在xuegod63上启动Hadoop切换到hadoop用户

hadoop namenode的初始化,只需要第一次的时候初始化，之后就不需要了

[hadoop@xuegod63 hadoop-2.2.0]$ /home/hadoop/hadoop-2.2.0/bin/hdfs namenode -format

15/08/03 22:35:21 INFO common.Storage: Storage directory /home/hadoop/dfs/name has been successfully formatted.

。。。

15/08/03 22:35:21 INFO util.ExitUtil: Exiting with status 0

15/08/03 22:35:21 INFO namenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at xuegod63.cn/192.168.1.63

************************************************************/

[root@xuegod63 hadoop-2.2.0]# echo $?

0

2）查看格式化后，生成的文件：

[root@xuegod63 hadoop]# rpm -ivh /mnt/Packages/tree-1.5.3-2.el6.x86_64.rpm

[hadoop@xuegod63 ~]$ tree /home/hadoop/dfs/

/home/hadoop/dfs/

├──data

└──name

└──current

├──fsp_w_picpath_0000000000000000000

├──fsp_w_picpath_0000000000000000000.md5

├──seen_txid

└──VERSION

生成基于hadoop用户的不输入密码登录：因为后期使用hadoop用户启动datanode节点使用需要直接登录到对应的服务器上启动datanode相关服务。

3）无秘钥登录

[hadoop@xuegod63 hadoop-2.2.0]$ ssh-keygen

[hadoop@xuegod63 hadoop-2.2.0]$ ssh-copy-id 192.168.1.64

[hadoop@xuegod63 hadoop-2.2.0]$ ssh-copy-id 192.168.1.62

[hadoop@xuegod63 hadoop-2.2.0]$ ssh-copy-id 192.168.1.63

6、启动hdfs: ./sbin/start-dfs.sh，即启动HDFS分布式存储

1）启动start-dfs.sh

[root@xuegod63 hadoop-2.2.0]# /home/hadoop/hadoop-2.2.0/sbin/start-dfs.sh

Starting namenodes on [xuegod63.cn]

xuegod63.cn: starting namenode,logging to /home/hadoop/hadoop-2.2.0/logs/hadoop-root-namenode-xuegod63.cn.out

xuegod64.cn: starting datanode,logging to /home/hadoop/hadoop-2.2.0/logs/hadoop-root-datanode-xuegod64.cn.out

xuegod62.cn: starting datanode,logging to /home/hadoop/hadoop-2.2.0/logs/hadoop-root-datanode-xuegod62.cn.out

Starting secondary namenodes [xuegod63.cn]

xuegod63.cn: starting secondarynamenode, logging to /home/hadoop/hadoop-2.2.0/logs/hadoop-root-secondarynamenode-xuegod63.cn.out

2）注：如果报错，如：

xuegod64.cn: Host key verification failed.

解决：

[hadoop@xuegod63 ~]$ ssh 192.168.1.64#确认可以不输入密码直接连接上xuegod64

关闭后再重启：

[root@xuegod63 hadoop-2.2.0]# /home/hadoop/hadoop-2.2.0/sbin/stop-dfs.sh

[root@xuegod63 hadoop-2.2.0]# /home/hadoop/hadoop-2.2.0/sbin/start-dfs.sh

3）查看进程，

（1）此时master有进程：namenode和secondarynamenode进程：

[root@xuegod63 ~]# ps -axu | grep namenode --color

Warning: bad syntax, perhaps a bogus \'-\'? See /usr/share/doc/procps-3.2.8/FAQ

root 8214 4.1 9.5 1882176 110804 ? Sl 17:39 0:17 /usr/java/jdk1.7.0_71/bin/java -Dproc_namenode-Xmx1000m

。。。

-Dhadoop.log.dir=/home/hadoop/hadoop-2.2.0/logs -Dhadoop.log.file=hadoop-root-secondarynamenode-xuegod63.cn.log

（2）xuegod64和xuegod62上有进程：DataNode

[root@xuegod64 ~]# ps -axu | grep datanode --color

Warning: bad syntax, perhaps a bogus \'-\'? See /usr/share/doc/procps-3.2.8/FAQ

root 5749 8.8 5.2 1851956 60656 ? Sl 17:55 0:06 /usr/java/jdk1.7.0_71/bin/java -Dproc_datanode-Xmx1000m

。。。

7、在xuegod63上启动yarn: ./sbin/start-yarn.sh即，启动分布式计算

1）启动start-yarn.sh

[root@xuegod63 hadoop-2.2.0]# /home/hadoop/hadoop-2.2.0/sbin/start-yarn.sh

starting yarn daemons

starting resourcemanager,logging to /home/hadoop/hadoop-2.2.0/logs/yarn-root-resourcemanager-xuegod63.cn.out学

xuegod62.cn: starting nodemanager,logging to /home/hadoop/hadoop-2.2.0/logs/yarn-root-nodemanager-xuegod62.cn.out

xuegod64.cn: starting nodemanager,logging to /home/hadoop/hadoop-2.2.0/logs/yarn-root-nodemanager-xuegod64.cn.out

2）查看进程：

查看xuegod63上的ResourceManager进程，xuegod62和xuegod64上的进程：DataNode NodeManager

[root@xuegod63 ~]# ps -axu | grep resourcemanager --color

Warning: bad syntax, perhaps a bogus \'-\'? See /usr/share/doc/procps-3.2.8/FAQ

root 9664 0.2 11.0 2044624 128724 pts/3 Sl 17:58 0:27 /usr/java/jdk1.7.0_71/bin/java -Dproc_resourcemanager-Xmx1000m

.............

[root@xuegod62~]# ps -axu | grep nodemanager --color

Warning: bad syntax, perhaps a bogus \'-\'? See /usr/share/doc/procps-3.2.8/FAQ

hadoop 5486 31.8 7.8 1913012 91692 ? Sl 23:01 0:20 /usr/java/jdk1.7.0_71/bin/java -Dproc_nodemanager-Xmx1000m -Dhadoop.log.dir=/home/hadoop/hadoop-2.2.0/logs

..........

[root@xuegod64 ~]# ps -axu | grep nodemanager --color

Warning: bad syntax, perhaps a bogus \'-\'? See /usr/share/doc/procps-3.2.8/FAQ

hadoop 2872 20.8 7.9 1913144 92860 ? Sl 21:42 0:15 /usr/java/jdk1.7.0_71/bin/java -Dproc_nodemanager-Xmx1000m

.........

3）注：start-dfs.sh和start-yarn.sh这两个脚本可用start-all.sh代替。

[hadoop@xuegod63 ~]$ /home/hadoop/hadoop-2.2.0/sbin/start-all.sh

关闭：

[hadoop@xuegod63 ~]$ /home/hadoop/hadoop-2.2.0/sbin/stop-all.sh

8、启动：jobhistory服务，查看mapreduce运行状态

[root@xuegod63 hadoop-2.2.0]# /home/hadoop/hadoop-2.2.0/sbin/mr-jobhistory-daemon.sh start historyserver

starting historyserver, logging to /home/hadoop/hadoop-2.2.0/logs/mapred-root-historyserver-xuegod63.cn.out

9、查看HDFS分布式文件系统状态：

1）启动hdfs dfsadmin -report

[hadoop@xuegod63 hadoop-2.2.0]$ /home/hadoop/hadoop-2.2.0/bin/hdfs dfsadmin -report

Datanodes available: 1(1 total, 0 dead)

Live datanodes:

Name:192.168.1.62:50010 (xuegod62.cn)

Hostname: xuegod62.cn

Decommission Status : Normal

Configured Capacity: 10320982016 (9.61 GB)

DFS Used: 24576 (24 KB)

Non DFS Used: 4737789952 (4.41 GB)

DFS Remaining: 5583167488 (5.20 GB)

DFS Used%: 0.00%

DFS Remaining%: 54.10%

Last contact: Sun May 31 21:58:00 CST 2015

Name: 192.168.1.64:50010 (xuegod64.cn)

Hostname:xuegod64.cn

Decommission Status : Normal

Configured Capacity: 10320982016 (9.61 GB)

DFS Used: 24576 (24 KB)

Non DFS Used: 5014945792 (4.67 GB)

DFS Remaining: 5306011648 (4.94 GB)

DFS Used%: 0.00%

DFS Remaining%: 51.41%

Last contact: Mon Aug 03 23:00:03 CST 2015

10：查看文件块组成：一个文件由哪些块组成

hadoop@xuegod63 ~]$ /home/hadoop/hadoop-2.2.0/bin/hdfs fsck / -files -blocks

Connecting to namenode via http://xuegod63.cn:50070

FSCK started by hadoop (auth:SIMPLE) from /192.168.1.63 for path / at Tue May 09 15:03:23 CST 2017

/