大数据之一：Hadoop安装-创新互联

一、安装Hadoop

1.先解压hadoop到相关的文件夹中

创新互联建站是一家集网站建设,遂宁企业网站建设,遂宁品牌网站建设,网站定制,遂宁网站建设报价,网络营销,网络优化,遂宁网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

2.进入到解压好的文件夹以后，对相关文件进行修改

3.配置hadoop-env.sh

vi hadoop-env.sh:
export= JAVA_HOME=/opt/inst/jdk181

4.配置core-site.xml

vi core-site.xml

 
                fs.defaultFS
                hdfs://bigdata:9000
        
        
                hadoop.tmp.dir
                /opt/hadoopdata
        
        
                hadoop.proxyuser.root.users
                *
        
        
                hadoop.proxyuser.root.groups
                *
        

5.配置hdfs-site.xml

vi hdfs-site.xml

 
                dfs.replication
                1
        

6.配置cp mapred-site.xml.template mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

7.vi mapred-site.xml

 
                mapreduce.framework.name
                yarn
        

8.vi yarn-site.xml

vi

9.vi /etc/profile

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

10.更新并格式化

source  /etc/profile
hdfs namenode -format

11.启动

start-all.sh

jps
#查看进程

12.把linux导入到hadoop中

hdfs dfs -put /opt/a.txt  /cm/
hdfs dfs -ls /cm

Hadoop理解

三大核心

1.HDFS: Hadoop Distribute File System 分布式文件系统

​ NameNode:主节点，目录

​ DataNode：从节点，数据

​ SecondaryNameNode：主节点的备份

2.YARN：Yet Another Resource Negotiator 资源管理调度系统

​ 调度的是内存的资源和CPU的算力

​ 通过ResourceManager（只有一个） 来调度

​ ResourceManager主要作用：

​ 1.处理客户端请求

​ 2.监控NodeManager

​ 3.启动或监控ApplicationMaster（）

​ 4.资源的分配或调度

​ NodeManager（多个）

​ NodeManager主要作用：

​ 1.管理单个节点上的资源

​ 2.处理来自ResourceManager的命令

​ 3.处理来自ApplicationMaster的命令

3.MapReduce：分布式运算框架

​ 运算的

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

分享名称：大数据之一：Hadoop安装-创新互联
分享网址：http://cdkjz.cn/article/dcphpp.html