mac或linux下安装hadoop-2.8流程-创新互联

mac上安装hadoop

1,mac下的java

ll /usr/bin |grep'java'

默认:

/System/Library/Frameworks/JavaVM.framework/Versions/Current/Commands/java

具体的安装路径:

/Library/Java/JavaVirtualMachines/下面，

JAVA_HOME是/Library/Java/JavaVirtualMachines/jdk1.7.0_75/Contents/Home。

2,mac下的ssh

首先测试ssh localhost，

若不成功,看是否启动允许remotelogin,再尝试如果失败则继续下面的

ssh-keygen -t dsa-P '' -f ~/.ssh/id_dsa

ssh-keygen表示生成秘钥；

-t表示秘钥类型；-P用于提供密语；-f指定生成的秘钥文件。

这个命令在”~/.ssh/“文件夹下创建两个文件id_dsa和id_dsa.pub，是ssh的一对儿私钥和公钥。

接下来，将公钥追加到授权的key中去，输入：

cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

再次尝试

ssh localhost

若无法打开,解决方法如下：

进入Mac的系统偏好设置 –> 共享–> 勾选remote login，并设置allow access for all users。

3,下载镜像,mirror,选择某一个tar.gz

http://mirror.bit.edu.cn/apache/hadoop/common/

4,设置环境变量

vi ~/.bash_profile 或者/etc/profile中

exportJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75/Contents/Home

exportJRE_HOME=$JAVA_HOME/jre

exportHADOOP_HOME=/Users/xiaolong.zhao/ittools/hadoop

#是防止出现：Warning:$HADOOP_HOME is deprecated的警告错误。

exportHADOOP_HOME_WARN_SUPPRESS=1

exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin: $ HADOOP_HOME /sbin:$HADOOP_HOME/bin:$PATH

注意:linux与mac的安装，唯一区别就是mac下会有默认的jdk路径的,以及ssh配置的

5,配置hadoop-env.sh

在/Users/xiaolong.zhao/ittools/hadoop/etc/hadoop目录下，找到hadoop-env.sh，打开编辑进行如下设置：

export  JAVA_HOME=${JAVA_HOME}（去掉注释）

export  HADOOP_HEAPSIZE=2000（去掉注释）

export  HADOOP_OPTS=”-Djava.security.krb5.realm=OX.AC.UK-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk”（去掉注释）

6, 4个核心文件配置

6.1.配置core-site.xml——(defaultFS)指定了NameNode的主机名与端口

  

     
      
       fs.defaultFS 
       hdfs://localhost:8000  
      
 
     
      
       hadoop.tmp.dir 
       /Users/time/Documents/hadoop-2.7.3/tmp  
        A base for othertemporary directories. 
     

6.2. 配置hdfs-site.xml——指定了HDFS的默认参数副本数

 
  
  
     
        
          dfs.replication
           1
        
 
        
        
            dfs.namenode.name.dir
            file:/home/hdfs/name
        
 
        
        
            dfs.namenode.http-address
             localhost:57000
        
 
        
          dfs.datanode.data.dir
          file:/home/hdfs/data
        
 

注意这里的file

如果配置为: file:/path/a/c,则具体的路径就是: /path/a/c

如果配置为:file://path/a/c,则具体的路径就是: /a/c

6.3 mapred-site.xml配置

    
        mapreduce.framework.name  
        yarn  
    

6.4 Yarn-site.xml 配置

 
  
 
   
  
   
  yarn.resourcemanager.address
  localhost:18040 
   
 
  
   
  yarn.resourcemanager.scheduler.address
  localhost:18030 
   
 
  
   
  yarn.resourcemanager.resource-tracker.address
   localhost:18025 
   
 
  
   
  yarn.resourcemanager.webapp.address
  localhost:18088 
   
 
   
   
  yarn.nodemanager.aux-services
  mapreduce_shuffle 
   
 

7, 格式化namenode

hdfs namenode-format

8, 启动hadoop

8.1sbin/start-all.sh

8.2 web测试

8.2.1 namenode-web

http://localhost:50070

8.2.2resourcemanager-web

http://localhost:18088

8.2.3 nodemanager-web

http://localhost:8042

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。