Hadoop
创新互联成立十余年来，这条路我们正越走越好，积累了技术与客户资源，形成了良好的口碑。为客户提供
网站建设、成都网站设计、网站策划、网页设计、
域名注册、网络营销、
VI设计、网站改版、漏洞修补等服务。
网站是否美观、功能强大、用户体验好、性价比高、打开快等等，这些对于网站建设都非常重要，创新互联通过对建站技术性的掌握、对创意设计的研究为客户提供一站式互联网解决方案，携手广大客户，共同发展进步。
hadoop-1.2.1.tar.gz jdk-6u32-linux-x64.bin
Useradd -u 900 hadoop
Mv jdk1.6.0_32 /home/hadoop
Mv hadoop-1.2.1.tar.gz/home/hadoop
Chown hadoop.hadoop /home/hadoop -R
Su -hadoop
Ln -s jdk1.6.0_32 java
Tar zxf hadoop-1.2.1.tar.gz hadoop-1.2.1
Ln -s hadoop-1.2.1 hadoop
更改环境变量：
Vim /hadoop/conf/hadoop-env.sh
Cd /hadoop
Mkdir input
Cp conf/*.xml input
Bin/hadoop jar hadoop-examples-1.2.1.jar grep input output ‘dfs[a-z.]+’
设置无密码登陆：
Ssh-keygen
Ssh-copy-id 172.25.60.1
保证 master 到所有的 slave 节点都实现无密码登录
Cd ~/hadoop/conf
Vim slaves ---->172.25.60.1
Vim masters---->172.25.60.1
Vim core-site.xml 在configuration中间添加以下内容
fs.default.name
hdfs://172.25.60.1:9000
Vim hdfs-site.xml 在configuration中间添加以下内容
dfs.replication
1
Vim mapred-site.xml 在configuration中间添加以下内容
mapred.job.tracker
172.25.60.1:9001
格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format
启动 Hadoop 守护进程:
$ bin/start-all.sh
在各个节点查看 hadoop 进程:
$ jps
Hadoop 守护进程的日志写入到 ${HADOOP_HOME}/logs 目录
浏览 NameNode 和 JobTracker 的网络接口,它们的地址默认为:
NameNode – http://172.25.60.1:50070/
JobTracker – http://172.25.60.1:50030/
将输入文件拷贝到分布式文件系统:
$ bin/hadoop fs -put conf input
运行发行版提供的示例程序:
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
查看输出文件:
将输出文件从分布式文件系统拷贝到本地文件系统查看:
$ bin/hadoop fs -get output output
$ cat output/*
或者
在分布式文件系统上查看输出文件:
$ bin/hadoop fs -cat output/*
完成全部操作后,停止守护进程:
$ bin/stop-all.sh
完全分布式（三个节点）server1 server2 server4：
在三个节点上安装 rpcbind nfs-utils 并打开rpcind nfs服务
Vim /etc/exports
/home/hadoop *(rw,all_squash,anonuid=900,anongid=900)
在slave2 4上添加用户 useradd -u 900 hadoop
mount 172.25.60.1:/home/hadoop/ /home/hadoop/
在1上分别进行ssh 连接 ssh 172.25.60.2ssh272.25.60.4
在master上：vim ~/hadoop/conf
Vim slaves
172.25.60.2
172.25.60.4
Vim hdfs-site.xml
1 ------> 2
(删除tmp------>格式化---->bin/start-dfs.sh----->bin/hadoop fs -put conf/ input----->bin/start-mapred.sh
bin/hadoop jar hadoop-examples-1.2.1.jar grep input output 'dfs[a-z.]+')
bin/hadoop dfsadmin-report：查看节点运行状态
bin/hadoop fs -ls :查看输出文件
添加一个节点文件：
在线添加节点：
添加用户 useradd -u 900 hadoop
mount 172.25.60.1:/home/hadoop/home/hadoop
su - hadoop
vim slaves加入该节点 ----->>172.25.60.5
bin/hadoop-daemon.sh start datanode
bin/hadoop-daemon.sh start tasktracker
在线删除节点：
先做数据迁移：
在server上：vim mapred-site.xml
dfs.hosts.exclude
/home/hadoop/hadoop/conf/hostexclude
Vim hadoop/hadoop/conf/hostexclude------->172.25.60.4
Bin/hadoop dfsadmin -refreshNodes ####刷新节点
回收站功能：
vimcore-site.xml添加以下:
fs.trash.interval
1440 1440=60*24
实验：bin/hadoop fs -rm input/hadoop-env.sh
bin/hadoop fs -ls input 查看是否删除
bin/hadoop fs -ls 此时新增目录 .Trash
bin/hadoop fs -ls .Trash/Current/user/hadoop/input
将此文件移回原目录即可恢复
bin/hadoop fs -mv .Trash/Current/user/hadoop/input/hadoop-env.sh input
优化:
更新hadoop至2.6版本
删除之前的链接，解压hadoop-2.6.4.tar.gz jdk-7u79-linux-x64.tar.gz到hadoop家目录，并更改权限为hadoop.hadoop进入hadoop用户，链接成hadoop和java，进入hadoop/etc/hadoop/
vim hadoop-env.sh export JAVA_HOME=/home/hadoop/java
cd /hadoop/etc/hadoop
vim core-site.xml
fs.defaultFS
hdfs://172.25.60.1:9000
vim hdfs-site.xml
dfs.replication
2
vim yarn-env.sh
# some Java parameters
export JAVA_HOME=/home/hadoop/java
cp mapred-site.xml.template mapred-site.xml
mapreduce.framework.name
yarn
vim yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
vim slaves
172.25.60.4
172.25.60.5
bin/hdfs namenode -format
sbin/start-dfs.sh
bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/hadoop
bin/hdfs dfs -put etc/hadoop input
sbin/start-yarn.sh
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+'
访问 172.25.60.1:50070 172.25.60.1:8088
##########替换lib下文件为64位(不更改的话启动时会有warn警告)
mv hadoop-native-64-2.6.0.tar /home/hadoop/hadoop/lib/native
tarxf hadoop-native-64-2.6.0.tar
###########指定节点目录
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
分享标题：学习笔记--hadoop-创新互联
转载注明：
http://cdkjz.cn/article/dpcoii.html
