资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

怎么快速搭建一个Hadoop伪分布式文件系统

这篇文章主要讲解了“怎么快速搭建一个Hadoop伪分布式文件系统”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“怎么快速搭建一个Hadoop伪分布式文件系统”吧!

坚守“ 做人真诚 · 做事靠谱 · 口碑至上 · 高效敬业 ”的价值观,专业网站建设服务10余年为成都成都假山制作小微创业公司专业提供成都定制网站营销网站建设商城网站建设手机网站建设小程序网站建设网站改版,从内容策划、视觉设计、底层架构、网页布局、功能开发迭代于一体的高端网站建设服务。

Step      
1. 安装必备软件,并配置好Java环境变量
  • openssh-server
  • openssh-client
  • rsync
  • openjdk-8-jre
  • curl
  • sudo
2. 下载解压hadoop 2.6.0           
3. 修改SSH配置         
  • 允许root登录:sed -i "28s/.*/PermitRootLogin yes/g" /etc/ssh/sshd_config(Dockerfile中)
  • 修改sshd的端口(容器net模式为host时,并且主机也运行sshd时会冲突)
  • 取消主机验证:sed -i "35s/.*/ StrictHostKeyChecking no/g" /etc/ssh/ssh_config(entrypoint.sh中)
  • ssh无密码登录到localhost
4. 下面就可以构建/运行镜像了
Usage    
1. quick start
docker run -d --net host --name hdfs dockerq/docker-hdfs   
浏览器浏览 localhost:50070查看HDFS的WebUI界面  
2. 挂载数据卷
容器中hdfs的datanode和namenode默认文件夹是/hdfsdata
docker run -d --name --net host -v host_data_path:/hdfsdata dockerq/docker-hdfs 
3. 修改sshd默认端口
docker run -d --net host -e SSH_PORT=2222 --name hdfs dockerq/docker-hdfs

感谢各位的阅读,以上就是“怎么快速搭建一个Hadoop伪分布式文件系统”的内容了,经过本文的学习后,相信大家对怎么快速搭建一个Hadoop伪分布式文件系统这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


网站标题:怎么快速搭建一个Hadoop伪分布式文件系统
网址分享:http://cdkjz.cn/article/gsecse.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220