资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

hdfs中site.xml的示例分析

这篇文章主要为大家展示了“hdfs中site.xml的示例分析”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“hdfs中site.xml的示例分析”这篇文章吧。

创新互联服务项目包括满城网站建设、满城网站制作、满城网页制作以及满城网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,满城网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到满城省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!

 name valueDescription 
dfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小,通常无需设置。
dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小,需要设置一些,主要是给非hdfs文件使用,默认是不保留,0字节
dfs.name.dir/opt/data1/hdfs/name,
           /opt/data2/hdfs/name,
           /nfs/data/hdfs/name
NN所使用的元数据保存,一般建议在nfs上保留一份,作为1.0的HA方案使用,也可以在一台服务器的多块硬盘上使用
dfs.web.uginobody,nobodyNN,JT等所使用的web tracker页面服务器所使用的用户和组
dfs.permissionstrue | falsedfs权限是否打开,我一般设置false,通过开发工具培训别人界面操作避免误操作,设置为true有时候会遇到数据因为权限访问不了。
dfs.permissions.supergroupsupergroup设置hdfs超级权限的组,默认是supergroup,启动hadoop所使用的用户通常是superuser。
dfs.data.dir/opt/data1/hdfs/data,
           /opt/data2/hdfs/data,
           /opt/data3/hdfs/data,
           ...
真正的datanode数据保存路径,可以写多块硬盘,逗号分隔
dfs.datanode.data.dir.perm755datanode所使用的本地文件夹的路径权限,默认755
dfs.replication3hdfs数据块的复制份数,默认3,理论上份数越多跑数速度越快,但是需要的存储空间也更多。有钱人可以调5或者6
dfs.replication.max512有时dn临时故障恢复后会导致数据超过默认备份数。复制份数的最多数,通常没什么用,不用写配置文件里。
dfs.replication.min1最小份数,作用同上。
dfs.block.size134217728每个文件块的大小,我们用128M,默认是64M。这个计算需要128*1024^2,我碰上过有人直接写128000000,十分浪漫。
dfs.df.interval60000磁盘用量统计自动刷新时间,单位是毫秒。
dfs.client.block.write.retries3数据块写入的最多重试次数,在此次数之前不会捕获失败。
dfs.heartbeat.interval3DN的心跳检测时间间隔。秒
dfs.namenode.handler.count10NN启动后展开的线程数。
dfs.balance.bandwidthPerSec1048576做balance时所使用的每秒最大带宽,使用字节作为单位,而不是bit
dfs.hosts/opt/hadoop/conf/hosts.allow一个主机名列表文件,这里的主机是允许连接NN的,必须写绝对路径,文件内容为空则认为全都可以。
dfs.hosts.exclude/opt/hadoop/conf/hosts.deny基本原理同上,只不过这里放的是禁止访问NN的主机名称列表。这在从集群中摘除DN会比较有用。
dfs.max.objects0dfs最大并发对象数,HDFS中的文件,目录块都会被认为是一个对象。0表示不限制
dfs.replication.interval3NN计算复制块的内部间隔时间,通常不需写入配置文件。默认就好
dfs.support.appendtrue | false新的hadoop支持了文件的APPEND操作,这个就是控制是否允许文件APPEND的,但是默认是false,理由是追加还有bug。
dfs.datanode.failed.volumes.tolerated0能够导致DN挂掉的坏硬盘最大数,默认0就是只要有1个硬盘坏了,DN就会shutdown。
dfs.secondary.http.address0.0.0.0:50090SNN的tracker页面监听地址和端口
dfs.datanode.address0.0.0.0:50010DN的服务监听端口,端口为0的话会随机监听端口,通过心跳通知NN
dfs.datanode.http.address0.0.0.0:50075DN的tracker页面监听地址和端口
dfs.datanode.ipc.address0.0.0.0:50020DN的IPC监听端口,写0的话监听在随机端口通过心跳传输给NN
dfs.datanode.handler.count3DN启动的服务线程数
dfs.http.address0.0.0.0:50070NN的tracker页面监听地址和端口
dfs.https.enabletrue | falseNN的tracker是否监听在HTTPS协议,默认false
dfs.datanode.https.address0.0.0.0:50475DN的HTTPS的tracker页面监听地址和端口
dfs.https.address0.0.0.0:50470NN的HTTPS的tracker页面监听地址和端口
dfs.datanode.max.xcievers2048相当于linux下的打开文件最大数量,文档中无此参数,当出现DataXceiver报错的时候,需要调大。默认256

以上是“hdfs中site.xml的示例分析”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


文章名称:hdfs中site.xml的示例分析
转载源于:http://cdkjz.cn/article/pjdhgi.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220