资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

Hadoop的配置文件-创新互联

core-site.xml是全局配置;

十多年的温宿网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。成都营销网站建设的优势是能够根据用户设备显示端的尺寸不同,自动调整温宿建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。创新互联建站从事“温宿网站设计”,“温宿网站推广”以来,每个客户项目都认真落实执行。

hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置;

HDFS端口

参数描述默认配置文件例子值
fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/
dfs.http.address NameNode web管理端口50070 hdfs-site.xml 0.0.0.0:50070
dfs.datanode.addressdatanode 控制端口50010 hdfs-site.xml 0.0.0.0:50010
dfs.datanode.ipc.addressdatanode的RPC服务器地址和端口 50020hdfs-site.xml0.0.0.0:50020
dfs.datanode.http.addressdatanode的HTTP服务器和端口 50075hdfs-site.xml 0.0.0.0:50075

  
            

MR端口

参数描述默认 配置文件例子值
mapred.job.trackerjob tracker交互端口 8021mapred-site.xmlhdfs://master:8021/
mapred.job.tracker.http.addressjob tracker的web管理端口50030mapred-site.xml 0.0.0.0:50030
mapred.task.tracker.http.addresstask tracker的HTTP端口50060mapred-site.xml0.0.0.0:50060

         

其他端口

参数描述 默认 配置文件例子值
dfs.secondary.http.address secondary NameNode web管理端口 50090hdfs-site.xml0.0.0.0:28680

                                        

集群目录配置

参数描述 默认 配置文件例子值
dfs.name.dirname node的元数据,以,号隔开,hdfs会把元数据冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉

{hadoop.tmp.dir}

/dfs/name

hdfs-site.xm/hadoop/hdfs/name
dfs.name.edits.dir node node的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉 ${dfs.name.dir}hdfs-site.xm${dfs.name.dir}
 fs.checkpoint.dirsecondary NameNode的元数据以,号隔开,hdfs会把元数据冗余复制到这些目录,一般这些目录是不同的块设备,不存在的目录会被忽略掉

${hadoop.tmp.dir}

/dfs/namesecondary

core-site.xml/hadoop/hdfs/namesecondary
 fs.checkpoint.edits.dirsecondary NameNode的事务文件存储的目录,以,号隔开,hdfs会把事务文件冗余复制到这些目录${fs.checkpoint.dir}core-site.xml${fs.checkpoint.dir}
hadoop.tmp.dir临时目录,其他临时目录的父目录/tmp/hadoop-${user.name}core-site.xml/hadoop/tmp/hadoop-${user.name}
dfs.data.dirdata node的数据目录,以,号隔开,hdfs会把数据存在这些目录下,一般这些目录是不同的块设备,不存在的目录会被忽略掉

${hadoop.tmp.dir}

/dfs/data

hdfs-site.xm

/hadoop/hdfs/data1/data,

/hadoop/hdfs/data2/data

mapred.local.dirMapReduce产生的中间数据存放目录,以,号隔开,hdfs会把数据存在这些目录下,一般这些目录是不同的块设备,不存在的目录会被忽略掉

${hadoop.tmp.dir}

/mapred/local

mapred-site.xml

/hadoop/hdfs/data1/mapred/local,

/hadoop/hdfs/data2/mapred/local

mapred.system.dirMapReduce的控制文件

${hadoop.tmp.dir}

/mapred/system

mapred-site.xml/hadoop/hdfs/data1/system

其他配置

参数描述 默认 配置文件例子值
dfs.support.append 支持文件append,主要是支持hbase falsehdfs-site.xmltrue
dfs.replication 文件复制的副本数,如果创建时不指定这个参数,就使用这个默认值作为复制的副本数 3hdfs-site.xml2

分类: hadoop

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


分享文章:Hadoop的配置文件-创新互联
分享地址:http://cdkjz.cn/article/dsijsj.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220