本篇内容主要讲解“MapReduce的工作机制是什么”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“MapReduce的工作机制是什么”吧!
创新互联专注为客户提供全方位的互联网综合服务，包含不限于做网站、成都网站设计、马尾网络推广、成都微信小程序、马尾网络营销、马尾企业策划、马尾品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；创新互联为所有大学生创业者提供马尾建站搭建服务，24小时服务热线：18980820575，官方网址：www.cdcxhl.com
剖析MapReduce 作业运行机制
静态图：
动态图：
进度和状态的更新
失败
shuffle 和排序
MapReduce 确保每个reducer 的输入都是按键排序的。系统执行排序、将map输出作为输入传给reducer的过程称为shuffle.
map 端
map 函数开始产生输出时，并不是简单地将它写入到磁盘。这个过程更为复杂，它利用缓冲的方式写到内存并出于效率的考虑进行预排序。
每个map任务都有一个环形内存缓冲区用于存储任务存储任务输出。在默认情况下，缓冲区的大小为100Mb,这个值可以通过改变mapreduce.task.io.sort.mb性来调整。一但锾冲内容达到阈值(mapreduce.map.sort.spill.percent，默认为0.80，或80％），一个后台线程便开始把内容溢出（spill)到磁盘。在溢出写到磁盘过程中，map输出继续写到缓冲区，但如果在此期间缓冲区被填满，map会被阻塞直到写磁盘过程完成。溢出写过程按轮询方式将缓冲区中的内容写到mapreduce.cluster.local.dir属性在作业特定子目录下指定的目录中。
在写磁盘之前，线程首先根据数据最终要传的reducer把数据划分成相应的分区(partition)。在每个分区中，后台线程按键进行内存中排序，如果有一个combiner函数，它就在排序后的输出上运行。运行combiner函数使得map输出结果更紧凑，因此减少写到磁盘的数据和传递给reducer的数据。
每次内存缓冲区达到溢出阈值，就会新建一个溢出文件（spill file)，因此在map任务写完其最后一个输出记录之后，会有几个溢出文件。在任务完成之前，溢出文件被合并成一个已分区且已排序的输出文件。配置属性mapreduce.task.io.sort.factor控制着一次最多能合并多少流，默认值是10。
如果至少存在3个溢出文件（通过mapreduce.map.combine.minspills属性设置）时，则combiner就会在输出文件写到磁盘之前再次运行。前面曾讲过，combiner可以在输人上反复运行，但并不影响最终结果。如果只有1或2个溢出文件，那么由于map输出规模减少，因而不值得调用combiner带来的开销，因此不会为该map输出再次运行combiner。
在将压缩map输出写到磁盘的过程中对它进行压缩往往是个很好的主意，因为这样会写磁盘的速度更快，节约磁盘空间，并且减少传给reducer的数据量。在默认情况下，输出是不压缩的，但只要将mapreduce.map.output.compress设置为true，就可以轻松启用此功能。使用的压缩库由mapreduce.map.output.compress.codec指定。
reducer通过HTTP得到输出文件的分区。用于文件分区的工作线程的数量由任务的mapreduce.shuffle.max.threads属性控制，此设置针对的是每一个节点管理器，而不是针对每个map任务。默认值0将最大线程数设置为机器中处理器数量的两倍。
给shuffle 过程尽量多提供内存空间
写map函数和reduce 函数时尽量少用内存，不应该无限使用内存
在map端，可以通过避免多次溢出写磁盘来获得最佳性能
在reduce端，中间数据全部驻留在内存时，就能获得最佳性能
reduce 端
配置调优
任务的执行
hadoop MapReduce 使用一个提交协议来确保作业和任务都完全成功或失败。这个行为通过对作业使用OutputCommitters 来实现
到此，相信大家对“MapReduce的工作机制是什么”有了更深的了解，不妨来实际操作一番吧！这里是创新互联网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！
网页题目：MapReduce的工作机制是什么
当前链接：
http://cdkjz.cn/article/gdpseg.html
