anatomy of hadoop Map/Reduce process

In Hadoop MapReduce framework, besides map and reduce phases, the shuffling phases is actually more important as lots of optimizations jobs are done in shuffling phase. Below diagram shows what may happens in the Shuffling step. Each steps there are chance for speeding up processing or slowing down processing.

Above sub steps happens in spill thread. Spill thread read Map output from buffer (100MB by default) and do these sub steps based on if those respondent functions are defined. Eventually, all small split files will be merged into a big one as Map output. 

http://blog.sina.com.cn/s/blog_62186b4601012fty.html Shuffle是指从Map产生输出开始，包括系统执行排序以及传送Map输出到Reducer作为输入的过程。 首先从Map 端开始分析。当Map开始产生输出时，它并不是简单的把数据写到磁盘，因为频繁的磁盘操作会导致性能严重下降。它将数据首先写到内存中的一个缓冲区，并做了一些预排序，以提升效率。这个缓冲区默认大小是100MB。当缓冲区中的数据量达到一个特定阀值（默认是0.80)时，系统将会把缓冲区中的内容spill到磁盘。在spill过程中，Map 的输出将会继续写入到缓冲区，但如果缓冲区已满，Map 就会被阻塞直到spill完成。spill 线程在把缓冲区的数据写到磁盘前，会首先根据数据所属的partition 排序，(partition用于确定每部分数据之后交由哪个reduce继续处理)，然后每个partition中的数据再按Key 排序。如果设定了Combiner，将在排序输出的基础上运行Combiner。Combiner 就是一个本地Reducer，使得Map的输出更紧凑，更少的数据会被写入磁盘和传送到Reducer。 每当内存中的数据达到spill 阀值的时候，都会产生一个新的spill 文件，所以在Map任务写完它的最后一个输出记录时，可能会有多个spill文件。在Map任务完成前，所有的spill文件将会被归并为一个已分区和已排序的输出文件。 当spill 文件归并完毕后，Map将删除所有的临时spill 文件，并告知TaskTracker 任务已完成。Map 的输出文件放置在运行Map 任务的TaskTracker 的本地磁盘上，它是运行Reduce 任务的TaskTracker 所需要的输入数据。Reducers 通过HTTP 来拷贝获取对应的输入数据。当所有的Map 输出都被拷贝后，Reduce任务进入排序阶段（更恰当的说应该是归并阶段，因为排序在Map 端就已经完成），这个阶段会对所有的Map 输出进行归并排序。 之后在Reduce 阶段，Reduce 函数会作用在排序输出的每一个key/value对上。这个阶段的输出被直接写到输出文件系统，一般是HDFS。到此，MapReduce 的Shuffle 和Sort 分析完毕。