MapReduce处理流程

MapReduce 的输入和输出 MapReduce 框架运转在键值对上,也就是说,框架把作业的输入看成是一组键值对,同样也产生一组键值对作为作业的输出,这两组键值对可能是不同的。 一个 MapReduce 作业的输入和输出类型如下图所示:可以看出在整个标准的流程中,会有三组键值对类型的存在。 MapReduce 的处理流程 mapper执行过程  第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片,形成切片规划。默认情况下,Split size = Block size。每一个切片由一个MapTask 处理。(getSplits)  第二阶段是对切片中的数据按照一定的规则解