MapReduce工作流程概述 下图说明了用 MapReduce来处理大数据集的过程,就是将大数据集 分解为成百上千的小数据集,每个(或若干个)数据集分别由集群中的 个结点(一般就是一台普通的计算机)进行处理并生成中间结果,然 后这些中间结果又由大量的结点进行合并,形成最终结果。 输入 Map任务 Reduce任务 输出 分片0 mapo 分片1 map 00 reduce ) 输出0 分片2 m reduce o 输出1 分片3 mapo reduce 输出2 分片4 mapo 《大数据技术基础》《大数据技术基础》 MapReduce工作流程概述 • 下图说明了用MapReduce来处理大数据集的过程，就是将大数据集 分解为成百上千的小数据集，每个(或若干个)数据集分别由集群中的 一个结点(一般就是一台普通的计算机)进行处理并生成中间结果，然 后这些中间结果又由大量的结点进行合并，形成最终结果