11.2.1软件模块/计算单元 MapReduce主要任务一一映射与简化： ·Map(映射)：负责输入数据的分片、转化、处 理，输出中间结果文件； ·Reduce(简化)：以Map的输出文件为输入，对 中间结果进行合并处理，得到最终结果并写入 HDFS。 ·两类任务都有多个进程运行在DataNode.上，相互 间通过Shufflel阶段交换数据 Big Data Computing Technology,2017 Fall11.2.1 软件模块/计算单元 Big Data Computing Technology, 2017 Fall 7 MapReduce主要任务——映射与简化： • Map（映射）：负责输入数据的分片、转化、处 理，输出中间结果文件； • Reduce（简化）：以Map的输出文件为输入，对 中间结果进行合并处理，得到最终结果并写入 HDFS。 • 两类任务都有多个进程运行在DataNode上，相互 间通过Shuffle阶段交换数据