7.12 MapReduce模型简介 .MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽 象到了两个函数:Map和 Reduce 编程容易,不需要掌握分布式并行编程细节,也可以很容易把自己的 程序运行在分布式系统上,完成海量数据的计算 MapReduce采用“分而治之”策略,一个存储在分布式文件系统中的 大规模数据集,会被切分成许多独立的分片(spit),这些分片可以被 多个Map任务并行处理 . MapReduce设计的一个理念航是“计算向数据靠拢”,而不是“数据 向计算靠拢”,因为,移动数据需要大量的网络传输开销 Map Reduce框架采用了 Master/Slave架构,包括一个 Master和若干个 Slave Mastel上运行 Job tracker,Save上运行 Task Tracker Hadoop框架是用Java实现的,但是, MapReduce应用程序则不一定 要用Java来写 大数据技术原理与应用(第3 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.1.2MapReduce模型简介 •MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽 象到了两个函数：Map和Reduce •编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的 程序运行在分布式系统上，完成海量数据的计算 •MapReduce采用“分而治之”策略，一个存储在分布式文件系统中的 大规模数据集，会被切分成许多独立的分片（split），这些分片可以被 多个Map任务并行处理 •MapReduce设计的一个理念就是“计算向数据靠拢”，而不是“数据 向计算靠拢”，因为，移动数据需要大量的网络传输开销 •MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave。 Master上运行JobTracker，Slave上运行TaskTracker •Hadoop框架是用Java实现的，但是，MapReduce应用程序则不一定 要用Java来写