Mapreduce模型概述 Mapreduce是 Google公司的核心计算模型,它将复杂的运行于大规模 集群上的并行计算过程高度地抽象到两个函数:Map和 Reduce 适合用 Mapreduce来处理的数据集(或任务),需要满足一个基本要求 待处理的数据集可以分解成许多小的数据集,而且每一个小数据集都 可以完全并行地进行处理 ·概念“Map(映射)”和“ Reduce(化简)”,以及它们的主要思想 ,都是从函数式编程语言里借来的,同时包含了从矢量编程语言里借 来的特性。 Mapreduce极大地方便了编程人员在不会分布式并行编程 的情况下,将自己的程序运行在分布式系统上。 《大数据技术基础》《大数据技术基础》 MapReduce模型概述 • MapReduce是Google公司的核心计算模型，它将复杂的运行于大规模 集群上的并行计算过程高度地抽象到两个函数：Map和Reduce。 • 适合用MapReduce来处理的数据集(或任务)，需要满足一个基本要求: 待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都 可以完全并行地进行处理。 • 概念“Map（映射）”和“Reduce（化简）”，以及它们的主要思想 ，都是从函数式编程语言里借来的，同时包含了从矢量编程语言里借 来的特性。MapReduce极大地方便了编程人员在不会分布式并行编程 的情况下，将自己的程序运行在分布式系统上