》7.11分布式并行编程 “摩尔定律”,CPU性能大约每隔18个月翻一番 从2005年开始摩尔定律逐渐失效,需要处理的数据量快速增加,人 们开始借助于分布式并行编程来提高程序性能 分布式程序运行在大规模计算机集群上,可以并行执行大规模数据处 理任务,从而获得海量的计算能力 谷歌公司最先提出了分布式并行编程模型 MapReduce, Hadoop MapReduce是它的开源实现,后者比前者使用门槛低很多 大数据技术原理与应用(第3 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn《大数据技术原理与应用（第3版）》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.1.1分布式并行编程 •“摩尔定律”， CPU性能大约每隔18个月翻一番 •从2005年开始摩尔定律逐渐失效，需要处理的数据量快速增加，人 们开始借助于分布式并行编程来提高程序性能 •分布式程序运行在大规模计算机集群上，可以并行执行大规模数据处 理任务，从而获得海量的计算能力 •谷歌公司最先提出了分布式并行编程模型MapReduce，Hadoop MapReduce是它的开源实现，后者比前者使用门槛低很多