提纲 7.1概述 7.2 MapReduce体系结构 7.3 MapReduce工作流程 74实例分析: WordCount 7.5 MapReduce的具体应用 7.6 MapReduce编程实践 本PPT是如下教材的配套讲义: 21世纪高等教育计算机规划教材 《大数据技术原理与应用 —概念、存储、处理、分析与应用》 (2015年8月第1版) 厦门大学林子雨编著,人民邮电出版社 SB№:9787-115392879 欢迎访问《大数据技术原理与应用》教材官方网站: http://dblab.xmu.edu.cn/post/bigdata 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 提纲 • 7.1 概述 • 7.2 MapReduce体系结构 • 7.3 MapReduce工作流程 • 7.4 实例分析：WordCount • 7.5 MapReduce的具体应用 • 7.6 MapReduce编程实践 欢迎访问《大数据技术原理与应用》教材官方网站： http://dblab.xmu.edu.cn/post/bigdata 本PPT是如下教材的配套讲义： 21世纪高等教育计算机规划教材 《大数据技术原理与应用 ——概念、存储、处理、分析与应用》 （2015年8月第1版） 厦门大学 林子雨 编著，人民邮电出版社 ISBN:978-7-115-39287-9
7.1概述 分布式并行编程 7.1.2 MapReduce模型简介 7.1.3 Map和 Reduce函数 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.1 概述 • 7.1.1 分布式并行编程 • 7.1.2 MapReduce模型简介 • 7.1.3 Map和Reduce函数
》7.11分布式并行编程 “摩尔定律”,CPU性能大约每隔18个月翻一番 从2005年开始摩尔定律逐渐失效,需要处理的数据量快速增加,人 们开始借助于分布式并行编程来提高程序性能 分布式程序运行在大规模计算机集群上,可以并行执行大规模数据处 理任务,从而获得海量的计算能力 谷歌公司最先提出了分布式并行编程模型 MapReduce, Hadoop MapReduce是它的开源实现,后者比前者使用门槛低很多 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.1.1分布式并行编程 •“摩尔定律”， CPU性能大约每隔18个月翻一番 •从2005年开始摩尔定律逐渐失效，需要处理的数据量快速增加，人 们开始借助于分布式并行编程来提高程序性能 •分布式程序运行在大规模计算机集群上，可以并行执行大规模数据处 理任务，从而获得海量的计算能力 •谷歌公司最先提出了分布式并行编程模型MapReduce，Hadoop MapReduce是它的开源实现，后者比前者使用门槛低很多
》7.11分布式并行编程 问题:在 MapReduce出现之前,已经有像MP这样非常成熟的并行计算框架 了,那么为什么 Google还需要 MapReduce? Map Reduce相较于传统的并行 计算框架有什么优势? 传统并行计算框架 Map Reduce 集群架构/容错性共享式(共享内存/共享存储),容非共享式,容错性好 错性差 硬件/价格/扩展性刀片服务器、高速网、SAN,普通PC机,便宜,扩展 价格贵,扩展性差 性好 编程/学习难度What-hoW,难 What,简单 适用场景 实时、细粒度计算、计算密集型批处理、非实时、数据密 集型 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.1.1分布式并行编程 问题：在MapReduce出现之前，已经有像MPI这样非常成熟的并行计算框架 了，那么为什么Google还需要MapReduce？MapReduce相较于传统的并行 计算框架有什么优势？ 传统并行计算框架 MapReduce 集群架构/容错性 共享式(共享内存/共享存储)，容 错性差 非共享式，容错性好 硬件/价格/扩展性 刀片服务器、高速网、SAN， 价格贵，扩展性差 普通PC机，便宜，扩展 性好 编程/学习难度 what-how，难 what，简单 适用场景 实时、细粒度计算、计算密集型 批处理、非实时、数据密 集型
7.12 MapReduce模型简介 .MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽 象到了两个函数:Map和 Reduce 编程容易,不需要掌握分布式并行编程细节,也可以很容易把自己的 程序运行在分布式系统上,完成海量数据的计算 MapReduce采用“分而治之”策略,一个存储在分布式文件系统中的 大规模数据集,会被切分成许多独立的分片(spit),这些分片可以被 多个Map任务并行处理 . MapReduce设计的一个理念航是“计算向数据靠拢”,而不是“数据 向计算靠拢”,因为,移动数据需要大量的网络传输开销 Map Reduce框架采用了 Master/Slave架构,包括一个 Master和若干个 Slave Mastel上运行 Job tracker,Save上运行 Task Tracker Hadoop框架是用Java实现的,但是, MapReduce应用程序则不一定 要用Java来写 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.1.2MapReduce模型简介 •MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽 象到了两个函数：Map和Reduce •编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的 程序运行在分布式系统上，完成海量数据的计算 •MapReduce采用“分而治之”策略，一个存储在分布式文件系统中的 大规模数据集，会被切分成许多独立的分片（split），这些分片可以被 多个Map任务并行处理 •MapReduce设计的一个理念就是“计算向数据靠拢”，而不是“数据 向计算靠拢”，因为，移动数据需要大量的网络传输开销 •MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave。 Master上运行JobTracker，Slave上运行TaskTracker •Hadoop框架是用Java实现的，但是，MapReduce应用程序则不一定 要用Java来写
71.3Map和 Reduce函数 表7-1Map和 Reduce 函数输入 输出 说明 Mar Lis(如 如 ckey, value>对,输入Map函数中进行 处理 2每一个输入的会输出一批 。中的 如 List(2)表示是一批属于同一个k2的 > value 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.1.3Map和Reduce函数 函数 输入 输出 说明 Map 如： List() 如： 1.将小数据集进一步解析成一批 对，输入Map函数中进行 处理 2.每一个输入的会输出一批 。是计算的中间结果 Reduce 如： > 输入的中间结果中的 List(v2 )表示是一批属于同一个k2的 value 表7-1 Map和Reduce
7.2 MapReduce的体系结构 1 maPreduce体系结构主要由四个部分组成,分别是: Client、 Job tracker、 Tasktracke以及Task Client Client Jobtracker Task Scheduler Client Heatbeat Heatbeat Heated TaskTracker TaskTracker TaskTracker Map Task ap Task Map Task ap Task Map Task Reduce Task Reduce task Reduce task 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.2 MapReduce的体系结构 Client Client Client JobTracker Task Scheduler TaskTracker Map Task Reduce Task Map Task TaskTracker Map Task Reduce Task Map Task TaskTracker Map Task Reduce Task Map Task MapReduce体系结构主要由四个部分组成，分别是：Client、JobTracker、 TaskTracker以及Task
7.2 MapReduce的体系结构 MapReduce主要有以下4个部分组成: Client 用户编写的 MapReduce程序通过cen提交到 Job tracke端 用户可通过 Client提供的一些接口查看作业运行状态 2) JobTracker Job tracker负责资源监控和作业调度 Job tracker监控所有 Task Tracker与Job的健康状况,一旦发现失败,就 将相应的任务转移到其他节点 Job tracker会跟踪任务的执行进度、资源使用量等信息,并将这些信息、 告诉任务调度器( Taskscheduler),而调度器会在资源出现空闲时,选 择合适的任务去使用这些资源 JobTracker Task Scheduler ReducTus 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.2 MapReduce的体系结构 MapReduce主要有以下4个部分组成： 1）Client •用户编写的MapReduce程序通过Client提交到JobTracker端 •用户可通过Client提供的一些接口查看作业运行状态 2）JobTracker •JobTracker负责资源监控和作业调度 •JobTracker 监控所有TaskTracker与Job的健康状况，一旦发现失败，就 将相应的任务转移到其他节点 •JobTracker 会跟踪任务的执行进度、资源使用量等信息，并将这些信息 告诉任务调度器（TaskScheduler），而调度器会在资源出现空闲时，选 择合适的任务去使用这些资源 Client Client Client JobTracker Task Scheduler TaskTracker Map Task Reduce Task Map Task TaskTracker Map Task Reduce Task Map Task TaskTracker Map Task Reduce Task Map Task
7.2 MapReduce的体系结构 3) TaskTracker · Task Tracker会周期性地通过“心跳”将本节点上资源的使用情况和任 务的运行进度汇报给 Job tracker,同时接收 Job tracker发送过来的命令 并执行相应的操作(如启动新任务、杀死任务等) Task Tracker使用“slot”等量划分本节点上的资源量(CPU、内存等)。 个Task获取到一个slot后才有机会运行,而 Hadoop调度器的作用就是 将各个 Task Tracke上的空闲sot分配给Task使用。sot分为 Map slot和 Reduce slot两种,分别供 Map Task和 Reduce task使用 4) Task Task分为 Map Task和 Reduce Task两种,均由 Task Tracke启动 client Task Scheduler Rdso Ta 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.2 MapReduce的体系结构 3）TaskTracker •TaskTracker 会周期性地通过“心跳”将本节点上资源的使用情况和任 务的运行进度汇报给JobTracker，同时接收JobTracker 发送过来的命令 并执行相应的操作（如启动新任务、杀死任务等） •TaskTracker 使用“slot”等量划分本节点上的资源量（CPU、内存等）。 一个Task 获取到一个slot 后才有机会运行，而Hadoop调度器的作用就是 将各个TaskTracker上的空闲slot分配给Task使用。slot 分为Map slot 和 Reduce slot 两种，分别供MapTask 和Reduce Task 使用 4）Task Task 分为Map Task 和Reduce Task 两种，均由TaskTracker 启动 Client Client Client JobTracker Task Scheduler TaskTracker Map Task Reduce Task Map Task TaskTracker Map Task Reduce Task Map Task TaskTracker Map Task Reduce Task Map Task
7.3 MapReduce工作流程 ·7.3.1 工作流程概述 ·7.3.2 MapReduce各个执行阶段 7.3.3 Shuffle过程详解 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn
《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.3 MapReduce工作流程 • 7.3.1 工作流程概述 • 7.3.2 MapReduce各个执行阶段 • 7.3.3 Shuffle过程详解
