7.2 MapReduce的体系结构 MapReduce主要有以下4个部分组成: Client 用户编写的 MapReduce程序通过cen提交到 Job tracke端 用户可通过 Client提供的一些接口查看作业运行状态 2) JobTracker Job tracker负责资源监控和作业调度 Job tracker监控所有 Task Tracker与Job的健康状况,一旦发现失败,就 将相应的任务转移到其他节点 Job tracker会跟踪任务的执行进度、资源使用量等信息,并将这些信息、 告诉任务调度器( Taskscheduler),而调度器会在资源出现空闲时,选 择合适的任务去使用这些资源 JobTracker Task Scheduler ReducTus 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 7.2 MapReduce的体系结构 MapReduce主要有以下4个部分组成： 1）Client •用户编写的MapReduce程序通过Client提交到JobTracker端 •用户可通过Client提供的一些接口查看作业运行状态 2）JobTracker •JobTracker负责资源监控和作业调度 •JobTracker 监控所有TaskTracker与Job的健康状况，一旦发现失败，就 将相应的任务转移到其他节点 •JobTracker 会跟踪任务的执行进度、资源使用量等信息，并将这些信息 告诉任务调度器（TaskScheduler），而调度器会在资源出现空闲时，选 择合适的任务去使用这些资源 Client Client Client JobTracker Task Scheduler TaskTracker Map Task Reduce Task Map Task TaskTracker Map Task Reduce Task Map Task TaskTracker Map Task Reduce Task Map Task