814流计算与 Hadoop Hadoop设计的初衷是面向大规模数据的批量处理,每台机器并行运 行 MapReduce任务,最后对结果进行汇总输出 MapReduce是专门面向静态数据的批量处理的,内部各种实现机制都 为批处理做了高度优化,不适合用于处理持续到达的动态数据 我们可能会想到一种“变通”的方案来降低批处理的时间延迟一一将 基于 MapReduce的批量处理转为小批量处理,将输入数据切成小的片 段,每隔一个周期就启动一次 MapReduce作业。但这种方式也无法有 效处理流数据• Hadoop设计的初衷是面向大规模数据的批量处理，每台机器并行运 行MapReduce任务，最后对结果进行汇总输出 • MapReduce是专门面向静态数据的批量处理的，内部各种实现机制都 为批处理做了高度优化，不适合用于处理持续到达的动态数据 • 我们可能会想到一种“变通”的方案来降低批处理的时间延迟——将 基于MapReduce的批量处理转为小批量处理，将输入数据切成小的片 段，每隔一个周期就启动一次MapReduce作业。但这种方式也无法有 效处理流数据 8.1.4 流计算与Hadoop