如何实现“快”的数据处理 首先,“快”是个相对的概念,可以是实时,也可以秒级、分钟 级、小时级、天级甚至更长的延迟。其次,考虑目前的架构是不是有潜 力改造到足够“快” 些通用的技术思路来实现“快”: 如果数据流入量太大,在前端就地釆用流处理进行即时处理、过滤掉 非重要数据 把数据预处理成适于快速分析的格式 增量计算-也即先顾眼前的新数据,再去更新老数据 很多批处理系统慢的根源是磁盘和IO,把原始数据和中间数据放在内 存里,一定能极大地提升速度 降低对精确性的要求 《大数据技术基础》《大数据技术基础》 如何实现“快”的数据处理 首先，“快”是个相对的概念，可以是实时，也可以秒级、分钟 级、小时级、天级甚至更长的延迟。其次，考虑目前的架构是不是有潜 力改造到足够“快”。 一些通用的技术思路来实现“快”： • 如果数据流入量太大，在前端就地采用流处理进行即时处理、过滤掉 非重要数据 • 把数据预处理成适于快速分析的格式 • 增量计算--也即先顾眼前的新数据，再去更新老数据 • 很多批处理系统慢的根源是磁盘和I/O，把原始数据和中间数据放在内 存里，一定能极大地提升速度 • 降低对精确性的要求