正在加载图片...
巧用复合键让系统完成排序 丶Map计算过程中,系统自动按照Map的输出键进行排序, 因此进入 Reduce的键值对都是按照key值排序的,但有时 希望vaue也按一定规则排序。 方法1:在 Reduce过程中对{aue刚表中的值进行 本地排序,但当{ value刚列表数据量巨大时 必须使用复杂的外排算法,会很耗时。 方法2:将vaue中需要排序的部分加入到key中, 形成复合键,这样能利用 Mapreduce系统 的排序功能自动完成排序。 Map计算过程中,系统自动按照Map的输出键进行排序, 因此进入Reduce的键值对都是按照key值排序的,但有时 希望value也按一定规则排序。  方法1:在Reduce过程中对{value}列表中的值进行 本地排序,但当{value}列表数据量巨大时 必须使用复杂的外排算法,会很耗时。  方法2:将value中需要排序的部分加入到key中, 形成复合键,这样能利用MapReduce系统 的排序功能自动完成排序
<<向上翻页向下翻页>>
©2008-现在 cucdc.com 高等教育资讯网 版权所有