mapreduce sort
- 作者: 你们真牛什么名字都取
- 来源: 51数据库
- 2020-09-27
MapReduce过程其实有几个步骤在里面: partition(分区),sort(排序),shuffle(俗称洗牌),combine(合并)等细节。
首先可能会出现这样的问题:
1.可能上一个job为多个reduce,也就是会产生多个结果文件,因为一个reduce就会生成一个结果文件,结果存放在上一个job输出目录下类似part-r-00的文件里。
2.需要排序的文件内容很大,所以需要考虑多个reduce的情况。
首先可能会出现这样的问题:
1.可能上一个job为多个reduce,也就是会产生多个结果文件,因为一个reduce就会生成一个结果文件,结果存放在上一个job输出目录下类似part-r-00的文件里。
2.需要排序的文件内容很大,所以需要考虑多个reduce的情况。
推荐阅读