用户登录
用户注册

分享至

mapreduce sort

  • 作者: 你们真牛什么名字都取
  • 来源: 51数据库
  • 2020-09-27
MapReduce过程其实有几个步骤在里面: partition(分区),sort(排序),shuffle(俗称洗牌),combine(合并)等细节。



  首先可能会出现这样的问题:
1.可能上一个job为多个reduce,也就是会产生多个结果文件,因为一个reduce就会生成一个结果文件,结果存放在上一个job输出目录下类似part-r-00的文件里。
2.需要排序的文件内容很大,所以需要考虑多个reduce的情况。
软件
前端设计
程序设计
Java相关