mapreduce详解shuffle过程
- 作者: 哀思沫
- 来源: 51数据库
- 2020-10-03
shuffle就是combine,partition,combine的组合
第一个是map端的combine，是在map本地把同key的放在一起成列表
第二个是partition分割，把键值对按照key对应分配到reduce
第三个是reduce端的combine，把同key的再合并得到最后的reduce输入
真是个不错的选题呢 哈哈啊哈哈哈哈哈哈
第一个是map端的combine，是在map本地把同key的放在一起成列表
第二个是partition分割，把键值对按照key对应分配到reduce
第三个是reduce端的combine，把同key的再合并得到最后的reduce输入
真是个不错的选题呢 哈哈啊哈哈哈哈哈哈
推荐阅读
