mapreduce 详解shuffle
- 作者: 连云新司机
- 来源: 51数据库
- 2020-09-28
mapreduce与Spark的map-Shuffle-reduce过程
mapreduce过程解析(mapreduce采用的是sort-based shuffle)
将获取到的数据分片partition进行解析,获得k/v对,之后交由map()进行处理.
任务占坑
mapreduce过程解析(mapreduce采用的是sort-based shuffle)
将获取到的数据分片partition进行解析,获得k/v对,之后交由map()进行处理.
任务占坑
推荐阅读