mapreduce编程模型

作者: 小狗爱吃鱼
来源: 51数据库
2020-10-05

不是非常适合，MapReduce将作业的整个运行过程分为两个阶段：Map阶段和Reduce阶段
Map阶段由一定数量的Map Task组成
输入数据格式解析：InputFormat
输入数据处理：Mapper
数据分组：Partitioner
Reduce阶段由一定数量的Reduce Task组成
数据远程拷贝
数据按照key排序
数据处理：Reducer
数据输出格式：OutputFormat

　　即是一种思想，也是一个实现。google对这个的实现就叫mapreduce，开源版本实现最出名的叫hadoop。具体请参见dean jeff的经典论文，以及wikipedia。

推荐阅读