运行mapreduce

作者: 埋汰的老喵
来源: 51数据库
2020-09-23

一、首先要知道此前提转载若在windows的Eclipse工程中直接启动mapreduc程序，需要先把hadoop集群的配置目录下的xml都拷贝到src目录下，让程序自动读取集群的地址后去进行分布式运行(您也可以自己写java代码去设置job的configuration属性)。

　　用户配置并将一个hadoop作业提到hadoop框架中，hadoop框架会把这个作业分解成一系列map tasks 和reduce tasks。hadoop框架负责task分发和执行，结果收集和作业进度监控。
下图给出了一个作业从开始执行到结束所经历的阶段和每个阶段被谁控制（用户 or hadoop框架）。

推荐阅读