mapreduce map输出

作者: maker陈
来源: 51数据库
2020-10-01

map任务的输出结果不写入HDFS，而是写入执行map的本地硬盘上，为什么呢？因为map的输出是中间结果，所谓中间结果，就是要经过reduce之后才会是最终结果，而且整个mapreduce执行完之后，这个结果就要被干掉了。所以，把它放在HDFS中并实现备份，这就有点大题小做了。当你执行mapreduce的时候，你可以在shell中用命令 df -lh 来查看硬盘的使用率，要想办法把这个使用率控制在90%以内。

　　在旧版mapred下面实现方法如下：
// 获得输入文件的路径名
String path=((FileSplit)reporter.getInputSplit()).getPath().toString();
//使用Reporter reporter对象来获取，在新版mapreduce中.

推荐阅读