mapreduce 输出文件
- 作者: 小三儿5921297
- 来源: 51数据库
- 2020-09-30
map任务的输出结果不写入HDFS，而是写入执行map的本地硬盘上，为什么呢？因为map的输出是中间结果，所谓中间结果，就是要经过reduce之后才会是最终结果，而且整个mapreduce执行完之后，这个结果就要被干掉了。所以，把它放在HDFS中并实现备份，这就有点大题小做了。当你执行mapreduce的时候，你可以在shell中用命令 df -lh 来查看硬盘的使用率，要想办法把这个使用率控制在90%以内。
在旧版mapred下面实现方法如下：
// 获得输入文件的路径名
String path=((FileSplit)reporter.getInputSplit()).getPath().toString();
//使用Reporter reporter对象来获取，在新版mapreduce中.
在旧版mapred下面实现方法如下：
// 获得输入文件的路径名
String path=((FileSplit)reporter.getInputSplit()).getPath().toString();
//使用Reporter reporter对象来获取，在新版mapreduce中.
推荐阅读
