mapreduce 文件名

作者: 今后丶何如
来源: 51数据库
2020-09-26

1 使用Java编写 MapReduce 程序时，如何向map、reduce函数传递参数。 2 使用Streaming编写MapReduce程序(C/C++, Shell, Python)时，如何向map、reduce脚本传递参数。 3 使用Streaming编写MapReduce程序(C/C++, Shell, Py..

　　只有在客户端提交mapreduce任务的时候才有可能获取本地文件，当mapreduce执行的时候，map和redure任务都是分发到不同的节点运行，一般都不是客户端所在的节点，所以没法获取客户端本地文件。但是通过java io api应该可以获取map或者reduce运行所在节点的本地文件。或者使用hadoop的distributedcache将需要使用到的文件缓存在共享存储，以供map或者reduce运行时使用

推荐阅读