mapreduce 提交任务

作者: 都严肃点儿
来源: 51数据库
2020-10-02

您好，我来为您解答：
　　1、在程序中，我将文件读入格式设定为WholeFileInputFormat，即不对文件进行切分。

　　2、为了控制reduce的处理过程，map的输出键的格式为组合键格式。与常规的不同，这里变为了，TextPair的格式为。

　　3、为了适应组合键，重新设定了分组函数，即GroupComparator。分组规则为，只要TextPair中的key1相同(不要求key2相同)，则数据被分配到一个reduce容器中。这样，当相同key1的数据进入reduce容器后，key2起到了一个数据标识的作用

　　由于项目需求，需要通过java程序提交yarn的mapreduce的计算任务。与一般的通过jar包提交mapreduce任务不同，通过程序提交mapreduce任务需要有点小变动，详见以下代码。以下为mapreduce主程序，有几点需要提一下： 1、在程序中，我将文件读入格

　　由于项目需求，需要通过Java程序提交Yarn的MapReduce的计算任务。与一般的通过Jar包提交MapReduce任务不同，通过程序提交MapReduce任务需要有点小变动，详见以下代码。
以下为MapReduce主程序，有几点需要提一下：
1、在程序中，我将文件读入格式设定为WholeFileInputFormat，即不对文件进行切分。
2、为了控制reduce的处理过程，map的输出键的格式为组合键格式。与常规的不同，这里变为了，TextPair的格式为。
3、为了适应组合键，重新设定了分组函数，即GroupComparator。分组规则为，只要TextPair中的key1相同（不要求key2相同），则数据被分配到一个reduce容器中。这样，当相同key1的数据进入reduce容器后，key2起到了一个数据标识的作用。