用户登录
用户注册

分享至

mapreduce 推荐系统

  • 作者: 飘荡之风
  • 来源: 51数据库
  • 2020-09-30
版权声明:本文为博主原创文章,未经博主允许不得转载。
背景:我在用mahout做一个推荐系统,RecommenderJob要求的数据格式是:userId,itemId,preference。但是我在调用mahout来做推荐之前写有mapreduce数据处理操作,mapreduce输出的格式中有tab分隔符,本来我想把最终结果只放到key或value用NullWritable来实现,可是感觉不好使,所以只能换以下的方式来实现。

[java] view plain copy print?
conf.set("mapred.textoutputformat.ignoreseparator", "true");
conf.set("mapred.textoutputformat.separator", ",");
由于公司的代码不能随便透露,所以我只能以wordcount为例了

[java] view plain copy print?
package com.panguoyuan.mapreduce;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
软件
前端设计
程序设计
Java相关