用户登录
用户注册

分享至

hadoop 1.2.1

  • 作者: ISorry
  • 来源: 51数据库
  • 2020-10-06
在编译之前,我们需要先下载后hadoop 1.2.1的源码文件,并解压到合适的位置。在此我是把hadoop直接放到D盘根目录,另外由于在编译的工程中需要知道eclipse的路径,所以首先计划目录结构如下如下:
  Eclipse: D:\DTools\eclipse
  Hadoop: D:\hadoop-1.2.1

1. 下载hadoop-1.2.1.tar.gz,并解压缩到 D盘根目录下
2. 在 Eclipse 中选择 File—>Import—>General/Existing Projects into Workspace 导入Hadoop的Eclipse插件项目。选择路径为D:\hadoop-1.2.1\src\contrib\eclipse-plugin,然后点击Finish.其默认的项目名称是 MapReduceTools。



  至于该存放目录的分配是通过调用rpc访问jobtracker的方法来进行分配的,下面看一下jobtracker的分配代码:
final path stagingrootdir = new path(conf.get(
"mapreduce.jobtracker.staging.root.dir",
"/tmp/hadoop/mapred/staging"));
final filesystem fs = stagingrootdir.getfilesystem(conf);
return fs.makequalified(new path(stagingrootdir, user + "/.staging")).tostring();

注意上面代码所生成的stagingrootdir是所有job文件的存放目录,是一个根目录,并不单指当前job。
软件
前端设计
程序设计
Java相关