用户登录
用户注册

分享至

mapreduce本地调试

  • 作者: 80后的玩具
  • 来源: 51数据库
  • 2020-10-05
在本地Windows环境中用Eclipse中调试MapReduce程序方法步骤如下:
1. 下载Hadoop包:
JDK建议用1.7的~
2. 解压Hadoop包:
注意最好不要放在带中文或空格及特殊字符的目录。
3. 配置环境变量:
(1) 系统变量中创建HADOOP_HOME,
(2) 在Path中最后添加;%HADOOP_HOME%\bin
注意:有个分号,和原来的变量分隔开!
4. 重启系统
一定要重启,让环境变量生效,不然出错都不知道哪的毛病
5. 在Eclipse中需要测试的MapReduce程序中,右键-->Run As-->Arguments-->填入输入、输出路径,
注意:输出要放的最后一级目录不能有,不然会报错,因为hadoop会自动创建的!
6. 测试结果
MapReduce的执行结果中,0表示正确,非零表示执行失败。



  1. 下载Hadoop包:
JDK建议用1.7的~
2. 解压Hadoop包:
注意最好不要放在带中文或空格及特殊字符的目录。
3. 配置环境变量:
(1) 系统变量中创建HADOOP_HOME,
(2) 在Path中最后添加;%HADOOP_HOME%\bin
注意:有个分号,和原来的变量分隔开!
软件
前端设计
程序设计
Java相关