hadoop 环境搭建

作者: o年糕酱o
来源: 51数据库
2020-09-26

namenode节点配置
conf/core-site.xml:

fs.default.name
hdfs://localhost:9000

hdfs测试环境配置
conf/hdfs-site.xml: 数据块不需要冗余

dfs.replication
1

job-tracker配置
conf/mapred-site.xml:

mapred.job.tracker
localhost:9001

免密码ssh登录配置

$ ssh localhost
# 若不行, 则进行以下配置
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

初始化HDFS, 启动hadoop

$ bin/hadoop namenode -format
$ bin/start-all.sh
# 所有运行日志都在 ${HADOOP_LOG_DIR} 目录, (默认是 ${HADOOP_HOME}/logs).