hadoop配置文件详解

在hadoop1中核心组成部分是HDFS、MapReduce，到了Hadoop2，核心变为HDFS、Yarn，而且新的HDFS中可以有多个NameNode，每个都有相同的职能。

以下内容是从http://www.superwu.cn/2014/02/12/1094/阅读后自己总结了一下：

配置文件无非就这几个文件：

1、hadoop-env.sh：

只需设置jdk的安装路径，如：export JAVA_HOME=/usr/local/jdk

2、core-site.xml：

(1)fs.defaultFS:hdfs://cluster1(域名)，这里的值指的是默认的HDFS路径

(2)hadoop.tmp.dir:/export/data/hadoop_tmp,这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。

(3)ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181,这里是ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点

(4)hadoop.proxyuser.erpmerge.hosts、hadoop.proxyuser.erpmerge.groups主要用来设置oozie的代理用户

推荐阅读

热点文章