用户登录
用户注册

分享至

centos hadoop 安装

  • 作者: 怎么什么好么30225486
  • 来源: 51数据库
  • 2020-09-29
在安装 hadoop 前,请确保你的系统上安装了 Java。使用此命令检查已安装 Java 的版本,下图说明没有安装java 要安装java,需要从 Oracle 官方网站下载最新版本的 java用命令:wget 如下图 需要设置使用更新版本的 Java 作为替代。



  1 解压hadoop,并配置环境变量
  2 使用which hadoop命令,测试是否成功
  3 配置core-site.xml
  4 配置hdfs-site.xml
  5 配置yarn-site.xml(非必须,使用默认也可)
  6 配置mapred-site.xml
  7 配置mapred-env.sh里面的java路径
  8 如上的配置完成后,需要新建几个文件夹,来提供hdfs的格式化底层一个是hadoop的tmp文件夹,另外的是namenode和datanode的文件夹,来分别存储各自的信息
  9 上面一切完成后,即可执行hadoop namenode -format 进行格式化
  10 然后启动伪分布式集群,执行命令sbin/start-all.sh 最后使用jps查看java进程
  11 配置本机的hosts文件,映射主机名信息
  下面来详细说下,各个步骤的具体操作:
  在这之前,最好配置好本机的ssh无密码登陆操作,避免hadoop进程之间通信时,需要验证。
  下面是各个xml文件的配置
  
  
  
  fs.default.name
  hdfs://192.168.46.28:9000
  

  
  hadoop.tmp.dir
  /root/hadoop/tmp
  

  

  
  
  
  dfs.replication
  1
  

  
  dfs.namenode.name.dir
  /root/hadoop/nddir
  

  
  dfs.datanode.data.dir
  /root/hadoop/dddir
  

  
  dfs.permissions
  false
软件
前端设计
程序设计
Java相关