hadoop搭建大数据平台

1、大数据简介

大数据特点：大（数据量大，PB级别的数据）、繁（多样性、复杂性，非结构化数据）、快（查询、处理、计算速度快）、有价值（Value）。大数据的4V特性：Volume（海量的数据规模），Variety（多样的数据类型），Velocity（快速的数据流转），Value（发现数据价值）。

2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务和培训。2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司，Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support。CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即是对Hadoop的技术支持。Cloudera的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大数据的Impala项目。

Cloudera公司的Hadoop发行版是CDH版。Google的三篇论文：MapReduce、GFS->HDFS分布式文件系统、bigtable->HBase数据库。Hadoop 1.x = MapReduce+HDFS。

2、Hadoop风雨十年

（1）2006年2月，Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。

（2）2007年10月，第一个Hadoop用户组会议召开，社区贡献开始急剧上升。

（3）2008年1月，Hadoop成为Apache顶级项目。

（4）2008年8月，第一个Hadoop商业化公司Cloudera成立。

（5）2009 年3月，Cloudera推出世界上首个Hadoop发行版——CDH（Cloudera's Distribution including Apache Hadoop）平台，完全由开放源码软件组成。

（6）2010年-2011年，扩大的Hadoop社区忙于建立大量的新组件（Crunch，Sqoop，Flume，Oozie等）来扩展Hadoop 的使用场景和可用性。

（7）2011年5月，Mapr Technologies公司推出分布式文件系统和MapReduce引擎——MapR Distribution for Apache Hadoop。

（8）2011年7月，Yahoo!和硅谷风险投资公司 Benchmark Capital创建了Hortonworks 公司，旨在让Hadoop更加可靠， 并让企业用户更容易安装、管理和使用Hadoop。

（9）2014年2月，Spark逐渐代替MapReduce成为Hadoop的缺省执行引擎，并成为Apache基金会顶级项目。

3、企业大数据平台架构

企业大数据平台架构分为离线计算和实时计算。离线计算如Hadoop，以及以Hadoop为底层的大数据框架，如Hive，HBase等。实时计算如Storm和Spark等，用于流式计算和在线分析。企业中，通常实时计算和离线计算都是在一个架构或一个集群中，所需要的数据共用共享。此外，搭建大数据架构还需要考虑容灾机制、监控系统、恢复机制等等。

4、Hadoop模块

Hadoop 2.x主要包括以下四个模块：

（1）Hadoop Common：为其他Hadoop模块提供基础设施。

（2）Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统。

（3）Hadoop MapReduce：一个分布式的离线并行计算框架。

（4）Hadoop YARN：一个新的MapReduce框架，任务调度与资源管理。

5、HDFS（Hadoop Distributed File System）文件系统

（1）设计思想：一次写入，多次读取，写入后存储在HDFS上就不能修改，但可以把文件下载到本地，把HDFS上的文件删除，修改后再上传到HDFS上，实现文件的修改。

（2）文件属性（文件元数据）：文件名称、存储位置、副本数、权限（RWX）、有哪些存储块，各个块存储在哪些DataNode上。

（3）存储的形式：块block，块的大小：默认128MB，可以用户自定义大小。

比如：文件大小为500MB，块大小是256MB，第一个块：256MB，第二个块：244MB。

如果文件大小小于数据块的大小，它是不会占据整个块的空间的。而且多个文件不能放到一个块中。

HDFS不太适合存储大量的小文件，可以将小文件进行合并。

（4）主从架构

主节点namenode：管理存储元数据；

从节点datanode：真正存储文件，消耗硬盘。

NameNode是主节点，存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在DataNode等。

DataNode在本地文件系统存储文件块数据，以及块数据的校验和。

SecondaryNameNode是用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

（5）读写流程

首先client通过RPC协议请求namenode获取文件的位置，然后到具体datanode上读写。在哪个datanode上读写遵循就近原则，选择距离client近的datanode读写，目的是减少网络传输的时间消耗和资源消耗。

client -> namenode

client -> datanode

淘宝文件系统是TFS，在github上开源。

6、Yarn框架

（1）主从架构

主节点：resourcemanager，管理并分配整个集群的资源；

从节点：nodemanager，消耗资源。

（2）作用：集群资源分配管理，多任务调度。

总的资源：CPU、内存、硬盘。

多任务调度：运行的任务需要时间和资源。

ApplicationMaster应用管理者：每一个应用都会有一个应用管理者。

Container容器：每个map都是在各自独立的环境中去运行（资源独立），任务就在容器中运行。

（3）ResourceManager：负责处理客户端请求，启动/监控ApplicationMaster，监控NodeManager，资源分配与调度。

NodeManager：负责单个节点上的资源管理，处理来自ResourceManager的命令和来自ApplicationMaster的命令。

ApplicationMaster：负责数据切分，为应用程序申请资源，并分配给内部任务，负责任务监控与容错。

Container：对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息。

NodeManager和DataNode一般会放在一台机器上。DataNode消耗磁盘空间，NodeManager消耗资源。集群单个节点的资源都在NodeManager中，每个Container容器也都是在不同的NodeManager节点上运行的。

Yarn是在Hadoop 2.x系统中才有的新的框架组件，Hadoop 0.x 和 Hadoop 1.x 版本中的组件服务很少，只有HDFS+MapReduce。

7、Hadoop伪分布式环境搭建

（1）三种模式

Local (Standalone) Mode  本地模式：不使用HDFS文件系统，使用本地文件系统，程序员调试用；

Pseudo-Distributed Mode  伪分布式模式：单节点，一台机器，使用HDFS文件系统，程序员调试用；

Fully-Distributed Mode  完全分布式模式：真实生产环境用，集群。

（2）卸载OpenJDK，安装Oracle JDK

解压JDK：software] $ tar  -zxf  jdk-7u67-linux-x64.tar.gz  -C  /opt/modules/

在/etc/profile文件中配置环境变量：

#JAVA_HOME

export JAVA_HOME=/opt/modules/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin

配置环境变量后在root用户下输入 source /etc/profile 命令，并 exit 退出，重新登录，环境变量即可生效。

（3）解压Hadoop

software] $ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/

（4）建议：删除rm -rf /opt/modules/hadoop-2.5.0/share/doc/，里面是英文文档，没有作用

（5）配置过程

1）hadoop-env.sh、mapred-env.sh、yarn-env.sh指定Java的安装路径

export JAVA_HOME=/opt/modules/jdk1.7.0_67

2）core-site.xml，指定namenode所在机器位置及namenode和datanode之间的交互端口号，另外也是指定使用的是HDFS文件系统。Hadoop1.x系列使用的旧端口号是9000，Hadoop2.x系列使用的是8020端口号。

<property>

         <name>fs.defaultFS</name>

         <value>hdfs://hadoop-senior.ibeifeng.com:8020</value>

</property>

3）hdfs-site.xml

指定副本数个数：

<property>

          <name>dfs.replication</name>

          <value>1</value>

</property>

修改文件系统块大小：

<property>

          <name>dfs.blocksize</name>

          <value>134217728</value>

</property>

4）core-site.xml，更改Hadoop默认的临时目录位置，用于存放块文件和元数据文件

<property>

          <name>hadoop.tmp.dir</name>

          <value>/opt/modules/hadoop-2.5.0/data/tmp</value>

</property>

5）slaves，指定从节点位置（主机名），包括datanode和nodemanager

6）格式化namenode，对于元数据进行初始化，生成元数据，否则无法读取元数据

hadoop-2.5.0] $ bin/hdfs namenode -format

7）更改mapred-site.xml文件名称，指定MR运行在yarn上

<property>

           <name>mapreduce.framework.name</name>

           <value>yarn</value>

</property>

8）yarn-site.xml

<property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

</property>

<property>

            <name>yarn.resourcemanager.hostname</name>

            <value>hadoop-senior.ibeifeng.com</value>

</property>

9）Yarn外部管理界面端口号：8088，Yarn和外部浏览器的交互端口号。

HDFS外部管理界面端口号：50070，HDFS和外部浏览器的交互端口号。

SecondaryNameNode外部管理界面端口号：50090，SecondaryNameNode和外部浏览器的交互端口号。

使用IP地址加端口号也同样可以访问。如果出现无法访问的情况，可能是防火墙导致的，也可能是selinux导致的，还有可能是本地Windows的hosts文件的网络映射没有设置导致的。

8、组件启动

启动namenode：

sbin/hadoop-daemon.sh start namenode

启动datanode：

sbin/hadoop-daemon.sh start datanode

启动resourcemanager：

sbin/yarn-daemon.sh start resourcemanager

启动nodemanager：

sbin/yarn-daemon.sh start nodemanager

9、日志

日志文件：分析日志文件的格式.log和.out

.log：通过log4j记录的，记录大部分应用程序的日志信息

.out：记录标准输出和标准错误日志，少量记录

日志文件的命名规则：【框架名称-用户名-进程名-主机名.日志格式后缀】

出错一定要学会看日志，看错误信息，看.log的日志

10、Hadoop自带历史服务器

配置：mapred-site.xml

<property>

        <name>mapreduce.jobhistory.address</name>

        <value>hadoop-senior.ibeifeng.com:10020</value>

</property>

<property>

         <name>mapreduce.jobhistory.webapp.address</name>

         <value>hadoop-senior.ibeifeng.com:19888</value>

</property>

存放正在运行的Hadoop的作业记录：mapreduce.jobhistory.intermediate-done-dir

存放已经完成的Hadoop的作业目录：mapreduce.jobhistory.done-dir

由于历史服务作业记录很多，所以存储的形式是按照年/月/日形式存放在对应的目录中，以便于查找和管理。

启动历史服务器：sbin/mr-jobhistory-daemon.sh start historyserver

11、日志聚集

日志聚合是YARN提供的日志中央化管理功能，它能将运行完成的Container任务日志上传到HDFS上，从而减轻NodeManager负载，且提供一个中央化存储和分析机制。默认情况下，Container任务日志存在在各个NodeManager上，如果启用日志聚合功能需要额外的配置。简单来说，就是将MapReduce运行时产生的日志文件上传到HDFS对应的目录中，然后就可以从页面查看日志内容，直接读取HDFS上存储的日志。

yarn-site.xml

<property>

        <name>yarn.log-aggregation-enable</name>

        <value>true</value>

</property>

<property>

        <name>yarn.log-aggregation.retain-seconds</name>

        <value>106800</value>

</property>

yarn-site.xml 中的 yarn.nodemanager.remote-app-log-dir 属性代表历史日志转移到HDFS上的目录路径，默认路径为 /tmp/logs，可以用户自定义配置。

单位：秒

重启resourcemanager、nodemanager和historyserver：

sbin/yarn-daemon.sh stop resourcemanager

sbin/yarn-daemon.sh stop nodemanager

sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

sbin/mr-jobhistory-daemon.sh start historyserver

12、HDFS用户权限检查

配置：hdfs-site.xml，指定不检测用户权限：

<property>

       <name>dfs.permissions.enabled</name>

       <value>false</name>

</property>

配置：core-site.xml，指定Hadoop的http静态用户名：

<property>

        <name>hadoop.http.staticuser.user</name>

        <value>beifeng</value>

</property>

重启namenode、datanode、resourcemanager、nodemanager和historyserver：

sbin/hadoop-daemon.sh stop namenode

sbin/hadoop-daemon.sh stop datanode

sbin/yarn-daemon.sh stop resourcemanager

sbin/yarn-daemon.sh stop nodemanager

sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

sbin/mr-jobhistory-daemon.sh start historyserver

13、SecondaryNameNode

NameNode启动后的元数据存放在内存中，启动前的元数据存放在本地文件系统文件中。

HDFS格式化后生成fsimage镜像文件，其中存放文件系统元数据，NameNode会读取此元数据，并存放在内存中。

edits文件，编辑日志文件，用于保存用户对于HDFS文件系统的每一步行为操作。

NameNode启动后，先读取fsimage镜像文件，得到元数据，再读取edits日志文件，数据就不会丢失。

一般工作中NameNode不太会轻易的重启或者关闭，所以用户对于HDFS的操作行为越多，edits文件会越来越大，导致再次重启读取时间过长。

SecondaryNameNode用于减少NameNode重启的时间，合并fsimage文件和edits文件，SecondaryNameNode读取两类文件，加载到内存，写到一个新的fsimage镜像文件，然后再生成一个edits编辑日志文件，每隔一段时间将新生成的fsimage和新生成的edits合并成一个fsimage镜像文件，即每隔一段时间获取HDFS元数据的快照，这样NameNode重启只需要读取SecondaryNameNode最新生成的fsimage镜像文件即可，读取镜像文件比读取日志文件快很多。

hdfs-site.xml

<property>

       <name>dfs.namenode.secondary.http-address</name>

       <value>hadoop-senior.ibeifeng.com:50090</value>

</property>

启动命令：$ sbin/hadoop-daemon.sh start secondarynamenode

14、文件存放地址

块文件存放地址：/opt/modules/hadoop-2.5.0/data/tmp/dfs/data/current/BP-2012260383-192.168.74.128-1516569449179/current/finalized

镜像文件、日志文件存放地址：/opt/modules/hadoop-2.5.0/data/tmp/dfs/name/current

可以在hdfs-site.xml中指定fsimage文件的路径：<name>dfs.namenode.name.dir</name>

在实际的工作中这个目录可以多配几个，保证元数据信息的安全。

dfs.blocksize自定义块大小属性（单位字节），在hdfs-site.xml中

15、SSH免密码登陆

使用sbin/start-dfs.sh脚本文件启动namenode、datanode和secondarynamenode时，需要输入用户密码，使用SSH免密码登陆的话，就给用户生成公钥和私钥，用户将自己的公钥储存在远程主机上，将公钥发到需要登陆的服务器，当需要登陆时，远程主机会向用户发送一段随机字符串，用户用自己的私钥加密后，再发回去，远程主机用事先存储的公钥进行解密，如果解密成功，就证明用户是可信的，直接允许登陆shell，不再要求密码。

配置SSH免密码登陆：

cd home/beifeng/.ssh

ssh-keygen -t rsa

-t 代表指定加密类型，rsa代表加密类型中的一种，该命令可以直接写为ssh-keygen，因为系统默认的就是rsa类型。

该命令生成id_rsa和id_rsa.pub文件，其中id_rsa是私钥，id_rsa.pub是公钥。

ssh-copy-id hadoop-senior.ibeifeng.com

即生成authorized_keys和known_hosts文件，其中authorized_keys是向远程主机发送的用户公钥，known_hosts是记录文件，有记录文件就不需要再输入密码了。

Linux中的用户主目录权限一般为700或755，.ssh一般权限为700。不要随意更改用户主目录的权限、.ssh目录权限以及下面的公钥和秘钥文件的权限，随意更改会直接导致ssh免密码登录失效。

16、Hadoop配置常见错误

（1）集群ID不一致，即

NameNode的集群ID：/opt/modules/hadoop-2.5.0/data/tmp/dfs/name/current/VERSION

DataNode的集群ID：/opt/modules/hadoop-2.5.0/data/tmp/dfs/data/current/VERSION

两文件中的ClusterID不一致，这是由于多次格式化导致的。

解决方法：如果需要再次格式化，需要先删除data/tmp/下的所有文件，再进行格式化。也可以依据NameNode中的ClusterID来修改DataNode中的ClusterID。

VERSION文件内容：

namespaceID=1449791764         //文件系统的唯一标识符，在格式化后生成的

clusterID=CID-dc0c2c65-03fe-4592-bb75-3ad9c99e7974          //集群ID，每个集群都会有一个唯一的ID

cTime=0           //表示NameNode创建的时间，之后如果更新了会更新时间戳

storageType=NAME_NODE

blockpoolID=BP-707742197-192.168.189.130-1492844537644

layoutVersion=-57

（2）进程启动之后消失了

解决方法：首先去看logs下的log日志，哪个进程出错就去看哪个进程对应的log文件，注意查看日志的时候需要查看最新的时间点的日志信息，或者删除原来logs文件夹下的旧的日志，再重新启动进程生成最新的日志文件。

（3）端口号被占用，使用netstat -tlun查看端口信息，是否已经在监听状态。

（4）多用户混用。即/tmp目录下有多个用户的pid，多个用户在各自的环境中启动了同一个进程，造成pid文件冲突。

解决方法：将/tmp目录下的.pid文件全部删除，再用一个用户启动进程，生成新的.pid文件。

（5）主机名不能有下划线，有下划线直接报错。

（6）权限问题。一定要注意所有的目录的所有者和所属组都是统一的一个用户。

（7）HDFS的安全模式。有些时候非正常的操作或者跑任务也会造成HDFS进入安全模式。

（8）配置细节问题。检查配置文件，IP、主机名、映射等等是否配置正确。

17、Hadoop配置文件

Hadoop配置文件分为默认的和自定义的，每个模块对应一个文件。

系统启动会先加载默认配置文件。默认配置文件存放在jar包中，/opt/modules/hadoop-2.5.0/share/hadoop/common/hadoop-common-2.5.0.jar中存放有core-default.xml，/opt/modules/hadoop-2.5.0/share/hadoop/hdfs/hadoop-hdfs-2.5.0.jar中存放有hdfs-default.xml，/opt/modules/hadoop-2.5.0/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.5.0.jar中存放有mapred-default.xml，/opt/modules/hadoop-2.5.0/share/hadoop/yarn/hadoop-yarn-common-2.5.0.jar中存放有yarn-default.xml。

自定义配置文件保存在etc/hadoop路径下，优先级高于默认配置文件，如果自定义配置文件中有配置，会覆盖默认配置文件中的相应属性。

18、安装rz工具

切换到root用户后，用yum安装lrzsz。rz工具用于将Windows中的文件上传到Linux虚拟机中，如CentOS中，sz工具用于将Linux虚拟机中的文件下载到Windows本地，只能在远程工具中使用，不能在虚拟机中使用。

su

password:

yum -y install lrzsz

19、遇到的问题

我的虚拟机IP地址为192.168.74.128，hostname为hadoop-senior.ibeifeng.com，在成功启动了namenode、datanode、resourcemanager、nodemanager、historyserver之后，物理机的浏览器可以输入http://192.168.74.128:50070后可以正常访问HDFS管理界面，但是输入http://hadoop-senior.ibeifeng.com:50070之后提示“网页无法访问”。原因是我的物理机上的C:\\Windows\System32\drivers\etc\下的hosts文件没有做虚拟机的主机名和虚拟机的IP地址的映射，用Administrator账户登录，并修改hosts文件即可。

20、Hadoop的本地库

执行Hadoop命令报出如下警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

原因是由于native库是由发行者在与我们不同的系统上编译的，导致在我们的系统上native库无法识别。信息如下：

Subversion http://svn.apache.org/repos/asf/hadoop/common -r 1616291

Compiled by jenkins on 2014-08-06T17:31Z

Compiled with protoc 2.5.0

该信息中并没有获取到这位编译者是在什么系统上编译Hadoop源码的。

解决方法一：编译Hadoop的源码，但编译源码非常受网络环境的影响。

解决方法二：直接替换编译好的native本地库。

但要注意：不要直接拷贝naive到lib下，以免产生冲突，可以先删除原来的目录再拷贝过来，或者先重命名旧的native再拷贝过来新的native。