hadoop的集群安装

作者: 一叶知秋8230477
来源: 51数据库
2020-09-30

既然完成了安装，你要做的无非就两样：
1. 数据存在哪？
2. 怎么计算处理数据？
对于前者，你可以使用hbase或者hive作为数据存储，当然你也可以使用hadoop自己的分布式存储系统hdfs，不过hbase和hive可以提供给你数据库类的结构存储，更方便操作。
对于后者，你可以使用hadoop自己的计算框架Map-Reduce，这里无所谓数据存储在哪，你可以使用MR计算处理离线数据；如果使用hive，也可以使用hive的hql直接以sql方式进行统计计算离线数据线；也可以使用storm等处理实时数据流。当然以上几种计算，用Spark一样可以处理，这也是一个相当于MR这个等级的计算框架。

　　1、首先启动hadoop集群，查看你的进程是否都启动起来

3884 jps
1776 resourcemanager
1613 secondarynamenode
1872 nodemanager
1467 datanode
1377 namenode
2、然后创建一个目录，比如 /djt ,然后上传一个文件djt.txt到该目录下
如果上面步骤都正常，代表hadoop伪分布集群安装成功！

推荐阅读