hadoop瓶颈

作者: 疯狂小马一
来源: 51数据库
2020-10-04

主要解决了海量数据的存储、分析和学习问题，因为随着数据的爆炸式增长，一味地靠硬件提高数据处理效率及增加存储量，不仅成本高，处理高维数据的效率也不会提高很多，遇到了瓶颈了，hadoop的搭建只需要普通的pc机，它的hdfs提供了分布式文件系统，mapreduce是一个并行编程模型，为程序员提供了编程接口，两者都屏蔽了分布式及并行底层的细节问题，用户使用起来简单方便。

　　现在hadoop1.0都出了
简单说一下吧
你的java jdk的环境变量没有设置吧？
最好按以下步骤再做一遍：
1 用root用户安装jdk1.6以上
2 用root用户创建hadoop用户
3 在hadoop用户下安装hadoop(你上面说的1到4)
4 修改/home/hadoop/.bash_profile将jdk和hadoop的环境变量设置好
5 安装ssh(伪集群也需要ssh)

推荐阅读