hadoop内存

最低1G，最好是2G以上

CentOS查看内存方法：
grep MemTotal /proc/meminfo
grep MemTotal /proc/meminfo | cut -f2 -d:
free -m |grep "Mem" | awk '{print $2}'
Free查看内存详解：

root@Linux /tmp]# free

第1行：
total 内存总数: 4149156
used 已经使用的内存数: 4130412
free 空闲的内存数: 18744
shared 当前已经废弃不用，总是0
buffers Buffer Cache内存数: 13220
cached Page Cache内存数: 2720160

关系：total = used + free
第2行：
-/+ buffers/cache的意思相当于：
-buffers/cache 的内存数：1397032 (等于第1行的 used - buffers - cached)
+buffers/cache 的内存数: 2752124 (等于第1行的 free + buffers + cached)

---

　　hadoop是apache软件基金会旗下的一个开源分布式计算平台。以hadoop分布式文件系统（hdfs，hadoop distributed filesystem）和mapreduce（google mapreduce的开源实现）为核心的hadoop为用户提供了系统底层细节透明的分布式基础架构。
对于hadoop的集群来讲，可以分成两大类角色：master和salve。一个hdfs集群是由一个namenode和若干个datanode组成的。其中namenode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的datanode管理存储的数据。mapreduce框架是由一个单独运行在主节点上的jobtracker和运行在每个集群从节点的tasktracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个job被提交时，jobtracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控tasktracker的执行。
从上面的介绍可以看出，hdfs和mapreduce共同组成了hadoop分布式系统体系结构的核心。hdfs在集群上实现分布式文件系统，mapreduce在集群上实现了分布式计算和任务处理。hdfs在mapreduce任务处理过程中提供了文件操作和存储等支持，mapreduce在hdfs的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了hadoop分布式集群的主要任务。