mapreduce模式

作者: 亖呉?盀
来源: 51数据库
2020-09-26

单机模式——是用来测试的
伪分布模式——主从节点在一台机器上，SSH+RPC，需要注意关闭防火墙，配置SSH免登录
完全分布模式——真正生产环境要的模式，需要配置主、从节点，关闭防火墙，配置SSH免登录注意要保证每个节点（机器）上的HADOOP配置项要一样

　　单机（本地）模式：这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个jvm上。这里同样没有dfs，使用的是本地文件系统。单机模式适用于开发过程中运行mapreduce程序，这也是最少使用的一个模式。
　　伪分布式模式：也是在一台单机上运行，但用不同的java进程模仿分布式运行中的各类结点(namenode,datanode,jobtracker,tasktracker,secondarynamenode)，伪分布式（pseudo）适用于开发和测试环境，在这个模式中，所有守护进程都在同一台机器上运行。
　　全分布式模式：全分布模式通常被用于生产环境，使用n台主机组成一个hadoop集群，hadoop守护进程运行在每台主机之上。这里会存在namenode运行的主机，datanode运行的主机，以及tasktracker运行的主机。在分布式环境下，主节点和从节点会分开。