svm mapreduce

作者: 只愿一生无悔付出
来源: 51数据库
2020-10-04

集群建立好之后，最好不要再master节点上直接访问提交作业，你可以通过hadoop客户端访问HDFD以及提交作业，只需要你部署hadoop 的conf目录以及bin,lib目录即可，最简单的方法，直接拷贝一你master的hadoop目录到任意机器，就是你的客户端机器，设置HADOOP_HOME环境变量即可，或者不用设置也行，就可以访问

hadoop主要实现了两部分，一是分布式存储系统，也就是HDFS,可以让你把东西存储到多台机器上，而你却感觉在使用一台机器一样，二是分布式计算框架MapReduce(第二代为YARN)，也可以让你很简单的编写出并行运行的代码。

推荐阅读