hadoop 多任务
- 作者: 一梦一轮回丶
- 来源: 51数据库
- 2021-04-08
Hadoop主要用来进行并行计算。
例如：一个大数据，有10GB。若集群中有10个计算节点，那么经过Hadoop框架拆分后，每个节点只需计算1GB的数据即可，这样大大减少了计算时间。像日志分析、PageRank计算等，一句话，就是将大任务分解为小任务。
在学习时，有两本书可以推荐给你：《Hadoop权威指南》、《实战Hadoop：开启通向云计算的捷径》。需要注意的地方就是将MapReduce框架掌握好，自己多写几个程序，API多看看。另外集群的配置参数也多学习学习。
我一开始学习的时候也是一头雾水，不过在自己写过几个程序后就觉得非常明朗了，所以你也要多实际应用应用。
例如：一个大数据，有10GB。若集群中有10个计算节点，那么经过Hadoop框架拆分后，每个节点只需计算1GB的数据即可，这样大大减少了计算时间。像日志分析、PageRank计算等，一句话，就是将大任务分解为小任务。
在学习时，有两本书可以推荐给你：《Hadoop权威指南》、《实战Hadoop：开启通向云计算的捷径》。需要注意的地方就是将MapReduce框架掌握好，自己多写几个程序，API多看看。另外集群的配置参数也多学习学习。
我一开始学习的时候也是一头雾水，不过在自己写过几个程序后就觉得非常明朗了，所以你也要多实际应用应用。
推荐阅读
