怎么学习hadoop
- 作者: 我妈不知道我这么屌
- 来源: 51数据库
- 2020-10-01
1.选择一个Hadoop的版本，然后阅读文档了解Hadoop：What's Hadoop, Why Hadoop exists；
2.安装Hadoop；
3.在Hadoop文档里面有Hadoop Command的资料，I.hdfs command，II.job command，执行这两方面的命令；
4.Hadoop Files，看看Hadoop文件的概念，关注它的分布式特点，然后看看Reduce函数输出的文件；
5.写WordCount与Advanced WordCount；
6.写HDFS io，如copy，sequenceFile等；
7.写Sort程序；
8.写MRBench程序（这个网上有很多例子），了解MRBench；
9.使用RandomTextWriter；
10.仿写SequenceFileInputFormat、SequenceFileOutputFormat、SequenceFileRecordReader；
权威指南的理论性完备性很强，还是很好，需要一看，当然如果想快速动手进入状态，看看 hadoop开发者专刊或者他人的技术博客是不错的选择，里面告诉你一步步搭建自己的伪分布式系统，如何编译源码，如何实验hadoop自带的程序，如何动手写自己的第一个mapreduce程序，用不了多久就能进入状态了，在一边看得过程中一边学习原理，有问题可以查看很多人的技术博客，如果时间有空余可以研究下hadoop源码，当然了，任何知识，都是要花时间来学习的。官方的guide手册当然是最好的，也需要看看。
了解更多开源相关，可以去LUPA社区看看。
推荐一些hadoop家族系列文章，主要介绍hadoop家族产品，常用的项目包括hadoop, hive, pig, hbase, sqoop, mahout, zookeeper, avro, ambari, chukwa，新增加的项目包括，yarn, hcatalog, oozie, cassandra, hama, whirr, flume, bigtop, crunch, hue等。
一、学习路线图
hadoop家族学习路线图 开篇必读
hive学习路线图
mahout学习路线图
二、编程实践
hadoop历史版本安装
用maven构建hadoop项目
hadoop编程调用hdfs
用maven构建mahout项目
mahout推荐算法api详解
用mapreduce实现矩阵乘法
从源代码剖析mahout推荐引擎
mahout分步式程序开发 基于物品的协同过滤itemcf
mahout分步式程序开发 聚类kmeans
pagerank算法并行实现
三、案例分析
海量web日志分析 用hadoop提取kpi统计指标
用hadoop构建电影推荐系统
用mahout构建职位推荐引擎
mahout构建图书推荐系统
peoplerank从社交网络中发现个体价值
个人学太慢，而且很容易半途而废，建议参加网络课程，和大家一起学习讨论，这样学起来很快
首先搭建实验平台，然后找些学习材料，在上面做些开发实验，如果遇到问题再找解决问题的办法，这是最快容易上手的办法
2.安装Hadoop；
3.在Hadoop文档里面有Hadoop Command的资料，I.hdfs command，II.job command，执行这两方面的命令；
4.Hadoop Files，看看Hadoop文件的概念，关注它的分布式特点，然后看看Reduce函数输出的文件；
5.写WordCount与Advanced WordCount；
6.写HDFS io，如copy，sequenceFile等；
7.写Sort程序；
8.写MRBench程序（这个网上有很多例子），了解MRBench；
9.使用RandomTextWriter；
10.仿写SequenceFileInputFormat、SequenceFileOutputFormat、SequenceFileRecordReader；
权威指南的理论性完备性很强，还是很好，需要一看，当然如果想快速动手进入状态，看看 hadoop开发者专刊或者他人的技术博客是不错的选择，里面告诉你一步步搭建自己的伪分布式系统，如何编译源码，如何实验hadoop自带的程序，如何动手写自己的第一个mapreduce程序，用不了多久就能进入状态了，在一边看得过程中一边学习原理，有问题可以查看很多人的技术博客，如果时间有空余可以研究下hadoop源码，当然了，任何知识，都是要花时间来学习的。官方的guide手册当然是最好的，也需要看看。
了解更多开源相关，可以去LUPA社区看看。
推荐一些hadoop家族系列文章，主要介绍hadoop家族产品，常用的项目包括hadoop, hive, pig, hbase, sqoop, mahout, zookeeper, avro, ambari, chukwa，新增加的项目包括，yarn, hcatalog, oozie, cassandra, hama, whirr, flume, bigtop, crunch, hue等。
一、学习路线图
hadoop家族学习路线图 开篇必读
hive学习路线图
mahout学习路线图
二、编程实践
hadoop历史版本安装
用maven构建hadoop项目
hadoop编程调用hdfs
用maven构建mahout项目
mahout推荐算法api详解
用mapreduce实现矩阵乘法
从源代码剖析mahout推荐引擎
mahout分步式程序开发 基于物品的协同过滤itemcf
mahout分步式程序开发 聚类kmeans
pagerank算法并行实现
三、案例分析
海量web日志分析 用hadoop提取kpi统计指标
用hadoop构建电影推荐系统
用mahout构建职位推荐引擎
mahout构建图书推荐系统
peoplerank从社交网络中发现个体价值
个人学太慢，而且很容易半途而废，建议参加网络课程，和大家一起学习讨论，这样学起来很快
首先搭建实验平台，然后找些学习材料，在上面做些开发实验，如果遇到问题再找解决问题的办法，这是最快容易上手的办法
推荐阅读
