mapreduce入门
- 作者: 小宝很社会
- 来源: 51数据库
- 2020-09-20
在平台方面，hadoop环境需要搭建在linux服务器上，首先需要了解Linux的基础知识与命令；
开发方面，hadoop首先是个提供大数据存储的平台，因此我们要使用其存储功能，因此需要掌握其数据操作的api（scala api 或者 java api）；其次是hadoop是大数据分析的数据源，熟悉对大数据的 分析/使用 方法（spark/map-reduce技术，都有scala 和 java两种api）。
因此，学习hadoop必须掌握scala或者java中的一门开发语言，然后在学习hadoop数据操作命令，api，spark/map-reduce分析技术。
另外，还可以学习hbase这种基于hdfs的结构化大数据存储技术，和flume大数据采集技术。
要求有java和linux基础，如果是掌握hadoop的使用，java基础好就可以了，看看hadoop权威指南。想深入学习源码的话，就需要些网络编程的知识了。不过自学hadoop真心比较困难，我也是初学，安装环境搞了将近一个月，其中各种问题，建议还是找个性价比较高的学习机构，挺说大讲台不错。
开发方面，hadoop首先是个提供大数据存储的平台，因此我们要使用其存储功能，因此需要掌握其数据操作的api（scala api 或者 java api）；其次是hadoop是大数据分析的数据源，熟悉对大数据的 分析/使用 方法（spark/map-reduce技术，都有scala 和 java两种api）。
因此，学习hadoop必须掌握scala或者java中的一门开发语言，然后在学习hadoop数据操作命令，api，spark/map-reduce分析技术。
另外，还可以学习hbase这种基于hdfs的结构化大数据存储技术，和flume大数据采集技术。
要求有java和linux基础，如果是掌握hadoop的使用，java基础好就可以了，看看hadoop权威指南。想深入学习源码的话，就需要些网络编程的知识了。不过自学hadoop真心比较困难，我也是初学，安装环境搞了将近一个月，其中各种问题，建议还是找个性价比较高的学习机构，挺说大讲台不错。
推荐阅读
