hadoop机制
- 作者: 00左中左00
- 来源: 51数据库
- 2020-09-24
Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。然后Hadoop还包括的项目：
mapreduce分布式处理模型；HDFS分布式文件系统；pig数据流语言和运行环境；hive分布式按列存储的数据仓库；HBase,ZooKeeper,Sqoop
hadoop的优缺点介绍：
（一） 优点：
（一）高可靠性。hadoop按位存储和处理数据的能力值得人们信赖;
（二）高扩展性。hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
（三）高效性。hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
（四）高容错性。hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
（二） 缺点：
（一）不适合低延迟数据访问。
（二）无法高效存储大量小文件。
（三）不支持多用户写入及任意修改文件。
了解更多开源相关，去lupa社区看看吧。
mapreduce分布式处理模型；HDFS分布式文件系统；pig数据流语言和运行环境；hive分布式按列存储的数据仓库；HBase,ZooKeeper,Sqoop
hadoop的优缺点介绍：
（一） 优点：
（一）高可靠性。hadoop按位存储和处理数据的能力值得人们信赖;
（二）高扩展性。hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
（三）高效性。hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
（四）高容错性。hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
（二） 缺点：
（一）不适合低延迟数据访问。
（二）无法高效存储大量小文件。
（三）不支持多用户写入及任意修改文件。
了解更多开源相关，去lupa社区看看吧。
推荐阅读
