storm spark flink

作者: 东京热到底有多热
来源: 51数据库
2020-09-23

Spark由Scala写成，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点。
Storm由java和clojure写成，storm的优点是全内存计算，因为内存寻址速度是硬盘的百万倍以上，所以storm的速度相比较hadoop非常快。
hadoop是实现了mapreduce的思想，将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中，所以hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。

　　hadoop 当前大数据管理标准之2113一，运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚5261至非结构化数据集还是离线处理，4102批处理比较多，用的比较广的是hive
storm 用于处理高速、大型数据流的分布1653式实时计算系统。内为hadoop添加了可靠的实时数据处理功能
spark基于内存的，吞吐量比容storm大一点。而且spark集成的sparksql，mllib，graph貌似比较方便！

推荐阅读