hadoop spark flink

作者: 原来名字可以那么
来源: 51数据库
2020-09-23

首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件，磁盘访问延迟约为内存访问延迟的75000倍。所以Storm更快。

注释：
1. 延时，指数据从产生到运算产生结果的时间，“快”应该主要指这个。
2. 吞吐，指系统单位时间处理的数据量。

storm的网络直传、内存计算，其时延必然比hadoop的通过hdfs传输低得多；当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间；因为storm是服务型的作业，也省去了作业调度的时延。所以从时延上来看，storm要快于hadoop。

从原理角度来讲：

Hadoop M/R基于HDFS，需要切分输入数据、产生中间数据文件、排序、数据压缩、多份复制等，效率较低。
Storm 基于ZeroMQ这个高性能的消息通讯库，不持久化数据。

　　spark与hadoop的比较我就不多说了，除了对硬件的要求稍高，spark应该是完胜hadoop（map/reduce）的。storm与spark都可以用于流计算，但storm对应的场景是毫秒级的统计与计算，而spark（stream）对应的是秒级的。这是主要的差别。