hadoop与spark与storm

作者: 俏皮女神_经
来源: 51数据库
2020-11-16

展开全部
Hadoop
是一来个生态圈。源
里面由
很多如
mapreduce
hive
hbase
hdfs
组成。bai
storm
是流式处理的du老大。
速度快zhi
即时通讯。
淘宝的JStorm
可以达dao到百万级每秒。
spark
是对
hadoop
的
MR
的改进。
由于
MR
需要不断的将数据落盘，互相拉取导致
IO
大。
降低少量数据的运算速度（落盘是为了大量数据时
出错可以在错误的地方继续处理
，而
Spark
只能重来）。
spark
采用的内存计算。
不需要中间数据落盘。所以速度会快，
非常适合机器学习用（几G
~十几个G）。
但是注意新手搞
spark
非常容易导致死机。

推荐阅读