hadoop对比

作者: 隔壁的隔壁和我的隔壁住隔壁
来源: 51数据库
2020-11-14

展开全部抄
Hadoop
是一个生态袭圈。bai
里面由
很多如
mapreduce
hive
hbase
hdfs
组成。
storm
是流式处理du的老大zhi。
速度快
即时通讯dao。
淘宝的JStorm
可以达到百万级每秒。
spark
是对
hadoop
的
MR
的改进。
由于
MR
需要不断的将数据落盘，互相拉取导致
IO
大。
降低少量数据的运算速度（落盘是为了大量数据时
出错可以在错误的地方继续处理
，而
Spark
只能重来）。
spark
采用的内存计算。
不需要中间数据落盘。所以速度会快，
非常适合机器学习用（几G
~十几个G）。
但是注意新手搞
spark
非常容易导致死机。

推荐阅读