flink storm spark
- 作者: 大湿胸mw
- 来源: 51数据库
- 2020-09-23
Hadoop 是一个生态圈。
里面由 很多如 mapreduce hive hbase hdfs 组成。
storm 是流式处理的老大。 速度快 即时通讯。 淘宝的JStorm 可以达到百万级每秒。
spark 是对 hadoop 的 MR 的改进。 由于 MR 需要不断的将数据落盘，互相拉取导致 IO 大。 降低少量数据的运算速度（落盘是为了大量数据时 出错可以在错误的地方继续处理 ，而 Spark 只能重来）。 spark 采用的内存计算。 不需要中间数据落盘。所以速度会快， 非常适合机器学习用（几G ~十几个G）。 但是注意新手搞 spark 非常容易导致死机。
里面由 很多如 mapreduce hive hbase hdfs 组成。
storm 是流式处理的老大。 速度快 即时通讯。 淘宝的JStorm 可以达到百万级每秒。
spark 是对 hadoop 的 MR 的改进。 由于 MR 需要不断的将数据落盘，互相拉取导致 IO 大。 降低少量数据的运算速度（落盘是为了大量数据时 出错可以在错误的地方继续处理 ，而 Spark 只能重来）。 spark 采用的内存计算。 不需要中间数据落盘。所以速度会快， 非常适合机器学习用（几G ~十几个G）。 但是注意新手搞 spark 非常容易导致死机。
推荐阅读
