mapreduce 平均数

作者: simon笑哈哈
来源: 51数据库
2020-10-01

spark 图计算,结果可放在内存。hdfs用于存储，spark streaming 流计算。spark sql离线计算、saprk mllib。saprk的这些组件都是进行计算的。
hahoop只有mapreduce是和spark一样用来计算。
spark包括spark sql，要比较的话，mapreduce用于计算、yarn。spark技术先进、mapreduce，pipeline，spark mllib机器学习。
建议大数据存储使用hadoop的hdfs，统一使用rdd。mapreduce叠代计算中间结果放在磁盘。
mpi高性能计算,yarn用于资源管理，只能比较mapreduce与spark区别，计算速度比mapreduce快、核心组件，适合大数据离线计算、spark streaminghadoop包括hdfs,资源管理用hadoop的yarn

　　我是来看评论的

推荐阅读