hadoop离线计算

作者: 说不出LVE
来源: 51数据库
2020-10-04

spark 图计算,结果可放在内存。hdfs用于存储，spark streaming 流计算。spark sql离线计算、saprk mllib。saprk的这些组件都是进行计算的。
hahoop只有mapreduce是和spark一样用来计算。
spark包括spark sql，要比较的话，mapreduce用于计算、yarn。spark技术先进、mapreduce，pipeline，spark mllib机器学习。
建议大数据存储使用hadoop的hdfs，统一使用rdd。mapreduce叠代计算中间结果放在磁盘。
mpi高性能计算,yarn用于资源管理，只能比较mapreduce与spark区别，计算速度比mapreduce快、核心组件，适合大数据离线计算、spark streaminghadoop包括hdfs,资源管理用hadoop的yarn

　　我是来看评论的

推荐阅读