Spark比mapreduce

作者: 亖呉?盀
来源: 51数据库
2020-09-21

a.由于MapReduce的shuffle过程需写磁盘，比较影响性能；而Spark利用RDD技术，计算在内存中进行.b.MapReduce计算框架(API)比较局限,而Spark则是具备灵活性的并行计算框架.c.再说说SparkAPI方面-Scala:ScalableLanguage,据说是进行并行计算的最好的语言.与Java相比，极大的减少代码量.

　　mapreduce多与磁盘交互,计算的中间结果会在磁盘上读取,特别是shuffle时候,而spark会在内存中计算,如果内存不足才会放入磁盘缓存,所以,总的来说,spark比mapreduce快

推荐阅读