spark 版本

作者: 菊花残满腚伤-一枪热流穿断肠
来源: 51数据库
2020-09-26

Spark在2014年5月30日发布了里程碑式的1.0.0版本！
从2011年至今已经发布了17个版本；
2014年发布的版本都能够与Hadoop完美整合；

　　spark是uc berkeley amp lab所开源的类hadoop mapreduce的通用的并行，spark，拥有hadoop mapreduce所具有的优点；但不同于mapreduce的是job中间输出结果可以保存在内存中，从而不再需要读写hdfs，因此spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。
spark 是一种与 hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 spark 在某些工作负载方面表现得更加优越，换句话说，spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
spark 是在 scala 语言中实现的，它将 scala 用作其应用程序框架。与 hadoop 不同，spark 和 scala 能够紧密集成，其中的 scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
尽管创建 spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 hadoop 的补充，可以在 hadoop 文件系统中并行运行。通过名为 mesos 的第三方集群框架可以支持此行为。spark 由加州大学伯克利分校 amp 实验室 (algorithms, machines, and people lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。