spark架构详解

作者: 你家白妮
来源: 51数据库
2020-09-28

首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施:
它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不需要购买和维护昂贵的服务器硬件。
同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。
两者可合可分
Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。所以这里我们完全可以抛开Spark，使用Hadoop自身的MapReduce来完成数据的处理。
相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，毕竟它没有提供文件管理系统，所以，它必须和其他的分布式文件系统进行集成才能运作。这里我们可以选择Hadoop的HDFS,也可以选择其他的基于云的数据系统平台。但Spark默认来说还是被用在Hadoop上面的，毕竟，大家都认为它们的结合是最好的。

　　如果只是应用hadoop/spark进行数据分析，那么javase只需要基本了解就行了，重点在于深入理解hadoop/spark各自的计算模型和实现原理，以及常见的数据分析方法和分布式算法。实际的分析工作，甚至可以不使用java，使用各自的streaming接口用任意语言编写。另外，spark与hadoop不同，原生语言是scala。

如果要深入学习两个框架的实现，阅读源代码的话，那肯定就得学习java/scala了，建议在掌握基础之后边看代码边查相应的语言特性。

对初学者，建议还是从应用入手，在使用的过程中，自然地一步步了解实现。