spark api

作者: 哎呀就一个名字
来源: 51数据库
2020-09-20

其实spark的核心就是RDD，只要你知道所有在RDD上的操作才会被运行在cluster上就好了。其他的和正常的编程没啥区别。至于API，真要学也就是扫一下目录看看都有啥class就行了，用的时候在深入。尽管Spark本身是用Scala写的，但你可以用一些API使得你的工作容易些。如果你用过Python或者Scala的shells，那么你就已经在用这些语言的API了。你需要做的就是将你的程序保存为脚本而仅需很少的修改。
如果你在寻找构建更加健壮的程序，你可以使用Java API。即使你已经用Java完全实现了你的程序，你仍然可以在shell中勾画出的你的想法以确保在将其部署到你的集群之前你的算法是正确的。Spark发行了一些库：Spark SQL，Spark Streaming(建立在Spark上的实时计算框架)，the MLlib machine learning library(机器学习库)和GraphX。
你可以通过使用一些易用的API来构建复杂的应用并且实时部署它们。你甚至可以以混合和匹配技术来构建应用程序或者大数据管道，例如从机器学习的结果生成图的应用。由 Hadoop平台支持的 Apache Spark 提供了强大和灵活性。通过完全支持Spark栈的MapR分布，对程序员很容易地实时创建一个复杂的大数据应用是可能的，就像批处理数据等等。