spark parallelize
- 作者: 太囹昂
- 来源: 51数据库
- 2020-09-23
Spark主要提供了两种函数：parallelize和makeRDD：
1）parallelize的声明：
def parallelize[T: ClassTag](
seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T]
2）makeRDD的声明：
def makeRDD[T: ClassTag](
seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T]
def makeRDD[T: ClassTag](seq: Seq[(T, Seq[String])]): RDD[T]
3）区别：
A）makeRDD函数比parallelize函数多提供了数据的位置信息。
1）parallelize的声明：
def parallelize[T: ClassTag](
seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T]
2）makeRDD的声明：
def makeRDD[T: ClassTag](
seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T]
def makeRDD[T: ClassTag](seq: Seq[(T, Seq[String])]): RDD[T]
3）区别：
A）makeRDD函数比parallelize函数多提供了数据的位置信息。
推荐阅读
