spark 广播

作者: a神话业务客服
来源: 51数据库
2020-09-24

broadcast 既有名词意思又有动词意思 broadcasting 是 broadcast的动词的动名词

　　主要用途有两种：
1）比如对于大小表进行笛卡尔积的时候。如果直接使用 rdda join rddb，这种性能是很差的。而使用了broadcast，将小表broadcast出去，与大表的每个partition进行join，性能会高很多。
2）有一些配置，或者基础数据，直接broadcast出去，这样所有接收到的rdd就有该配置，或者基础数据了。

推荐阅读