spark 内存溢出

作者: 我的男神是帅比i
来源: 51数据库
2020-09-28

1 加内存，简单粗暴
2 将rdd的数据写入磁盘不要保存在内存之中
3 如果是collect操作导致的内存溢出，可以增大 Driver的 memory 参数

　　storm用于处理高速、型数据流布式实计算系统hadoop添加靠实数据处理功能 spark采用内存计算迭代批处理发允许数据载入内存作反复查询外融合数据仓库流处理图形计算等种计算范式spark构建hdfs能与hadoop结合rdd特点 hadoop前数据管理标准运用前商业应用系统轻松集结构化、半结构化甚至非结构化数据

推荐阅读