spark gc
- 作者: Guardian丶J
- 来源: 51数据库
- 2020-09-25
GC全称Garbage Collection，是spark的垃圾回收机制
我在实际中遇到两种情况：
1）给每个task分配的内存的确很少，这时候只要加大executor的内存容量即可解决；
2）机器负载太重，cpu占用过高，导致没有cpu资源进行gc，从而gc时间长。（可以加入sepculate机制）
我在实际中遇到两种情况：
1）给每个task分配的内存的确很少，这时候只要加大executor的内存容量即可解决；
2）机器负载太重，cpu占用过高，导致没有cpu资源进行gc，从而gc时间长。（可以加入sepculate机制）
推荐阅读
