spark 缓存
- 作者: 热情的变型金缸
- 来源: 51数据库
- 2020-09-21
spark缓存清理机制：
MetadataCleaner对象中有一个定时器，用于清理下列的元数据信息：
MAP_OUTPUT_TRACKER：Maptask的输出元信息SPARK_CONTEXT：persistentRdds中的rddHTTP_BROADCAST, http广播的元数据
BLOCK_MANAGER：blockmanager中存储的数据SHUFFLE_BLOCK_MANAGER：shuffle的输出数据BROADCAST_VARS：Torrent方式广播broadcast的元数
你好！
搜一下：怎么清除Spark的缓存
如有疑问，请追问。
MetadataCleaner对象中有一个定时器，用于清理下列的元数据信息：
MAP_OUTPUT_TRACKER：Maptask的输出元信息SPARK_CONTEXT：persistentRdds中的rddHTTP_BROADCAST, http广播的元数据
BLOCK_MANAGER：blockmanager中存储的数据SHUFFLE_BLOCK_MANAGER：shuffle的输出数据BROADCAST_VARS：Torrent方式广播broadcast的元数
你好！
搜一下：怎么清除Spark的缓存
如有疑问，请追问。
推荐阅读
