用户登录
用户注册

分享至

spark内存管理机制

  • 作者: 多喝威猛能丰胸
  • 来源: 51数据库
  • 2020-09-28
我有64内存,spark设置了40G;这个是自己根据需求设定的;
  spark-env.sh中的这三个参数都设置一下,是内存、cpu的关系
  export SPARK_EXECUTOR_INSTANCES=1
  export SPARK_EXECUTOR_MEMORY=40G
  export SPARK_EXECUTOR_CORES=14



  storm用于处理高速、型数据流布式实计算系统hadoop添加靠实数据处理功能 spark采用内存计算迭代批处理发允许数据载入内存作反复查询外融合数据仓库流处理图形计算等种计算范式spark构建hdfs能与hadoop结合rdd特点 hadoop前数据管理标准运用前商业应用系统轻松集结构化、半结构化甚至非结构化数据
软件
前端设计
程序设计
Java相关