spark调优
- 作者: 内涵女神苏晴儿爷
- 来源: 51数据库
- 2020-09-27
问题1，关于JVM GC设置的这一大串参数，是跟在 java 启动命令行中。作用是设置 java 虚拟机启动参数。
比如： java -jar basesvr.jar -Xmx5g -Xms5g -XX:+UseG1GC -XX:+PrintFlagsFinal -XX:+PrintReferenceGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintAdaptiveSizePolicy -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark -Xms88g -Xmx88g
问题2，有关spark.streaming.unpersist
这是配置在 spark-defaults.conf 文件中的，Spark命令：spark-submit会从conf/spark-defaults.conf读取缺省的配置参数，并传给应用
配置文件中，每一行包括一个键和一个值， 由空格分隔. 比如下面的例子:
spark .master spark: //5.6.7.8:7077
spark .executor .memory 512 m
spark .eventLog .enabled true
spark .serializer org .apache .spark .serializer .KryoSerializer
spark.streaming.unpersist true
比如： java -jar basesvr.jar -Xmx5g -Xms5g -XX:+UseG1GC -XX:+PrintFlagsFinal -XX:+PrintReferenceGC -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintAdaptiveSizePolicy -XX:+UnlockDiagnosticVMOptions -XX:+G1SummarizeConcMark -Xms88g -Xmx88g
问题2，有关spark.streaming.unpersist
这是配置在 spark-defaults.conf 文件中的，Spark命令：spark-submit会从conf/spark-defaults.conf读取缺省的配置参数，并传给应用
配置文件中，每一行包括一个键和一个值， 由空格分隔. 比如下面的例子:
spark .master spark: //5.6.7.8:7077
spark .executor .memory 512 m
spark .eventLog .enabled true
spark .serializer org .apache .spark .serializer .KryoSerializer
spark.streaming.unpersist true
推荐阅读
