如何查看spark版本
- 作者: 龍族至尊
- 来源: 51数据库
- 2020-09-23
Spark的Web监控页面
在SparkContext中可以看到如下代码：
首先是创建一个Spark Application的Web监控实例对象：
然后bind方法会绑定一个web服务器：
可以看出我们使用Jetty服务器来监控程序的运行和显示Spark集群的信息的。
100只是传给example.jar的程序参数； 以--master指定的master url为准； executor-memory是给每个executor指定使用的内存；total-executor-cores 这个参数是所有的executor使用的总cpu核数。这两个参数需要根据你的机器配置情况以及spark程序的...
在SparkContext中可以看到如下代码：
首先是创建一个Spark Application的Web监控实例对象：
然后bind方法会绑定一个web服务器：
可以看出我们使用Jetty服务器来监控程序的运行和显示Spark集群的信息的。
100只是传给example.jar的程序参数； 以--master指定的master url为准； executor-memory是给每个executor指定使用的内存；total-executor-cores 这个参数是所有的executor使用的总cpu核数。这两个参数需要根据你的机器配置情况以及spark程序的...
推荐阅读
