spark 测试

作者: 總bei傷嗐
来源: 51数据库
2020-09-24

启动Spark集群，启动后的WebUI如下

启动Spark Shell

Web控制台查看shell的情况

把Spark安装目录“README.md”拷贝到HDFS系统上在Master节点上新启动一个命令终端，并进入到Spark安装目录下

把文件拷贝到HDFS的root文件夹下

观察一下Web控制台，会发现该文件已经成功上传到HDFS上

在Spark shell之下操作编写代码，操作我们上传的“README.md”

　　打开spark-shell，然后里面有默认的sparkcontext，直接用sc就可以使用
比如 sc.textfile(hdfs://....)
这样就可以使用spark-shell操作spark了

推荐阅读