spark读取本地文件
- 作者: 当时-我就懵B了
- 来源: 51数据库
- 2020-09-26
默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读
本地文件读取 sc.textFile("路径").在路径前面加上file:// 表示从本地文件系统读，如file:///home/user/spark/README.md
spark加载本地文件是val rdd = sc.textfile( "file://opt/aaa.txt" )，其中/opt/aaa.txt可以替换成你的路径
本地文件读取 sc.textFile("路径").在路径前面加上file:// 表示从本地文件系统读，如file:///home/user/spark/README.md
spark加载本地文件是val rdd = sc.textfile( "file://opt/aaa.txt" )，其中/opt/aaa.txt可以替换成你的路径
推荐阅读
