spark读取hdfs文件
- 作者: 欠我一场雪
- 来源: 51数据库
- 2020-09-28
spark加载本地文件只需要在textFile（“file：///”）操作，HDFS只是一个文件系统，不能操作本地文件，你可以把本地文件put到HDFS，然后在HDFS中进行操作。
spark加载本地文件是val rdd = sc.textfile( "file://opt/aaa.txt" )，其中/opt/aaa.txt可以替换成你的路径
spark加载本地文件是val rdd = sc.textfile( "file://opt/aaa.txt" )，其中/opt/aaa.txt可以替换成你的路径
推荐阅读
