spark 7077
- 作者: 我家没隔壁
- 来源: 51数据库
- 2020-09-24
写Linux脚本
#!/bin/sh
if [ $# -lt 2 ] ;then
echo "Useage:$0 $1 "
exit
else
echo "wordcount is starting!"
spark-submit \
--master spark://spark:7077 \
--class WordCount \
--executor-memory 512m \
--total-executor-cores 6 \
~/input/WordCount.jar \
"$1" \
"$2"
echo "wordcount is stopped!"
fi
象
应该说这个和是不是spark项目没什么关系。
建议你使用intellij idea，在spark目录下执行"sbt/sbt gen-idea"，会自动生成.idea项目，导入即可。
idea我不熟，还需要做一些其他的插件配置(python, sbt等)和环境设置。
你也可以使用eclipse看，eclipse有scala ide，把spark项目当maven工程导入。但是子项目之间的依赖会有点问题，会报错。
推荐使用前者，向databricks的开发者看齐；我使用的是后者，我直接依赖了编译好的包就不会报错了，纯读源码的话也勉强可以跟踪和调试。
另外，我也看有的committer用vim看spark代码的，所以怎么看源码都无所谓，你熟悉就好，而且这和是不是spark项目也没什么关系。:)
#!/bin/sh
if [ $# -lt 2 ] ;then
echo "Useage:$0 $1 "
exit
else
echo "wordcount is starting!"
spark-submit \
--master spark://spark:7077 \
--class WordCount \
--executor-memory 512m \
--total-executor-cores 6 \
~/input/WordCount.jar \
"$1" \
"$2"
echo "wordcount is stopped!"
fi
象
应该说这个和是不是spark项目没什么关系。
建议你使用intellij idea，在spark目录下执行"sbt/sbt gen-idea"，会自动生成.idea项目，导入即可。
idea我不熟，还需要做一些其他的插件配置(python, sbt等)和环境设置。
你也可以使用eclipse看，eclipse有scala ide，把spark项目当maven工程导入。但是子项目之间的依赖会有点问题，会报错。
推荐使用前者，向databricks的开发者看齐；我使用的是后者，我直接依赖了编译好的包就不会报错了，纯读源码的话也勉强可以跟踪和调试。
另外，我也看有的committer用vim看spark代码的，所以怎么看源码都无所谓，你熟悉就好，而且这和是不是spark项目也没什么关系。:)
推荐阅读
