spark 环境搭建

作者: 浪荡子17752709
来源: 51数据库
2020-09-24

1. 环境准备

Eclipse 请不要使用最新的 Neon(4.6) ，太多Bug了。还是使用最新的 Mars(4.5) 系列吧
JDK 版本8.x （Linux推荐Oracle，没有测试过OpenJDK）
因为只是用Java，因此无需安装Scala及其相应的插件

2. 创建一个新的maven项目

3. pom.xml

org.apache.hadoop
hadoop-client
2.6.0

javax.servlet
*

org.apache.spark
spark-core_2.10
1.6.1

org.apache.spark
spark-streaming_2.10
1.6.1

org.apache.spark
spark-mllib_2.10
1.6.1

org.scala-lang
scala-library
2.10.5

这里只列出了必要的几个依赖。其他的请根据你自己的项目需求添加

4. 使用maven打包

之后在Goal 之中填写clean package 即可

如果在修改了与Spark相关的代码之后，需要重新编译打包才行。否则会有异常提示。

5. 代码编写注意事项：

在创建JavaSparkContext的时候，需要把自己加进去。
public static JavaSparkContextgetContext(String taskName) {
JavaSparkContextsc = new JavaSparkContext(SparkConnUtils.getSparkConf(taskName));
sc.addJar("target/sparkstat-0.0.1-SNAPSHOT.jar");

return sc;
}

其中target/sparkstat-0.0.1-SNAPSHOT.jar是maven 运行之后生成的完整的jar包

　　我。。知。。道
加。。我。。私。。聊

推荐阅读