idea中maven配置
- 作者: 孤寂de心
- 来源: 51数据库
- 2020-10-03
建议你使用intellij idea，在spark目录下执行"sbt/sbt gen-idea"，会自动生成.idea项目，导入即可。
在spark快速入门指南 – spark安装与基础使用中介绍了spark的安装与配置，在那里还介绍了使用spark-submit提交应用，不过不能使用vim来开发spark应用，放着ide的方便不用。这里介绍使用intellij idea搭建spark的开发环境。
1、intellij idea的安装
由于spark安装在ubuntu环境中，这里的idea也安装在ubuntu中。首先是下载，到官网下载即可。下载完后解压到待安装的目录：
sudo tar -zxvf ideaiu-2016.1.tar.gz -c /usr/local/
我解压在了/usr/local目录下，然后更改文件夹名：
mv ideaiu-2016.1 idea
然后修改文件的用户和用户组：
sudo chown -r hadoop:hadoop idea
这里的hadoop是我的用户名和组名。这样idea就安装成功了。
为了启动idea，进入idea/bin目录，执行里面的idea.sh：
bin/idea.sh
这样就可以启动idea。不过这样不方便，可以在桌面新建文件idea.desktop，输入如下内容：
[desktop entry]
name=ideaiu
comment=rayn-idea-iu
exec=/usr/local/idea/bin/idea.sh
icon=/usr/local/idea/bin/idea.png
terminal=false
type=application
categories=developer;
这样就创建了一个桌面快捷方式。
2、maven的安装与配置
maven 是一个项目管理和构建自动化工具。作为一个程序员，都有过为了使用某个功能而在项目中添加jar包的经历，使用的框架多了，需要添加的jar包也多，而maven能够自动为我们添加需要的jar包。首先在maven官网上下载maven：
下载之后在downloads目录下有如下文件：
liu@binja:~/downloads$ ls
apache-maven-3.3.9-bin.tar.gz
解压到待安装的目录：
liu@binja:~/downloads$ sudo tar -zxvf apache-maven-3.3.9-bin.tar.gz -c /usr/local/
同样，修改文件夹名和用户名：
liu@binja:/usr/local$ sudo mv apache-maven-3.3.9/ maven
liu@binja:/usr/local$ sudo chown -r liu:liu maven
liu@binja:/usr/local$ ll maven
total 52
drwxr-xr-x 6 liu liu 4096 3月 28 20:24 ./
drwxr-xr-x 12 root root 4096 3月 28 20:26 ../
drwxr-xr-x 2 liu liu 4096 3月 28 20:24 bin/
drwxr-xr-x 2 liu liu 4096 3月 28 20:24 boot/
drwxr-xr-x 3 liu liu 4096 11月 11 00:38 conf/
drwxr-xr-x 3 liu liu 4096 3月 28 20:24 lib/
-rw-r--r-- 1 liu liu 19335 11月 11 00:44 license
-rw-r--r-- 1 liu liu 182 11月 11 00:44 notice
-rw-r--r-- 1 liu liu 2541 11月 11 00:38 readme.txt
liu@binja:/usr/local$
然后将maven添加到环境变量中：
sudo vim ~/.bashrc
在最后添加下面的内容：
export path=$path:/usr/local/maven/bin
使更改生效：
liu@binja:/usr/local$ source ~/.bashrc
这样maven就安装好了。
3、用刚安装的maven配置idea
起始idea自带了maven，这里配置自己安装的maven。
一次选择file->setting->build,execution,deployment->build tools->maven，如下图：
在右侧里的maven home directory里设置maven的安装目录，就我这里是/usr/local/maven，在user settings file里设置mavne的配置文件，我这里使用默认的文件，在local repository里设置本地包的管理仓库，选择右侧的override后，可以自定义自己的仓库目录，以后maven自动下载的包就会存放在这里。
单击ok后maven就配置完了。然后就可以创建一个maven项目。
4、创建maven项目
依次选择file->new->new project，出现如下界面：
左侧可以选择项目的类型，这里选择maven，右侧可以选择是否使用模板，勾选上面的create from archetype后，就可以在下面选择项目模板，这里选择scala的模板。
一路next之后，这里填一下groupid和artifactid，名字随便取：
然后一路next，填写上项目的名字，ok就可以了。
这样新项目就创建成功了，新项目的文件结构如下图：
其中的pom.xml就是配置我们项目的依赖包的。src是项目存放代码的目录，下面有两个结构相同的目录main和test，其中我们在main目录下编写代码，test编写测试代码，这里先不使用测试，可以将test目录删除。右侧展示的就是pom.xml文件的内容：
勾选右上角的enable auto-import，这样idea就会自动下载项目所需的依赖包。还要注意中间的scala版本，选择自己使用的版本。
1.准备工作
首先需要在你电脑上安装jdk和scala以及开发工具Intellij IDEA，本文中使用的是win7系统，环境配置如下：
jdk1.7.0_15
scala2.10.4
scala官网下载地址：http://www.scala-lang.org/download/
如果是windows请下载msi安装包。
这两个可以在官网上下载jdk和scala的安装包就可以直接双击安装包运行安装即可。注意：如果以后是在本地编写好spark代码然后上传到spark集群上去运行的话，请一定保持两者的开发环境一致，不然会出现很多错误。
Intellij IDEA
在官网上下载一般选择右下角的Community版本，下载地址https://www.jetbrains.com/idea/download/#section=windows
2.在Intellij IDEA中安装scala插件
安装好Intellij IDEA并进入idea的主界面
（1）找到右下角的Configure选项中Plugins并打开
（2）点击左下角Browse repositories…
（3）在搜索框里搜scala，出现相对于的Scala插件，这里面我的已经安装完成了，没安装的会显示install的字样以及相对于的版本，这里面不建议在线安装插件，建议根据Updated 2014/12/18去下载离线的scala插件，比如本文中的IDEA Updated日期是2014/12/18然后找到对应的插件版本是1.2.1，下载即可。下面是scala插件的离线下载地址。
scala插件离线下载地址：https://plugins.jetbrains.com/plugin/1347-scala
然后根据Update日期去找Intellij IDEA对应得scala插件，不同版本的IDEA对应的scala插件不一样，请务必下载对应的scala插件否则无法识别。
（4）离线插件下载完成后，将离线scala插件通过如下方式加入到IDEA中去：点击Install plugin from disk…,然后找到你scala插件的zip文件的本机磁盘位置，点ok即可
到这里，在Intellij IDEA中安装scala插件的步骤已经全部完成。接下来用IDEA来构建一个Maven工程，用来搭建spark开发环境。
3.Intellij IDEA通过Maven搭建spark环境
（1）打开IDEA新建一个maven项目，如下图：
注意：按照我步骤顺序即可。
注意：如果是第一次利用maven构建scala开发spark环境的话，这里面的会有一个选择scala SDK和Module SDK的步骤，这里路径选择你安装scala时候的路径和jdk的路径就可以了。
（2）填写GroupId和ArtifactId这里我就随便写了个名字，如下图，点Next。
（3）第三步很重要，首先是你的Intellij IDEA里有Maven，一般的新版本都会自带maven，而且maven的目录在IDEA安装路径下plugins下就能找到，然后再Maven home directory地址中填写maven相对应的路径，本文中的IDEA版本比较老，是自己下的Maven安装上的（不会的可以百度下，很简单，建议使用新的IDEA，不需要自己下载maven）。然后这里面的User settings file是你maven路径下conf里面的settings.xml文件，勾选上override即可，这里面的Local repository路径可以不用修改，默认就好，你也可以新建一个目录。点击Next。
注意：截图的时候忘了，把Local repository前面的override也勾选上，不然构建完会报错，至少我的是这样。
（4）填写自己的项目名，随意即可。点击finish。
（5）到这里整个流程已经结束，完成后会显示如下界面：
右上角的import需要点击一下即可。
（6）接下来在pom.xml文件中加入spark环境所需要的一些依赖包。以代码的方式给出，方便复制。
这里是我的pom文件代码，请各位自行按照自己的需要删减或添加依赖包。
//注意这里面的版本一定要对应好，我这里的spark版本是1.6.0对应的scala是2.10，因为我是通过spark-core_${scala.version}是找spark依赖包的，前些日子有个同事按照这个去搭建，由于版本的不一样最后spark依赖包加载总是失败。请大家自行检查自己的版本
在spark快速入门指南 – spark安装与基础使用中介绍了spark的安装与配置，在那里还介绍了使用spark-submit提交应用，不过不能使用vim来开发spark应用，放着ide的方便不用。这里介绍使用intellij idea搭建spark的开发环境。
1、intellij idea的安装
由于spark安装在ubuntu环境中，这里的idea也安装在ubuntu中。首先是下载，到官网下载即可。下载完后解压到待安装的目录：
sudo tar -zxvf ideaiu-2016.1.tar.gz -c /usr/local/
我解压在了/usr/local目录下，然后更改文件夹名：
mv ideaiu-2016.1 idea
然后修改文件的用户和用户组：
sudo chown -r hadoop:hadoop idea
这里的hadoop是我的用户名和组名。这样idea就安装成功了。
为了启动idea，进入idea/bin目录，执行里面的idea.sh：
bin/idea.sh
这样就可以启动idea。不过这样不方便，可以在桌面新建文件idea.desktop，输入如下内容：
[desktop entry]
name=ideaiu
comment=rayn-idea-iu
exec=/usr/local/idea/bin/idea.sh
icon=/usr/local/idea/bin/idea.png
terminal=false
type=application
categories=developer;
这样就创建了一个桌面快捷方式。
2、maven的安装与配置
maven 是一个项目管理和构建自动化工具。作为一个程序员，都有过为了使用某个功能而在项目中添加jar包的经历，使用的框架多了，需要添加的jar包也多，而maven能够自动为我们添加需要的jar包。首先在maven官网上下载maven：
下载之后在downloads目录下有如下文件：
liu@binja:~/downloads$ ls
apache-maven-3.3.9-bin.tar.gz
解压到待安装的目录：
liu@binja:~/downloads$ sudo tar -zxvf apache-maven-3.3.9-bin.tar.gz -c /usr/local/
同样，修改文件夹名和用户名：
liu@binja:/usr/local$ sudo mv apache-maven-3.3.9/ maven
liu@binja:/usr/local$ sudo chown -r liu:liu maven
liu@binja:/usr/local$ ll maven
total 52
drwxr-xr-x 6 liu liu 4096 3月 28 20:24 ./
drwxr-xr-x 12 root root 4096 3月 28 20:26 ../
drwxr-xr-x 2 liu liu 4096 3月 28 20:24 bin/
drwxr-xr-x 2 liu liu 4096 3月 28 20:24 boot/
drwxr-xr-x 3 liu liu 4096 11月 11 00:38 conf/
drwxr-xr-x 3 liu liu 4096 3月 28 20:24 lib/
-rw-r--r-- 1 liu liu 19335 11月 11 00:44 license
-rw-r--r-- 1 liu liu 182 11月 11 00:44 notice
-rw-r--r-- 1 liu liu 2541 11月 11 00:38 readme.txt
liu@binja:/usr/local$
然后将maven添加到环境变量中：
sudo vim ~/.bashrc
在最后添加下面的内容：
export path=$path:/usr/local/maven/bin
使更改生效：
liu@binja:/usr/local$ source ~/.bashrc
这样maven就安装好了。
3、用刚安装的maven配置idea
起始idea自带了maven，这里配置自己安装的maven。
一次选择file->setting->build,execution,deployment->build tools->maven，如下图：
在右侧里的maven home directory里设置maven的安装目录，就我这里是/usr/local/maven，在user settings file里设置mavne的配置文件，我这里使用默认的文件，在local repository里设置本地包的管理仓库，选择右侧的override后，可以自定义自己的仓库目录，以后maven自动下载的包就会存放在这里。
单击ok后maven就配置完了。然后就可以创建一个maven项目。
4、创建maven项目
依次选择file->new->new project，出现如下界面：
左侧可以选择项目的类型，这里选择maven，右侧可以选择是否使用模板，勾选上面的create from archetype后，就可以在下面选择项目模板，这里选择scala的模板。
一路next之后，这里填一下groupid和artifactid，名字随便取：
然后一路next，填写上项目的名字，ok就可以了。
这样新项目就创建成功了，新项目的文件结构如下图：
其中的pom.xml就是配置我们项目的依赖包的。src是项目存放代码的目录，下面有两个结构相同的目录main和test，其中我们在main目录下编写代码，test编写测试代码，这里先不使用测试，可以将test目录删除。右侧展示的就是pom.xml文件的内容：
勾选右上角的enable auto-import，这样idea就会自动下载项目所需的依赖包。还要注意中间的scala版本，选择自己使用的版本。
1.准备工作
首先需要在你电脑上安装jdk和scala以及开发工具Intellij IDEA，本文中使用的是win7系统，环境配置如下：
jdk1.7.0_15
scala2.10.4
scala官网下载地址：http://www.scala-lang.org/download/
如果是windows请下载msi安装包。
这两个可以在官网上下载jdk和scala的安装包就可以直接双击安装包运行安装即可。注意：如果以后是在本地编写好spark代码然后上传到spark集群上去运行的话，请一定保持两者的开发环境一致，不然会出现很多错误。
Intellij IDEA
在官网上下载一般选择右下角的Community版本，下载地址https://www.jetbrains.com/idea/download/#section=windows
2.在Intellij IDEA中安装scala插件
安装好Intellij IDEA并进入idea的主界面
（1）找到右下角的Configure选项中Plugins并打开
（2）点击左下角Browse repositories…
（3）在搜索框里搜scala，出现相对于的Scala插件，这里面我的已经安装完成了，没安装的会显示install的字样以及相对于的版本，这里面不建议在线安装插件，建议根据Updated 2014/12/18去下载离线的scala插件，比如本文中的IDEA Updated日期是2014/12/18然后找到对应的插件版本是1.2.1，下载即可。下面是scala插件的离线下载地址。
scala插件离线下载地址：https://plugins.jetbrains.com/plugin/1347-scala
然后根据Update日期去找Intellij IDEA对应得scala插件，不同版本的IDEA对应的scala插件不一样，请务必下载对应的scala插件否则无法识别。
（4）离线插件下载完成后，将离线scala插件通过如下方式加入到IDEA中去：点击Install plugin from disk…,然后找到你scala插件的zip文件的本机磁盘位置，点ok即可
到这里，在Intellij IDEA中安装scala插件的步骤已经全部完成。接下来用IDEA来构建一个Maven工程，用来搭建spark开发环境。
3.Intellij IDEA通过Maven搭建spark环境
（1）打开IDEA新建一个maven项目，如下图：
注意：按照我步骤顺序即可。
注意：如果是第一次利用maven构建scala开发spark环境的话，这里面的会有一个选择scala SDK和Module SDK的步骤，这里路径选择你安装scala时候的路径和jdk的路径就可以了。
（2）填写GroupId和ArtifactId这里我就随便写了个名字，如下图，点Next。
（3）第三步很重要，首先是你的Intellij IDEA里有Maven，一般的新版本都会自带maven，而且maven的目录在IDEA安装路径下plugins下就能找到，然后再Maven home directory地址中填写maven相对应的路径，本文中的IDEA版本比较老，是自己下的Maven安装上的（不会的可以百度下，很简单，建议使用新的IDEA，不需要自己下载maven）。然后这里面的User settings file是你maven路径下conf里面的settings.xml文件，勾选上override即可，这里面的Local repository路径可以不用修改，默认就好，你也可以新建一个目录。点击Next。
注意：截图的时候忘了，把Local repository前面的override也勾选上，不然构建完会报错，至少我的是这样。
（4）填写自己的项目名，随意即可。点击finish。
（5）到这里整个流程已经结束，完成后会显示如下界面：
右上角的import需要点击一下即可。
（6）接下来在pom.xml文件中加入spark环境所需要的一些依赖包。以代码的方式给出，方便复制。
这里是我的pom文件代码，请各位自行按照自己的需要删减或添加依赖包。
//注意这里面的版本一定要对应好，我这里的spark版本是1.6.0对应的scala是2.10，因为我是通过spark-core_${scala.version}是找spark依赖包的，前些日子有个同事按照这个去搭建，由于版本的不一样最后spark依赖包加载总是失败。请大家自行检查自己的版本
推荐阅读
