说明，由于spark是用scala写的。因此，不管是在看源码还是在写spark有关的代码的时候，都最好是用scala。由于我个人以前是纯粹的Pythoner，一直使用的都是PyCharm，然而最近换了新工作后，由于各种原因，要么使用付费软件，要么使用免费软件，所以，我被迫选择了eclipse以及scala进行spark程序的开发。既然无法拒绝，那就好好享受，下面就为您介绍一下eclipse + Maven + Scala + Spark的开发以及编译。
首先，Maven的环境配置我就不多说了，很简单 Maven的安装以及配置，window以及linux
一、eclipse的下载安装
关于，java、scala之类的环境我就不做过多介绍了
做多了之后，你会发现，安装环境基本都是下载官方包，解压，然后配置环境变量。
由于是第一次使用eclipse，说实话不是特别熟悉，为了简化操作，我直接使用了scala官方的IDE，也是完全免费的
http://scala-ide.org/
直接下载Scala For Eclipse的IDE即可
这个工具，scala的插件都是设置好的，解压后直接使用就可以了
二、如何用maven工程写scala的代码
往往在创建maven工程的时候，会没有scala-archetype-simple的模型，因此需要手动添加自定义的catalog，添加的方法就是如下所示：
步骤：window–>preferences—>maven—>Archetype 接下来的操作如下图所示：
网址：http://repo1.maven.org/maven2/archetype-catalog.xml
接下来我们就来创建一个scala的maven项目
点击next之后，我们主要填写一下三个参数：
groupId
定义了项目属于哪个组，举个例子，如果你的公司是mycom，有一个项目为myapp，那么groupId就应该是com.mycom.myapp
artifacted
定义了当前maven项目在组中唯一的ID,比如，myapp-util,myapp-domain,myapp-web等。
version
指定了myapp项目的当前版本，SNAPSHOT意为快照，说明该项目还处于开发中，是不稳定的版本。
设置完毕之点击next，基本就看到Eclipse开始下载环境了，下载完毕我们就能看到如下的项目结构了，为了方便快速运行起来，我这里删除了test下的程序
同时也删除了pom.xml中的测试依赖
至此，我们已经可以运行scala程序了
三、配置本地Maven到Eclipse中
我们在第一步中配置了Archetype下的Catalog
1、配置Maven的安装目录到Eclipse上
在这一步中，我们要配置本地Maven到Eclipse中
步骤：window–>preferences—>maven—>Installations 接下来的操作如下图
2、配置Maven的settings.xml到Eclipse上
步骤：window–>preferences—>maven—>User Settings
