說明，由於spark是用scala寫的。因此，不管是在看源碼還是在寫spark有關的代碼的時候，都最好是用scala。由於我個人以前是純粹的Pythoner，一直使用的都是PyCharm，然而最近換了新工作後，由於各種原因，要麼使用付費軟件，要麼使用免費軟件，所以，我被迫選擇了eclipse以及scala進行spark程序的開發。既然無法拒絕，那就好好享受，下面就爲您介紹一下eclipse + Maven + Scala + Spark的開發以及編譯。
首先，Maven的環境配置我就不多說了，很簡單 Maven的安裝以及配置，window以及linux
一、eclipse的下載安裝
關於，java、scala之類的環境我就不做過多介紹了
做多了之後，你會發現，安裝環境基本都是下載官方包，解壓，然後配置環境變量。
由於是第一次使用eclipse，說實話不是特別熟悉，爲了簡化操作，我直接使用了scala官方的IDE，也是完全免費的
http://scala-ide.org/
直接下載Scala For Eclipse的IDE即可
這個工具，scala的插件都是設置好的，解壓後直接使用就可以了
二、如何用maven工程寫scala的代碼
往往在創建maven工程的時候，會沒有scala-archetype-simple的模型，因此需要手動添加自定義的catalog，添加的方法就是如下所示：
步驟：window–>preferences—>maven—>Archetype 接下來的操作如下圖所示：
網址：http://repo1.maven.org/maven2/archetype-catalog.xml
接下來我們就來創建一個scala的maven項目
點擊next之後，我們主要填寫一下三個參數：
groupId
定義了項目屬於哪個組，舉個例子，如果你的公司是mycom，有一個項目爲myapp，那麼groupId就應該是com.mycom.myapp
artifacted
定義了當前maven項目在組中唯一的ID,比如，myapp-util,myapp-domain,myapp-web等。
version
指定了myapp項目的當前版本，SNAPSHOT意爲快照，說明該項目還處於開發中，是不穩定的版本。
設置完畢之點擊next，基本就看到Eclipse開始下載環境了，下載完畢我們就能看到如下的項目結構了，爲了方便快速運行起來，我這裏刪除了test下的程序
同時也刪除了pom.xml中的測試依賴
至此，我們已經可以運行scala程序了
三、配置本地Maven到Eclipse中
我們在第一步中配置了Archetype下的Catalog
1、配置Maven的安裝目錄到Eclipse上
在這一步中，我們要配置本地Maven到Eclipse中
步驟：window–>preferences—>maven—>Installations 接下來的操作如下圖
2、配置Maven的settings.xml到Eclipse上
步驟：window–>preferences—>maven—>User Settings
