Ubuntu安裝IDEA、配置SCALA/SPARK環境、解決pom文件無法加載依賴庫的問題

前言

一般情況下，習慣於在windows上進行Spark代碼開發，然後將寫好的代碼打好包提交集羣執行。然而，前幾天有人突然問我如何在Ubuntu下安裝Spark並配置相應的開發環境，我不加思索的說依次裝jdk、scala、spark,然後安裝idea環境，安裝scala插件,最後在pom文件中添加依賴包就可以進行代碼開發了。然而，他按照我這種方法去做時，遇到了很多奇怪的問題，很多是windows下不曾發生的。鑑於此，我自己搭了Ubuntu環境，親自踩踩這個坑。

1. 安裝jdk

我的系統是Ubuntu16.04，打開終端輸入命令：

1. 1 更新軟件包信息

sudo apt-get update

1.2. 安裝jdk

sudo apt-get install default-jdk //默認是jdk1.8環境

安裝過程中出現輸入“Y/N”時,輸入Y
1.3 查詢java版本

java -version

出現如下信息：
lf@lf-NB50TJ1-TK1:~$ java -version
openjdk version “1.8.0_222”
OpenJDK Runtime Environment (build 1.8.0_222-8u222-b10-1ubuntu1~16.04.1-b10)
OpenJDK 64-Bit Server VM (build 25.222-b10, mixed mode)

也可通過其它命令來查看jdk安裝的位置：

update-alternatives --display java

結果如圖所示：
lf@lf-NB50TJ1-TK1:~$ update-alternatives --display java
java - 自動模式
link best version is /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java
鏈接目前指向 /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java（具體路徑）
link java is /usr/bin/java
slave java.1.gz is /usr/share/man/man1/java.1.gz
/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java - 優先級 1081
次要 java.1.gz：/usr/lib/jvm/java-8-openjdk-amd64/jre/man/man1/java.1.gz

若操作系統不爲Ubuntu16.04，可以參照下面的博客進行安裝：

https://jingyan.baidu.com/article/54b6b9c0b9b8ce2d583b47f7.html

2. 安裝scala

2.1下載Scala
這裏使用的是scala2.11.8版本，終端輸入命令：

wget https://www.scala-lang.org/files/archive/scala-2.11.8.tgz

2.2解壓scala

tar xvf scala-2.11.8.tgz

2.3 將scala-2.11.8移動到/usr/local目錄

sudo mv scala-2.11.8 /usr/local/scala

2.4編輯環境變量

sudo gedit ~/.bashrc

編輯配置文件~/.bashrc，輸入以下內容：

#SCALA Variables
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

保存，退出，然後使環境變量生效：

source ~/.bashrc

啓動scala，進入scala shell交互界面

輸入：scala

至此scala安裝完成

3. 安裝IDEA

下載地址：https://www.jetbrains.com/idea/download/#section=linux
選擇社區版（Community）進行下載。
下載後，輸入解壓命令：

sudo tar -zxvf ideaIC-2019.1.tar.gz

得到壓縮包後，進入解壓後的安裝包bin目錄下，輸入命令:

sh idea.sh

得到嚮導頁面啓動即可。

4. 安裝scala插件

4.1 通過官方plugins庫安裝

打開IntelliJ IDEA，在頂欄依次點擊File->Settings->Plugins，打開如下界面：

點擊下方的Browse repositories搜索scala後將搜索結果按照下載次數排序可以看到下載數最多的官方插件：

4.2 手動安裝scala插件庫

在Ubuntu上有時因爲網絡問題，無法利用plugings進行下載。這時需要利用手動進行安裝。
1）首先 ，查看idea的版本
點擊“Help”->“About”，確定idea的版本。以2019.01.08版本爲例；
2）通過官網下載插件

打開官網：http://plugins.jetbrains.com/plugin/1347-scala/versions,選擇對應的版本scala-intellij-bin-2019.1.8.zip，下載對應的.zip文件。

於頂欄依次打開File->Settings->Plugins->install plugin from disk，選中下載好的.zip文件即可。

5. 解決依賴包無法下載的問題

打開pom文件，添加依賴卻無法下載。網上查找一些博客，終於找到了解決方案。具體方案：
右擊Maven項目,操作如下圖:
“File”->“Maven”->"Open’settings.xml’ “, 剛開始這個位置是Create ‘settings.xml’ ,打開之後添加在裏面添加了鏡像服務器:”

` <mirrors>
        <mirror>
            <id>nexus</id>
            <name>internal nexus repository</name>
            <!-- <url>http://192.168.1.100:8081/nexus/content/groups/public/</url>-->
            <url>http://repo.maven.apache.org/maven2</url>
            <mirrorOf>central</mirrorOf>
        </mirror>

		<!--如果感覺慢的話加上阿里雲的maven倉庫配置-->
        <mirror>
            <!--This sends everything else to /public -->
            <id>nexus-aliyun</id>
            <mirrorOf>*</mirrorOf>
            <name>Nexus aliyun</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public</url>
        </mirror>

  </mirrors>
`

至此基本就可以在Ubuntu下編寫spark程序了。
如果還未能下載的jar包，可以刪除依賴，然後reimport即可。