虛擬機：VMware Workstation Pro
操作系統：ubuntu 16.04
一、首先了配置JDK
在www.sun.com裏下載jdk
1.新建文件
sudo mkdir /usr/java
2。cd 下載（download)
sudo tar -xzvf jdk-8u111-linux-x64.tar.gz -C /urs/java
3.cd /usr/java
編輯將jdk.1.8.0_111文件名換成 jdk
sudo mv jdk1.8.0_111 jdk
4sudo vim /etc/profile
sudo :vim 命令找不到可以下載
sudo apt-get install vim
sudo vim /etc/profile
先按i也可以按insert 進行編輯
在文章末尾加入紅色框的代碼，這是配置java環境的
5.
sudo update-alternatives --install /usr/bin/java java /usr/java /jdk/bin/java 300
update-alternatives --install /usr/bin/javac javac /usr/java /jdk/bin/javac 300
update-alternatives --install /usr/bin/jar jar /usr/java /jdk/bin/jar 300
/
6. sudo update-alternatives --config java
7
證明java環境和jdk配置完成
二、配置SCALA
1、cd 下載
sudo tar -xzvf scala-2.12.0.tgz -C /usr/local
2.cd /usr/local
sudo mv scala-2.12.0 scala
3.sudo vim /etc/profile
添加紅色框的代碼
4.source /etc/profile 是配置文件生效
scala -version
scala環境配置完成
5.測試
先輸入scala
輸入 ：q退出
三、安裝Hadoop
1.sudo apt install openssh-server
2.ssh-keygen -t rsa
3.cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
測試：
ssh localhost
ssh_server安裝成功
四 配置 Hadoop
1. cd 下載
sudo tar -xzvf hadoop-2.7.3.tar.gz -C /usr/local
2.重命名
cd /usr/local
sudo mv hadoop-2.7.3 hadoop
3、修改權限
cd /usr/local
sudo chown -R aurora：aurora hadoop
4。配置環境變量
sudo vim /etc/profile
在最後添加在最後
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
問題一： 命令可在/usr/bin/vim 處可找到，在usr/bin 不在PATH環境變量中，故無法找到該命令執行
解決方案：
sudo /etc/profile
尋找有關於PATH的變量，看PATH變量的最末尾是否有:$PATH，沒有添加
5、
hadoop version
如果沒有出現的話
先輸入 source /etc/profile
hadoop version
6.cd /usr/local/hadoop
vim ./etc/hadoop/core-site.xml
#添加爲如下
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
vim ./etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
vim ./etc/hadoop/env.sh
export JAVA_HOME=${JAVA_HOME}
在他的前面加上‘#’
新添加
export JAVA_HOME=/usr/java/jdk
主意：改成自己jdk所在的路徑
6測試
hdfs namenode -format
沒有任何錯誤
# 啓動hadoop
start-dfs.sh
# 啓動yarn
start-yarn.sh
# 啓動歷史服務器,以便在Web中查看任務運行情況
mr-jobhistory-daemon.sh start historyserver
通過 Web 界面查看任務的運行情況
瀏覽器中輸入地址:
localhost:8088
#!/bin/bash
# 停止歷史服務器
mr-jobhistory-daemon.sh stop historyserver
# 停止yarn
stop-yarn.sh
# 停止hadoop
stop-dfs.sh
通過 Web 界面查看任務的運行情況
瀏覽器中輸入地址:
localhost:8088
//我的網頁進不去？
五、安裝spark
1、cd 下載
sudo tar -zxf spark-2.0.0-bin-hadoop2.7.tgz -C /usr/local
2、重命名
cd/usr/local
sudo mv spark-2.0.0-bin-hadoop2.7 spark
3、
sudo vim /etc/profile
# 在最後添加下面內容
exportSPARK_HOME=/usr/local/spark
exportPATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
4、修改權限
cd /usr/local
sudochown-R aurora：aurora
./spark
5、
cd/usr/local/spark
cp ./conf/spark-env.sh.template
./conf/spark-env.sh
6、
cd/usr/loca/spark
vim ./conf/spark-env.sh
# 添加下面一行
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
export JAVA_HOME=/usr/java/jdk
7.測試
/usr/local/spark/bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
#!/bin/bash
# 啓動Hadoop以及yarn
start-dfs.sh start-yarn.sh
# 啓動歷史服務器
mr-jobhistory-daemon.sh start historyserver
# 啓動Spark
/usr/local/spark/sbin/start-all.sh
在網頁裏輸入localhost : 8080
#!/bin/bash
# 停止Spark
stop-dfs.sh
stop-yarn.sh
# 停止歷史服務器
mr-jobhistory-daemon.sh stop historyserver
# 停止Hadoop以及yarn
/usr/local/hadoop/sbin/stop-all.sh
在網頁裏輸入localhost : 8080
六、安裝eclipse（可以不安裝）
1、官網下載eclipse-neon
2、sudo mkdir /usr/local/eclipse
cd 下載
sudo tar eclipse-java-neon-1a-linuc-gtk-x86_64.tar.tar.gz -C /usr/local/eclipse
3啓動eclipse
/usr/local/eclipse/eclipse/eclipse