JDK8、Hadoop2.7.1、Spark 1.6 for Hadoop2.6+、Scala2.11.7
命令：sudo（普通用戶執行root的命令權限）；
參考：
http://www.linuxdiyf.com/linux/13027.html
http://blog.csdn.net/yeruby/article/details/49805121
修改文件夾的所有者
chown [選項]... [所有者][:[組]] 文件...
必要參數:
-c 顯示更改的部分的信息
-f 忽略錯誤信息
-h 修復符號鏈接
-R 處理指定目錄以及其子目錄下的所有文件
-v 顯示詳細的處理信息
-deference 作用於符號鏈接的指向，而不是鏈接文件本身
命令：sudo chown hadoop:hadoop -R -f /usr/local/hadoop/
監控頁面：
| Spark Jobs | http://192.168.1.114:4040/ |
| 監控Spark運行情況(運行start-all.sh後) | http://192.168.1.114:8080 |
| 監控Hadoop | http://192.168.1.114:8088/ |
一、JDK8安裝
1、解壓
|
1
|
sudo tar zxvf ./jdk-7u45-linux-x64.tar.gz |
2、移動：mv a b
3-A、設置當前用戶的環境變量
|
1
|
vi ~/.bashrc |
加這些內容到末尾
|
1
2
3
4
5
|
#JAVA VARIABLESexport JAVA_HOME=/usr/local/jdk1.8.0_65/
export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=${JAVA_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH |
讓設置生效
|
1
|
source ~/.bashrc |
3-B、設置系統的環境變量
|
1
|
sudo vim /etc/profile |
追加內容到末尾：
|
1
2
3
|
export JAVA_HOME=/usr/local/jdk1.8.0_65
export PATH = $JAVA_HOME/bin:$PATHexport CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar |
執行：
|
1
|
source /etc/profile |
測試：
|
1
|
java -version |
二、安裝SSH
2.1. 安裝ssh
$sudo apt-get installl openssh-server
然後continue YES
2.2. 安裝好ssh服務後，那就打開這個服務吧
$sudo /etc/init.d/ssh start
2.3. 順便查看下服務是否正確啓動：
$ ps -e | grep ssh
2.4. 設置免密碼登錄，生成私鑰和公鑰
$ ssh-keygen -t rsa -P ""
在輸入路徑那兒筆者直接回車，這樣在／home／ming/.ssh裏面生成兩個文件 id_rsa、id_rsa.pub，前者是私鑰，後者是公鑰。
2.5. 接着將公鑰追加到authorized_keys裏面，它保存所有允許以當前用戶身份登錄到ssh客戶端用戶的公鑰內容。
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
2.6. 登陸ssh
$ssh hadoop@localhost
接着輸入yes
2.7. 退出
$exit
三、Hadoop安裝
1、解壓
2、移動到/usr/local/hadoop文件夾下；
3、給當前用戶添加讀寫權限
|
1
|
sudo chmod 777 ./hadoop/
|
4、設置環境變量
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
#HADOOP VARIABLES#Hadoop2.7.1
export HADOOP_INSTALL=/usr/local/bigdata/hadoop/export PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALL不同的#Hadoop2.4
export PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
|
5、測試Hadoop
在usr/local/bigdata/hadoop/目錄下，有時需要在hadoop/下創建input目錄
|
1
|
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output
|
四、安裝Spark1.6和Scala2.11.7
1、解壓：tar -xzf 文件名
2、配置參數：
|
1
|
sudo gedit /etc/profile 或~/.bashrc |
追加內容：
|
1
2
3
4
5
6
7
8
9
10
|
#Setting Scala Scala環境變量export SCALA_HOME=/usr/local/bigdata/scala-2.11.7
export PATH=${SCALA_HOME}/bin:$PATH#setting Spark Spark環境變量export SPARK_HOME=/usr/local/bigdata/spark-hadoop/export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin#PythonPath 將Spark中的pySpark模塊增加的Python環境中export PYTHONPATH=/usr/local/bigdata/spark-hadoop/python |
執行：source ~/.bashrc
3、測試Spark
3.1、打開命令終端；
3.2、在spark-hadoop目錄下，執行以下命令，打開Scala到Spark的連接窗口 ：
|
1
|
./bin/spark-shell |
3.3、在spark-hadoop目錄下，執行以下命令 ,打開Python到Spark的連接窗口
|
1
|
./bin/pyspark |
3.4、運行SparkPi（不用root權限）
|
1
|
run-example org.apache.spark.examples.SparkPi 10
|
3.4、修改spark-env.sh
|
1
2
3
|
cd /usr/local/bigdata/spark-hadoop/conf/cp spark-env.sh.template spark-env.shvi spark-env.sh |
追加內容：
|
1
2
3
4
|
export JAVA_HOME=/usr/local/jdk1.8.0_65
export SCALA_HOME=/usr/local/bigdata/scala-2.11.7
export SPARK_MASTER_IP=192.168.1.114
export SPARK_WORKER_MEMORY=1024m |
3.5、提交任務到Spark集羣
|
1
|
spark-submit --master spark://192.168.1.114:7077 --class org.apache.spark.examples.SparkPi --name Spark-Pi /usr/local/bigdata/spark-hadoop/lib/spark-examples-1.6.0-hadoop2.6.0.jar
|
五、Spark與Hadoop結合使用
1、在Yarn中運行Spark任務，編輯spark-env.sh：
|
1
2
3
|
vim /usr/local/bigdata/spark-hadoop/conf/spark-env.sh#追加如下內容export HADOOP_CONF_DIR=/usr/local/bigdata/hadoop/etc/hadoop |
2、分別開啓Hadoop集羣和Spark集羣：
|
1
2
3
|
$HDOOP_HOME/sbin/start-dfs.sh$HDOOP_HOME/sbin/start-yarn.sh$SPARK_HOME/sbin/start-all.sh |