電商用戶行爲分析大數據平臺相關係列7-spark安裝

1、Spark安裝

1.1、下載、解壓

1.2、配置環境變量（/etc/profile或者~/.bashrc），環境變量生效

1.3、配置spark-env.sh

• spark-env.sh位於 $SPARK_HOME/conf
• cp spark-env.sh.template spark-env.sh
• 配置如下

export JAVA_HOME=/usr/java/latest
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

1.4、完成安裝

由於實戰教程是基於yarn的spark集羣，不需要像standlone模式，給每臺服務器安裝spark，使用spark的主從結構服務，一切資源調度都是通過yarn來完成。

1.5、驗證yarn-client模式

SPARKHOME/bin/spark−submit –classorg.apache.spark.examples.JavaSparkPi –masteryarn−client –num−executors4 –driver−memory1g –executor−memory1g –executor−cores4  SPARK_HOME/lib/spark-examples-1.5.1-hadoop2.4.0.jar \

1.6、驗證yarn-cluster模式

SPARKHOME/bin/spark−submit –classorg.apache.spark.examples.JavaSparkPi –masteryarn−cluster –num−executors4 –driver−memory1g –executor−memory1g –executor−cores4  SPARK_HOME/lib/spark-examples-1.5.1-hadoop2.4.0.jar \

2、坑自己

2.1、驗證時拋異常：java.lang.ClassNotFoundException: org.apache.spark.example.JavaSparkPi

這個問題整整搞了我兩個晚上，各種找資料，甚至還發帖求助，估計有大神心裏默默的罵了N句。

追其原因，就是太懶，喜歡直接拷貝別人代碼，而且還不檢查導致。就在剛纔，終於在忍無可忍下，我將spark的example包減壓，發現問題，原來是類名拼寫錯誤導致。
錯誤拼寫：org.apache.spark.example.JavaSparkPi（jar包中確實沒有這個類，尷尬的要命啊）
正確拼寫：org.apache.spark.examples.JavaSparkPi（就是少拼寫了一個s）

所以以後還是要多相信自己，多動手。

註釋：本文中所有$SPARK_HOME表示本人自己在各個服務器的SPARK安裝路徑

該系列筆記：
1. 電商用戶行爲分析大數據平臺相關係列1-環境介紹
2. 電商用戶行爲分析大數據平臺相關係列2-HADOOP環境搭建
2. 電商用戶行爲分析大數據平臺相關係列3-HIVE安裝
3. 電商用戶行爲分析大數據平臺相關係列4-ZOOKEEPER安裝
4. 電商用戶行爲分析大數據平臺相關係列5-KAFKA安裝
5. 電商用戶行爲分析大數據平臺相關係列6-flume安裝
6. 電商用戶行爲分析大數據平臺相關係列7-spark安裝