spark-1.6.0-cdh5.15.2的使用

前言

想搭建一個spark的環境，所以用了cdh的包，一開始去了官網找，溜了一圈，找不到（內心是崩潰的）。
救助朋友，對給我一地址http://archive.cloudera.com/cdh5/cdh/5/。
下載了需要的文件。

友情提示：如果不想配置手動補jar包，可以拉到本文尾部，直接下載博主弄好的文件哦！！！

配置

下載了spark-1.6.0-cdh5.15.2編譯後的壓縮包，一頓解壓，使用命令開始啓動

spark-shell --master local[2]

本以爲，可以跑起來的，可是這東西啓動就報錯，我的天！

一番配置，補上jar包，終於跑起來了。

開始

我使用的版本是spark-1.6.0-cdh5.15.2，所以如果你也和我一樣，用的這個版本，那麼可以參考我下面的配置

1. hadoop配置
   修改解壓文件下/bin/load-spark-env.sh
   最後加上一行，配置上hadoop

export export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)

2. 補上jar包
   在解壓後的lib目錄下，加上下面四個jar包（注意版本）

-rw-r--r--. 1 root root     38597 11月 25 2014 jackson-annotations-2.4.4.jar
-rw-r--r--. 1 root root    225302 11月 25 2014 jackson-core-2.4.4.jar
-rw-r--r--. 1 root root   1076926 11月 25 2014 jackson-databind-2.4.4.jar
-rw-r--r--. 1 root root    157374 4月  30 2014 parquet-hadoop-1.4.3.jar

結束

重新再啓動一次就可以了
最後說幾句，再茫茫大海中找到這個版本太難受，而且還有補jar包，有點煩。
所以爲了方便，使用，我一整個打包放在百度雲上面了，有需要的點擊這裏下載。
鏈接：https://pan.baidu.com/s/1aSiYbtPzbb1Ga6op-SOx-A
提取碼：0ea1