如何在集羣上運行Shark
本文介紹在計算機集羣上如何啓動和運行Shark。如果對Amazon EC2上運行Shark感興趣，請點擊這裏查看如何使用EC2腳本快速啓動預先配置好的集羣。
依賴：
注意：Shark是一個即插即用的工具，所以可以在現有的Hive數據倉庫之上運行，不需要您對現有的部署做出任何修改。
在集羣上運行Shark需要一下幾個外部組件：
- Scala 2.9.3
- Spark 0.7.2
- 兼容的JAVA運行時環境：OpenJDK 7, Oracle HotSpot JDK 7,或者 Oracle HotSpot JDK 6u23+
- Shark專用的 Hive JAR (基於Hive 0.9),包括在Shark發佈包裏。
- HDFS 集羣:在這裏不介紹如何安裝，可以查看我的博文.
如果系統裏沒有安裝Scala 2.9.3,可以按提示下載:
$ wget http://www.scala-lang.org/downloads/distrib/files/scala-2.9.3.tgz
$ tar xvfz scala-2.9.3.tgz
採用Spark的單獨部署模式運行Shark。
部署細節：|http://spark-project.org/docs/latest/spark-standalone.html).也可以查看我翻譯的博文。
下載Spark:
$ wget http://spark-project.org/files/spark-0.7.2-prebuilt-hadoop1.tgz # Hadoop 1/CDH3
或者
$ wget http://spark-project.org/files/spark-0.7.2-prebuilt-cdh4.tgz # Hadoop 2/CDH4
解壓縮：
$ tar xvfz spark-0.7.2-prebuilt*.tgz
編輯 spark-0.7.2/conf/slaves添加集羣中Slaves的主機名稱，每一行對應一個Salve。
編輯spark-0.7.2/conf/spark-env.sh設置SCALA_HOME和SPARK_WORKER_MEMORY
export SCALA_HOME=/path/to/scala-2.9.3
export SPARK_WORKER_MEMORY=16g
SPARK_WORKER_MEMORY 是Spark在每一個節點上可用內存的最大，增加這個數值可以在內存中緩存更多的數據，但是一定要記住給Slave的操作系統和其他服務預留足夠的內存。
下載Shark 0.2.1發佈包，裏邊包括 shark-0.2.1和hive-0.9.0-bin.
$ wget http://spark-project.org/download/shark-0.7.0-hadoop1-bin.tgz # Hadoop 1/CDH3
或者
$ wget http://spark-project.org/download/shark-0.7.0-hadoop2-bin.tgz # Hadoop 2/CDH4
解壓縮：
$ tar xvfz shark-0.7.0-*-bin.tgz
編輯shark-0.7.0/conf/shark-env.sh設置HIVE_HOME, SCALA_HOME和MASTER環境變量（參考如下）:
export HADOOP_HOME=/path/to/hadoop
export HIVE_HOME=/path/to/hive-0.9.0-bin
export MASTER=spark://<MASTER_IP>:7077
export SPARK_HOME=/path/to/spark
export SPARK_MEM=16g
source $SPARK_HOME/conf/spark-env.sh
（source命令通常用於重新執行剛修改的初始化文件，使之立即生效）
最後一行是爲了避免重複設置SCALA_HOME。一定要確保SPARK_MEM的數值不能超過前面設置的SPARK_WORKER_MEMORY的數值.
如果是在現有的Hive上運行Shark，確定設置 HIVE_CONF_DIR (在shark-env.sh文件中)指向你的配置文件夾.也可以,複製 Hive XML配置文件到Shark的hive-0.9.0-bin/conf配置文件夾內，比如：
cp /etc/hive/conf/*.xml /path/to/hive-0.9.0-bin/conf/
複製 Spark和 Shark目錄到所有的slaves.前提是master的用戶可以實現無密碼SSH登錄到所有的slaves.例如:
$ while read slave_host; do
$ rsync -Pav spark-0.7.2 shark-0.7.0 $slave_host
$ done < /path/to/spark/conf/slaves
運行 Spark的集羣啓動腳本，啓動集羣:
$ cd spark-0.7.2
$ ./bin/start_all.sh
The newest versions of require additional configuration options.
新版本的Hadoop需要額外的配置選項。在Hive的配置文件(hive-site.xml)中進行配置:
- fs.default.name: 指向HDFS 的namenode.例如：hdfs://myNameNode:8020/
- fs.defaultFS: 和fs.default.name設置爲同樣值。
- mapred.job.tracker:設置爲JobTracker，格式爲host:port。如果僅僅運行Spark可以設置爲"NONE"。注意：一定要明確設置這個選項，即使不使用JobTracker.
使用如下命令，啓動Shark
$ ./bin/shark-withinfo
關於Spark單獨模式的更多腳本細節參考這裏。
To verify that Shark is running, you can try the following example, which creates a table with sample data:
使用下面的命令，創建一個簡單的表格就可以確認一下Shark是否可以運行。
CREATE TABLE src(key INT, value STRING);
LOAD DATA LOCAL INPATH '${env:HIVE_HOME}/examples/files/kv1.txt' INTO TABLE src;
SELECT COUNT(1) FROM src;
CREATE TABLE src_cached AS SELECT * FROM SRC;
SELECT COUNT(1) FROM src_cached;
更詳細的學習Shark，可以查看官方網站的用戶指南。
