Hadoop運維(3) Spark集羣部署

1. 安裝Scala

• 從scala官網，下載最新的以.tgz結尾的文件
• 通過tar zxf解壓
• 將文件夾放到/usr/local/scala中
• 設置環境變量SCALA_HOME與PATH
• 通過scala -version進行驗證。

---

2. 部署Spark

官網下載spark

---

• 修改spark-env.sh

# 添加以下內容
export JAVA_HOME=/usr/lib/jvm/jdk8
export SCALA_HOME=/usr/local/scala
export SPARK_WORKER_MEMORY=100m
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

---

• 修改slaves

# 添加以下內容
slave1

---

• 將spark部署到所有主機的相同位置，並執行sbin/start-all.sh。查看http://master:8080驗證spark是否啓動成功。