Spark2.0.2集群部署

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/oMaverick1/article/details/53744996

文描述了Spark2.0.2集群部署过程，包括3个节点集群搭建过程，scala的安装，中途遇到问题的解决等等

1.准备

• *三台物理机：
  序号 主机名称 IP地址 操作系统
  1 c1 192.168.xxx.157 centos7
  2 c2 192.168.xxx.158 centos7
  3 c3 192.168.xxx.159 centos7

• 关闭防火墙

[root@c3 ~]# service iptables stop

• 查看磁盘情况

[root@c3 ~]# df –lh

为了避免磁盘使用不均而导致系统问题，因而先查看磁盘的分布情况。
/dev目录共83G，只使用了8%不到，因此可以将后续的所有文件和程序存放在此目录下。当然，这要根据你的实际情况而定。

• 安装包

http://www.scala-lang.org/download/ 部署使用：scala-2.11.8.tgz
http://spark.apache.org/downloads.html 部署使用：spark-2.0.2-bin-hadoop2.7.tgz
JDK:1.8+

• 查看配置hosts

[root@c3 bin]# more /etc/hosts

• 配置ssh无密码登录
  详细参考http://haitao.iteye.com/blog/1744272

2. 安装scala

2.1 创建安装目录

 [root@c1 local]# mkdir /usr/local/spark

2.2 上传与解压

2.3 配置环境变量

[root@c1 spark]# vim /etc/profile  

[root@c1 spark]# source /etc/profile

2.4 测试scala

[root@c1 spark]# scala

3.安装spark

3.1 上传安装文件

先将spark文件复制到/usr/local/spark文件夹下

3.2 解压

[root@c1 spark]# tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz

3.3 配置环境变量

[root@c1 spark]# vim /etc/profile  

[root@c1 spark]# source /etc/profile

3.4 配置修改

进入目录

[root@c1 conf]# cp spark-env.sh.template spark-env.sh  
[root@c1 conf]# vim spark-env.sh

[root@c1 conf]# cp slaves.template slaves   
[root@c1 conf]# vim slaves   

4.其他节点

4.1 拷贝安装目录

复制安装文件值c2

[root@c1 conf]# scp -r /usr/local/spark/ root@c2:/usr/local/

复制安装文件值c3

[root@c1 conf]# scp -r /usr/local/spark/ root@c3:/usr/local/

4.1.拷贝环境变量

[root@c1 conf]# scp -r /etc/profile root@c2:/etc 

[root@c1 conf]# scp -r /etc/profile root@c3:/etc   

4.2 登录c2,c3节点

分别登录c2,c3执行

[root@c2 spark]# source /etc/profile
[root@c3 spark]# source /etc/profile

测试scala

4.3 修改权限

在三个节点中修改文件的权限,命令如下：

[root@c2 zookeeper]# chmod -R 777 /usr/local/spark/

5.启动spark

登录c1,c2,c3依次启动

[root@c1 sbin]# ./start-all.sh

[root@c2 sbin]# ./start-all.sh

[root@c3 sbin]# ./start-all.sh

查看启动情况

5.web访问spark

浏览器打开地址：http://192.168.121.157:8080/

5.shell界面

[root@c2 bin]# ./spark-shell