基于Hadoop集群的Spark集群搭建
一. 单机版Spark搭建
(1)将下载下来的软件包拉至集群中(主节点上)
(2)解压至指定目录
(3)将解压下的文件移至某个特定目录下并查看
(4)修改环境变量
(5)使环境变量生效并进入scala命令行测试；
(6）解压scala压缩包并放置指定目录；
(7)添加环境变量
(8)生效环境变量并测试spark(source .bash_profile)
(9)单机版网页spark测试(主机地址为你当前虚拟机地址，在启动spark的时候你可以看到)
二. 集群版Spark搭建
(1)修改spark配置文件(注意目录)
(2)修改配置文件(加入你集群的主机名)
(3)生成配置文件并修改配置文件(jdk为你本机安装位置)
(4)向集群中其他主机发送
(5)启动Hadoop集群(start-all.sh),启动spark集群(在spark目录下的sbin目录下启动)(主节点启动有Master，从节点为Worker)
(6)查看端口
三. 访问方式
(1)添加本地映射端口localhost+8080的方式访问
(2)通过主节点IP地址+端口号进入Web端页面查看
至此，Spark集群搭建完毕。
四. 运行wordcounut程序
(1)在Hadoop集群中放置所需要的.txt文件
(2)执行命令spark-shell进入命令端后执行命令如下
至此，wordcount程序执行成功。