spark（二）：本地安装

说明

本博客每周五更新一次。 本文介绍win10系统下spark安装，通过安装辅助理解spark。

安装模式

spark有四种安装模式，具体如下：

模式名称	说明
单机模式	单台机器部署，主要用于开发测试
Standalone模式	多台机器构建Master+Slave的Spark集群，任务运行在spark集群中，数据量不多推荐使用。
Spark On yarn	Spark任务提交到hadoop集群yarn上，不需要额外构建Spark集群
Spark On Mesos	提交任务到Mesos，不需要额外spark全

本地安装spark

环境

• 系统 win10
• java jdk1.8，具体步骤这里不说明。

下载

打开apache资源库页面地址

这里下载 spark-3.1.2-bin-hadoop3.2.tgz版本

解压并启动

• 解压安装包到安装目录 -cmd.png)

• 启动项目，安装目录bin目录下运行cmd，执行spark-shell

验证

web页面

运行spark-shell后，打开浏览器输入：http://localhost:4040/jobs/，可看到spark web页面。

实例

bin目录打开cmd，执行：run-example SparkPi，输出如下内容，标识成功。

总结

• 安装先尝试了非hadoop版安装包，结果jar包缺失，不全后报错，最后选择支持hadoop的，最后安装成功。
• 当下生活，如果感觉顺心幸福，身边某人必定替你承担很多压力，如果平淡小麻烦不断，不必担心，这就是生活。