前言
本章將介紹如何在WIN10下實現spark環境搭建。
本章概要
1、版本說明
2、環境準備：
- jdk配置；
- scala安裝與配置；
- spark安裝與配置；
- hadoop安裝與配置；
版本說明
jdk：1.8
scala：2.11.8
spark：2.3.0
hadoop：2.8.3
環境準備
jdk配置
1、配置JAVA_HOME與Path：
Path
2、驗證配置：
scala安裝與配置
1、scala下載：
2、配置Path：
3、驗證配置：
Spark安裝與配置
1、spark下載：
選中官方推薦的地址即可下載，其他地址也可用（建議採用迅雷等下載工具下載，速度比較會快很多）
2、解壓至D盤；
3、配置Path：
4、通過spark-shell進入Spark的交互式命令行模式：
如上，可以看到對應的spark、scala、java版本，同時也看到了異常信息，該異常信息是由於hadoop導致的，下面來配置hadoop。
Hadoop安裝與配置
1、hadoop下載
進入下載頁，如下建議地址（同樣建議用迅雷等下載工具下載，速度更快）
2、解壓至
3、配置HADOOP_HOME&Path：
path：
4、winutils下載：https://github.com/steveloughran/winutils
下載對應版本的bin目錄直接替換本地bin目錄即可。
5、此時繼續spark-shell進入spark命令行交互模式：
此時即不會出現上述的異常提示。
6、訪問控制檯中的webui如下：
