windows系統使用eclipse搭建本地spark的java開發環境

1.pom文件添加依賴：

<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-core_2.11</artifactId>
	<version>2.3.2</version>
</dependency>
<dependency>
	<groupId>org.apache.spark</groupId>
	<artifactId>spark-sql_2.11</artifactId>
	<version>2.3.2</version>
</dependency>

2.下載hadoop和對應版本的winutils，解壓兩個文件之後，把winutils的bin目錄下的文件複製到hadoop的bin目錄下。

3.代碼中加入hadoop的安裝目錄：

System.setProperty("hadoop.home.dir", "E:\\hadoop-xxx");
SparkConf sparkConf = new SparkConf().setMaster("local");
SparkSession spark = SparkSession.builder()
				.config(sparkConf)
				.appName("job's name")
				.getOrCreate();

4.運行本地spark代碼。