使用IDEA編寫Spark應用程序

1、新建Maven工程

File->New->Project->Maven->Next

Name:SimpleApp，如下所示：

2、修改pom.xml配置文件，如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example</groupId>
    <artifactId>SimpleApp</artifactId>
    <version>1.0-SNAPSHOT</version>
    
    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.0-preview2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.12</artifactId>
            <version>3.0.0-preview2</version>
        </dependency>
    </dependencies>

</project>

3、激活自動導入

在右下角自動彈出的對話框中選擇“Enable Auto-Import”，如下所示：

4、添加框架支持

在項目名稱上單擊右鍵，在彈出的對話框中選擇“Add Framework Support”，如下所示：

在彈出的對話框左側選擇“Scala”，右側選擇“scala-sdk-2.12.10”，如下所示：

注意：IDEA需要提前安裝Scala，參考Scala官方文檔：https://docs.scala-lang.org/getting-started/intellij-track/getting-started-with-scala-in-intellij.html

5、生成package，如下所示：

在彈出的對話框中輸入“com.example”，如下所示：

6、生成Scala類，如下所示：

在彈出的對話框中輸入“SimpleApp”，如下所示：

7、添加SimpleApp類內容，如下所示：

參考Spark官方文檔：http://spark.apache.org/docs/latest/quick-start.html#self-contained-applications

package com.example

/* SimpleApp.scala */
import org.apache.spark.sql.SparkSession

object SimpleApp {
  def main(args: Array[String]) {
    // val logFile = "YOUR_SPARK_HOME/README.md"
    // Should be some file on your system
    val logFile = "./src/main/resources/data.txt"
    val spark = SparkSession.builder.appName("Simple Application").getOrCreate()
    val logData = spark.read.textFile(logFile).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println(s"Lines with a: $numAs, Lines with b: $numBs")
    spark.stop()
  }
}

8、添加SimpleApp/src/main/resources/data.txt，如下所示：

hello world
hello spark
hello baby

9、配置運行環境

Run->Edit Configurations->Application，如下所示：

注意：VM options :  -Dspark.master=local

10、啓動Spark服務，如下所示：

11、運行服務

在SimpleApp.scala類上單擊右鍵，在彈出的對話框中選擇“Run ‘SimpleApp’”，如下所示：

12、運行結果，如下所示：