使用idea開發Scala的Wordcount程序並提交到spark集羣中

開發準備，idea，配置了Scala的win10電腦，因爲集羣中的spark是1.6版本，所以需要Scala的版本爲Scala2.10.5

接下來，將spark的包在win10解壓，將lib目錄下的

複製一份到一個不含中文的目錄中，jar包會有兩個，我們需要的是大的那個。

打開idea新建工程，按圖選擇

選擇Scala版本，選擇2.10.5的，因爲之前安裝過2.11的，需要選擇到2.10

目錄結構

添加一個Scala類，

package cn.spark.study.core

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

/**
  * @author Administrator
  */
object WordCount {

  def main(args: Array[String]) {
    val conf = new SparkConf()
      .setAppName("WordCount")
    val sc = new SparkContext(conf)

    val lines = sc.textFile("hdfs://master:9000/spark.txt", 1);
    val words = lines.flatMap { line => line.split(" ") }
    val pairs = words.map { word => (word, 1) }
    val wordCounts = pairs.reduceByKey { _ + _ }



    wordCounts.foreach(wordCount => println(wordCount._1 + " appeared " + wordCount._2 + " times."))
  }

}

 接下來選擇File--Project Structure

選擇+--JAR --from module with dependent

 

點擊apply   OK

選擇build---build artifact

選擇clean，第二次選擇build，稍等，會提示完成同時會在通知欄提示jar包位置

 

上傳jar包，新建腳本

/usr/local/src/spark/bin/spark-submit \
--class cn.spark.study.core.WordCount \
--num-executors 100 \
--driver-memory 4G \
--executor-memory 4 \
--executor-cores 1 \
/root/spark_Test/scala/sparkTest.jar \

運行腳本，運行成功即完成。