Spark的WordCount練習（二）

Spark集羣運行WordCount程序，程序基本同練習（一），區別在於註釋//.setMaster("local[*]")，改爲集羣運行，

將註釋打開，res.saveAsTextFile(args(1))，保存結果到文件，具體程序如下：

package cn.allengao.hellospark

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
/*
參數設置：
Name：SparkWC
Name class：cn.allengao.hellospark.SparkWC
arguments: hdfs://hadoop001:9000/user/hadoop/input/wc hdfs://hadoop001:9000/output/wc
 */
object SparkWC {
  def main(args: Array[String]): Unit = {
    //配置信息類
    val conf :SparkConf = new SparkConf().setAppName("SparkWC")//.setMaster("local[*]")
    //上下文對象
    val sc: SparkContext = new SparkContext(conf)
    //讀取數據
    val lines = sc.textFile(args(0))

    //處理數據
    val words: RDD[String] = lines.flatMap(_.split(" "))
    val paired: RDD[(String, Int)] = words.map((_, 1))
    //把相同key的value值聚合到一起。
    val reduced: RDD[(String, Int)] = paired.reduceByKey(_+_)
    //以value作爲排序方式,false表示倒序排列，true表示正序排列
    val res: RDD[(String, Int)] = reduced.sortBy(_._2, false)
    //保存
    res.saveAsTextFile(args(1))
    // toBuffer轉換成可變數組，就可以打印出來了。
//    println(res.collect().toBuffer)

    //結束任務
    sc.stop()
  }
}

將程序進行打包。

將打好的包上傳到spark集羣中。

啓動hadoop，啓動spark。

進入安裝好的hadoop目錄，執行 ./sbin/start-dfs.sh ./sbin/start-yarn.sh ，啓動hadoop集羣。

進入安裝好的spark目錄，執行./sbin/start-all.sh ，啓動spark集羣。

在spark中運行命令，首先確定入口類，cn.allengao.hellospark.SparkWC ，指定master的地址，指定需要多大的內存運行，指定集羣運行需要的核數cores,指定運行的jar包,指定讀取數據路徑，輸出數據路徑。

./spark-submit --class cn.allengao.hellospark.SparkWC --master spark://hadoop001:7077 --executor-memory 512M --total-executor-cores 2 /home/hadoop/app/hello-spark-1.0.jar hdfs://hadoop001:9000/user/hadoop/input/wc hdfs://hadoop001:9000/output/wc

之後開始運行。運行結果如下：

啓動瀏覽器，輸入http://192.168.119.51:8080 ，可以看到運行成功的項目如下：

啓動瀏覽器，輸入http://192.168.119.51:50070 ，可以在Hadoop中看到運行成功的結果如下：

在centos中運行命令查看文件內容：

[hadoop@hadoop001 bin]$ hadoop fs -cat /output/wc/part-00000
(hello,9)
[hadoop@hadoop001 bin]$ hadoop fs -cat /output/wc/part-00001
(tom,3)
(java,3)
(jerry,2)
(scala,1)
至此，wordcount程序在spark集羣中運行測試完畢。