spark上使用scala及python編程練習

官網Quick Start介紹瞭如何使用spark進行分佈式計算.本博文以此爲藍本，利用scala和python兩種語言簡單實踐了一下實驗內容，有利於增進認識。實現的功能爲統計README.md文件下字符a和字符b分別有多少個。

scala版本計算

1. 安裝 sbt
   SBT(Simple Build Tool)是一個現代構建工具。它是用Scala編寫的，並且針對Scala也提供了很多方便快捷的功能。它也是一個通用的構建工具。具體可參考，第一次用，具體也不是很清楚。
   1）從官網下載安裝包，我下載的是最新版【通用平臺 sbt-0.13.13.tgz】
   2) 解壓，並安裝，非常耗時，linux安裝sbt過程詳解
   其中，最後一步，sbt sbt-version非常耗時，大約用了20分鐘才完事,天吶。
2. 編寫scala程序SimpleApp.scala

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "file://usr/spark2.0/README.md" // Should be some file on your system
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println(s"Lines with a: $numAs, Lines with b: $numBs")
    sc.stop()
  }
}

3 scala需要打包，創建simple.sbt如下

   name := "Simple Project"
   version := "1.0"
   scalaVersion := "2.11.8"
   libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0"

4 .sbt打包需要特定格式的目錄結構：

 $find .
  .
./simple.sbt
./src
./src/main
./src/main/scala
./src/main/scala/SimpleApp.scala

5 打包sbt package
第一次執行打包，需要下載配置文件，非常耗時啊，20分鐘，我的天吶。
6 執行命令

./bin/spark-submit --class "SimpleApp" \
--master local[4] \
mytest/scala_code/target/scala-2.11/simple-project_2.11-1.0.jar


python 版本

相比scala和JAVA版本，python版本就簡單多了，沒有打包的煩惱。
直接編寫SimpleApp.py代碼：

from pyspark import SparkContext
logFile = “YOUR_SPARK_HOME/README.md” # Should be some file on your system
sc = SparkContext(“local”, “Simple App”)
logData = sc.textFile(logFile).cache()
numAs = logData.filter(lambda s: ‘a’ in s).count()
numBs = logData.filter(lambda s: ‘b’ in s).count()
print(“Lines with a: %i, lines with b: %i” % (numAs, numBs))
sc.stop()

使用 spark-submit 命令直接運行程序：

$ /usr/spark2.0/bin/spark-submit \
–master local[4] \
SimpleApp.py
…
Lines with a: 46, Lines with b: 23