Spark介紹，安裝

1.簡單介紹和安裝：

(1)Spark使用scala編寫，運行在JVM（java虛擬機）上。所以，安裝Spark需要先安裝JDK。安裝好java後，到官網下載安裝包（壓縮文件）：http://spark.apache.org/downloads.html ，當前使用的版本是：spark-1.6.1-bin-hadoop2.4.tgz。

(2)解壓，查看目錄內容：

tar -zxvf spark-1.6.1-bin-hadoop2.4.tgz
cd spark-1.6.1-bin-hadoop2.4

這樣我們可以在單機模式下運行Spark了，Spark也可以運行在Mesos、YARN等上。

2.Spark交互式shell：

(1) Spark只支持Scala和Python兩種Shell。爲了對Spark Shell有個感性的認識，我們可以follow官網的quick-start教程：http://spark.apache.org/docs/latest/quick-start.html

首先啓動Spark shell，Scala和Python有2種不同啓動方式（下面，我們以Scala爲例介紹）：

Scala：

./bin/spark-shell

scala啓動shell參數：

./bin/spark-shell --name "axx" --conf spark.cores.max=5 --conf spark.ui.port=4041

Python：

./bin/pyspark

啓動後有如下界面：

如果需要修改顯示的日誌級別，修改$SPARK_HOME/conf/log4j.properties文件。

(2)Spark中第一個重要名詞：RDD(Resilient Distributed Dataset)，彈性分佈式數據集。

在Spark中，使用RDD來進行分佈式計算。RDD是Spark對於分佈數據和分佈計算的基本抽象。

RDD包括兩類操作，actions 和 transformations；

行動操作（actions）：會產生新的值。會對RDD計算出一個結果，並把結果返回到驅動器程序中（例如shell命令行中，我們輸入一個計算指令，spark爲我們返回的結果值），或把結果存儲到外部存儲系統（如HDFS）中（我們在後邊還會看到rdd.saveAsTextFile()）。

轉化操作（transformations）：會產生一個新的RDD。

val lines = sc.textFile("file:///spark/spark/README.md")

通過讀取文件的方式來定義一個RDD。默認地，textFile會讀取HDFS上的文件，加上file://指定讀取本地路徑的文件。

lines.count()
lines.first()

上邊是2個actions操作，分別返回RDD的行數和第一行數據。

val linesWithSpark = lines.filter(line=>lines.contains("spark"))

上邊是一個transformations操作，生成一個新的RDD，該RDD是lines的一個子集，只返回包含spark的行。

3.Spark核心概念：

每個Spark應用都包含一個驅動程序，該驅動程序在集羣中執行並行計算。在前面的事例中，驅動程序就是spark shell本身。驅動程序通過SparkContext對象（對計算集羣的一個連接）來訪問Spark。

爲了運行RDD操作，驅動程序會管理一些叫做執行器的節點。當在分佈式系統中運行時，架構圖如下：

4.獨立應用：

除了在shell中運行，還可以運行獨立應用。與Spark Shell主要區別是，當開發獨立應用時，你需要自己初始化SparkContext。

4.1 初始化SparkContext

首先，需要創建SparkConf對象來配置應用，然後通過SparkConf來創建SparkContext。初始化SparkContext對象：

SparkConf conf = new SparkConf().setAppName("wc_ms");
JavaSparkContext sc = new JavaSparkContext(conf);

setAppName可以設置這個獨立應用的名稱，後期我們可以在WebUI上監控這個應用。

4.2 開發WordCount程序：

通過Maven構建Spark程序，pom只需要引入一個依賴（根據具體的Spark版本而定）：

    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10 -->
	<dependency>
	    <groupId>org.apache.spark</groupId>
	    <artifactId>spark-core_2.10</artifactId>
	    <version>1.6.1</version>
	</dependency>

WordCount.java

package com.vip.SparkTest;

import java.util.Arrays;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;

import scala.Tuple2;


public class WordCount {
	public static void main(String[] args) {
		
		String inputfile = args[0];
		String outputfile = args[1];
		
		//得到SparkContext
		SparkConf conf = new SparkConf().setAppName("wc_ms");
		JavaSparkContext sc = new JavaSparkContext(conf);
		
		//加載文件到RDD
		JavaRDD<String> input = sc.textFile(inputfile);
		
		//flatMap方法，來自接口JavaRDDLike，JavaRDD繼承接口JavaRDDLike。
		//將文件拆分成一個個單詞（通過空格分開）；transformation操作，生成一個新的RDD。
		JavaRDD<String> words = input.flatMap(
				new FlatMapFunction<String,String>()
				{
					@Override
					public Iterable<String> call(String content) throws Exception {
						// TODO Auto-generated method stub
						return Arrays.asList(content.split(" "));
					}
				}
			);
		//先轉換成元組(key-value)，word - 1  word2 - 1；
		//再Reduce彙總計算
		JavaPairRDD<String,Integer> counts = words.mapToPair(
				new PairFunction<String,String,Integer>(){
					@Override
					public Tuple2<String, Integer> call(String arg0) throws Exception {
						// TODO Auto-generated method stub
						return new Tuple2<String, Integer>(arg0,1);
					}
				}	
			).reduceByKey(
					new Function2<Integer,Integer,Integer>(){
						@Override
						public Integer call(Integer x, Integer y) throws Exception {
							// TODO Auto-generated method stub
							return x+y;
						}
					}
					)
				;			
		counts.saveAsTextFile(outputfile);		
		sc.close();
	}

}

上邊對應的步驟做了註釋。

4.3 發佈應用到Spark（單機或者集羣）：

(1)首先，要將開發好的程序打包：

mvn package

得到jar包：SparkTest-0.0.1-SNAPSHOT.jar

(2)將相關文件上傳到服務器上：

將要做count的文本文件、jar文件上傳服務器。

(3)使用spark-submit啓動應用：

$SPARK_HOME/bin/spark-submit \
--class "com.vip.SparkTest.WordCount" \
--master local \
./SparkTest-0.0.1-SNAPSHOT.jar "輸入目錄" "輸出目錄"

說明： --class 指定程序的主類；

    --master 指定Spark的URL，因爲是在本機，所以指定了local

    輸入目錄：包含所有輸入的文本文件（可能是一個或多個文件）。

    輸出目錄：這塊要特別注意，首先這是一個目錄，不能是文件；再次這個目錄不能事先創建，否則報錯。

(4) 運行結果：

最後執行成功後，生成了2個文件：

part-00000  _SUCCESS

part-00000文件內容：

至此，我們的wordcount程序結束。