Spark學習筆記(一)

Spark知識掌握
第一階段
要熟練掌握Scala的trait、apply、函數式編程、泛型、逆變與協變等；


第二階段:  精通Spark平臺本身提供給開發者API


1，掌握Spark中面向RDD的開發模式，掌握各種transformation和action函數的使用；


2，掌握Spark中的寬依賴和窄依賴以及lineage機制；


3，掌握RDD的計算流程，例如Stage的劃分、Spark應用程序提交給集羣的基本過程和Worker節點基礎的工作原理等


第三階段：深入Spark內核


此階段主要是通過Spark框架的源碼研讀來深入Spark內核部分：


1，通過源碼掌握Spark的任務提交過程；


2，通過源碼掌握Spark集羣的任務調度；


3，尤其要精通DAGScheduler、TaskScheduler和Worker節點內部的工作的每一步的細節；


第四階級:掌握基於Spark上的核心框架的使用


Spark作爲雲計算大數據時代的集大成者，在實時流處理、圖技術、機器學習、NoSQL查詢等方面具有顯著的優勢，我們使用Spark的時候大部分時間都是在使用其上的框架例如Shark、Spark Streaming等：


1，Spark Streaming是非常出色的實時流處理框架，要掌握其DStream、transformation和checkpoint等；


2，Spark的離線統計分析功能，Spark 1.0.0版本在Shark的基礎上推出了Spark SQL，離線統計分析的功能的效率有顯著的提升，需要重點掌握；


3，對於Spark的機器學習和GraphX等要掌握其原理和用法；