[Spark 學習]-- 初級規劃

1 Spark 框架介紹
1.1 Spark 介紹
1.1.1 Spark 是什麼?
1.1.2 爲什麼使用 Spark?
1.1.3 應用場景有哪些?
1.1.4 參考
1.1.5 小結

1.2 Spark core
1.2.1 spark 技術棧
1.2.2 spark 是怎樣工作的
1.2.3 RDD 是什麼?有哪些特點?RDD 在哪裏?
1.2.4 RDD 有哪些 Operator ?
1.2.5 小結

1.3 Spark 實踐
1.3.1  開發環境搭建
1.3.2  編譯 Spark 源碼
1.3.3  運行第一個實例
1.3.4  小結

1.4 Spark 運行架構
1.4.1 Spark 運行模式(本地& 集羣)
1.4.2 集羣管理器(Standalone、Yarn、Mesos和 K8S)
1.4.3 運行架構介紹
1.4.3.1 本地模式(Local)
1.4.3.2 僞分佈式(Local-Cluster)
1.4.3.3 Standalone
1.4.3.4 Yarn 運行模式
1.4.3.5 Mesos 運行模式
1.4.3.6 K8s 運行模式
1.4.4 演示
1.4.5 小結

2 Spark SQL
2.1 簡介
2.2 Spark SQL 運行原理
2.3 Hive on Spark 
2.4 演示
2.5 小結

3 部署 Spark 應用
3.1 交互式運行Spark 程序
3.2 創建和提交 Spark 應用
3.3  配置 Spark 應用
3.4 監控 Spark 應用
3.5 小結

4 優化 Spark 應用程序
4.1 Spark 執行模型
4.2 調優方法
4.2.1 減少Shuffle
4.2.2 分區和並行性(Task 數)
4.2.3 數據的序列化和壓縮
4.2.4 Spark SQL 查詢優化
4.2.5 緩存數據
4.2.6 廣播變量
4.8 小結

5 FAQ

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章