Spark相關文章索引（5）

環境部署

1. Spark on Yarn集羣搭建詳細過程
2. Python pycharm（windows版本）部署spark環境
3. Spark+Python+Pycharm在Windows下的配置

基本常識

Spark RDD概念學習系列之RDD的5大特點（五）

Debug

1. 啓動spark-shell後出現not found錯誤

2. spark-shell啓動報錯：Yarn application has already ended! It might have been killed or unable to launch application master

P.K.

1. Spark配置參數優先級
   

   優先級從高到低爲：代碼，shell，配置文件

2. spark中的cache() persist() checkpoint()之間的區別
3. Spark:Yarn-cluster和Yarn-client區別與聯繫

實戰演練

1. 使用Spark SQL讀取Hive上的數據
2. sparksql on hive 配置
3. spark on yarn模式下配置spark-sql訪問hive元數據