Spark相关文章索引（5）

环境部署

1. Spark on Yarn集群搭建详细过程
2. Python pycharm（windows版本）部署spark环境
3. Spark+Python+Pycharm在Windows下的配置

基本常识

Spark RDD概念学习系列之RDD的5大特点（五）

Debug

1. 启动spark-shell后出现not found错误

2. spark-shell启动报错：Yarn application has already ended! It might have been killed or unable to launch application master

P.K.

1. Spark配置参数优先级
   

   优先级从高到低为：代码，shell，配置文件

2. spark中的cache() persist() checkpoint()之间的区别
3. Spark:Yarn-cluster和Yarn-client区别与联系

实战演练

1. 使用Spark SQL读取Hive上的数据
2. sparksql on hive 配置
3. spark on yarn模式下配置spark-sql访问hive元数据