1.下載地址 使用國內鏡像源,下載速度大大提升
2.配置環境
解壓到指定目錄
添加環境變量
SPARK_HOME
內容爲解壓的目錄
C:\Mysoftware\Dev\spark-2.3.3-bin-hadoop2.7\
Path 裏 添加
%SPARK_HOME%\bin;%SPARK_HOME%\sbin
驗證 cmd spark-shell
1.下載地址 使用國內鏡像源,下載速度大大提升
2.配置環境
解壓到指定目錄
添加環境變量
SPARK_HOME
內容爲解壓的目錄
C:\Mysoftware\Dev\spark-2.3.3-bin-hadoop2.7\
Path 裏 添加
%SPARK_HOME%\bin;%SPARK_HOME%\sbin
驗證 cmd spark-shell
spark的優化 1. 開發調優: 1) 避免創建重複的RDD 2) 儘可能複用同一個RDD 3) 對多次使用的RDD進行持久化 4) 儘量避免使用shuffle類算子 5) 使用map-si