這篇文章主要介紹了PyCharm搭建Spark開發環境的實現步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨着小編來一起學習學習吧
1.安裝好JDK
下載並安裝好jdk-12.0.1_windows-x64_bin.exe，配置環境變量：
- 新建系統變量JAVA_HOME，值爲Java安裝路徑
- 新建系統變量CLASSPATH，值爲 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;（注意最前面的圓點）
- 配置系統變量PATH，添加 %JAVA_HOME%bin;%JAVA_HOME%jrebin
在CMD中輸入：java或者java -version，不顯示不是內部命令等，說明安裝成功。
2.安裝Hadoop，並配置環境變量
下載hadoop：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
- 解壓hadoop-2.7.7.tar.gz特定路徑，如：D:\adasoftware\hadoop
- 添加系統變量HADOOP_HOME：D:\adasoftware\hadoop
- 在系統變量PATH中添加：D:\adasoftware\hadoop\bin
- 安裝組件winutils：將winutils中對應的hadoop版本中的bin替換自己hadoop安裝目錄下的bin
3.Spark環境變量配置
spark是基於hadoop之上的，運行過程中會調用相關hadoop庫，如果沒配置相關hadoop運行環境，會提示相關出錯信息，雖然也不影響運行。
- 下載對應hadoop版本的spark：http://spark.apache.org/downloads.html
- 解壓文件到：D:\adasoftware\spark-2.4.3-bin-hadoop2.7
- 添加PATH值：D:\adasoftware\spark-2.4.3-bin-hadoop2.7\bin;
- 新建系統變量SPARK_HOME：D:\adasoftware\spark-2.4.3-bin-hadoop2.7;
4.下載安裝anaconda
anaconda集成了python解釋器和大多數python庫，安裝anaconda 後不用再安裝python和pandas numpy等這些組件了。下載地址。最後將python加到path環境變量中。
5.在CMD中運行pyspark，出現類似下圖說明安裝配置正常：
出現這種warning是因爲JDK版本爲12，太高了，但是不影響運行。沒有影響。
6.在pycharm中配置spark
打開PyCharm，創建一個Project。然後選擇“Run” ->“Edit Configurations”–>點擊+創建新的python Configurations
選擇 “Environment variables” 增加SPARK_HOME目錄與PYTHONPATH目錄。
- SPARK_HOME:Spark安裝目錄
- PYTHONPATH:Spark安裝目錄下的Python目錄
選擇 File->setting->你的project->project structure
右上角Add content root添加：py4j-some-version.zip和pyspark.zip的路徑（這兩個文件都在Spark中的python文件夾下）
保存即可
7.測試是否配置成功，程序代碼如下，創建一個python程序放進去就可以：
import os
import sys
# Path for spark source folder
os.environ['SPARK_HOME'] = "D:\adasoftware\spark"
# Append pyspark to Python Path
sys.path.append("D:\adasoftware\spark\python")
try:
from pyspark import SparkContext
from pyspark import SparkConf
print("Successfully imported Spark Modules")
except ImportError as e:
print("Can not import Spark Modules", e)
sys.exit(1)
若程序正常輸出: "Successfully imported Spark Modules"就說明環境已經可以正常執行。
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持神馬文庫。