MAC/window之最簡單安裝單機版pyspark

無需安裝Hadoop--無需安裝Scala--無需安裝spark--無需配置環境

很多初學者，都是複製粘貼別人的教程，對pyspark 沒有深入的理解，照葫蘆畫瓢，勞民傷財，多走彎路。

這片博客講述了最快捷的方式進行安裝pyspark（local模式)。

第一步

如果安裝了 Oracle JDK或者openjdk 可以直接進入第三步；

如果安裝了Oracle JDK並想安裝openjdk，則需要刪除已有的卸載Oracle JDK,並進入第二步；

如果沒有安裝JDK,可以直接進入第二步。

 第二步

安裝Java ，我裝的openjdk,連接地址如下

https://adoptopenjdk.net/?variant=openjdk8&jvmVariant=hotspot

下載後，雙擊點擊，一直按下去就可以安裝成功

然後打開iTerm輸入 java -verison

第三步

前提是安裝好anaconda，並把鏡像設置爲清華，連接地址：清華鏡像配置

1.安裝pyspark

pip install pyspark

2.在iTerm 輸入pyspark，效果如下

在IDE上運行一下腳本

-*- coding: utf-8 -*-
from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("my_first_app_spark") \
    .enableHiveSupport() \
    .getOrCreate()

spark.sql("select 1").show(10)

import time
time.sleep(100)

print('perfect ')

 

 

運行結果

打開瀏覽器輸入：localhost:4040

大功告成，如何使用pyspark，請見我的其他博客

https://blog.csdn.net/hejp_123/category_8708607.html