PyCharm遠程操作服務器Spark

PyCharm遠程操作服務器Spark

1.環境準備

- windows

JetBrains PyCharm 2019.1.3 Professional版本 

- Linux(CentOS)

Python version 3.6.5
Spark version 2.4.3

vim /etc/profile
向PATH追加
export PATH=.:$PATH:$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.7-src.zip:

:wq

source /etc/profile

- Python(CentOS)

pip install pyspark
pip install py4j

2.Pycharm配置

- 配置Pycharm Deployment(必須是Professional版本)

1.選擇菜單欄 Tools->Deployment->Configuration

2.配置服務器同步代碼

- 配置Pycharm interpreter配置(不同的版本可能會有所差異)

1.選擇菜單欄 (File->Settings)(Ctrl+Alt+S)->Project:項目名->Project Interpreter

2.ssh連接 無誤後點擊apply

3.實例代碼

4.上傳代碼

5.運行