【PySpark】將本地CSV文件讀爲DataFrame

        本篇主要介紹兩種將本地文件讀爲DataFrame的方法。

方法一：

其中，format的第一個參數是固定的，代表讀取csv文件，load後面寫入自己存儲的路徑即可

from pyspark import SparkContext 
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('D:/chen_lib工作文檔/works/monitor/monitor_warn_hive.csv')

方法二：

藉助pandas庫，先用pandas讀爲dataframe，再通過創建dataframe轉爲pyspark中的dataframe。

from pyspark import SparkContext 
from pyspark.sql import SQLContext 
import pandas as pd 
sc = SparkContext()
sqlContext=SQLContext(sc) 
df=pd.read_csv(r'D:/chen_lib工作文檔/works/IM/test.csv') 
df_1=sqlContext.createDataFrame(df) 

接下來查看數據：