【PySpark】将本地CSV文件读为DataFrame

        本篇主要介绍两种将本地文件读为DataFrame的方法。

方法一：

其中，format的第一个参数是固定的，代表读取csv文件，load后面写入自己存储的路径即可

from pyspark import SparkContext 
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('D:/chen_lib工作文档/works/monitor/monitor_warn_hive.csv')

方法二：

借助pandas库，先用pandas读为dataframe，再通过创建dataframe转为pyspark中的dataframe。

from pyspark import SparkContext 
from pyspark.sql import SQLContext 
import pandas as pd 
sc = SparkContext()
sqlContext=SQLContext(sc) 
df=pd.read_csv(r'D:/chen_lib工作文档/works/IM/test.csv') 
df_1=sqlContext.createDataFrame(df) 

接下来查看数据：