當Spark 版本低於2.0.0時,以及不借助與其他包的情況下,可以用如下方法將csv數據轉化成RDD
sc = SparkContext()
//獲取RDD
csvfile = sc.textFile("xxx.csv")
//逗號分隔
all = csvfile.map(lambda line: line.split(","))
//當有標題的時候,過濾掉標題,獲取內容
header = all.first()
data = all.filter(lambda line: line[0] != header[0])
sample = data.take(5)
print sample