Spark2.0以下讀取csv數據並轉化爲RDD

當Spark 版本低於2.0.0時,以及不借助與其他包的情況下,可以用如下方法將csv數據轉化成RDD

    sc = SparkContext()
    //獲取RDD
    csvfile = sc.textFile("xxx.csv")
    //逗號分隔
    all = csvfile.map(lambda line: line.split(","))
    //當有標題的時候,過濾掉標題,獲取內容
    header = all.first()
    data = all.filter(lambda line: line[0] != header[0])
    sample = data.take(5)
    print sample
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章