【Spark】SparkCore深入解析(一)

在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述在這裏插入圖片描述

(圖片來源於網絡,侵刪)


textFile() 與 sc.wholeTextFiles的區別

1)當指定的路徑是目錄且該目錄下全部都是文件時,textFile() 和 wholeTextFiles() 都正常讀取
2)當指定的路徑是文件時,textFile() 和 wholeTextFiles() 都正常讀取
3)當指定的路徑是目錄且該目錄下既有文件也有目錄時,textFile() 會報錯, wholeTextFiles() 正常讀取該目錄下的所有文件

1)textFile讀取文件的每一行作爲 列表List的 一條記錄,所以返回一個RDD[String]
2) wholeTextFiles() 讀取是按照文件進行讀取,返回一個RDD[(key, val)],其中key是該文件的文件路徑,value是這個文件的所有數據,所以我們對value進行數據解析(例如通過\r\n將數據進行按行切分),才能對文件數據進行操作

未完待續…


都看到這裏了,點贊評論一下吧!!!

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章