RDD的緩存/持久化

緩存的目的是? 提高效率,當我們對某些數據頻繁使用的時候,就可以把他放到Redis緩存中,這樣後續的讀取效率就很高

緩存查看:()

查看源碼:

 

繼續查看:

繼續查看(底層調用參數):

 

StorageLevel.MEMORY_ONLY表示內存設置的參數。RDD持久化/緩存的目的是爲了提高後續操作的速度.緩存的級別有很多,默認只存在內存中,開發中使用memory_and_disk,rdd.persist(StorageLevel.MEMORY_AND_DISK)。只有執行action操作的時候纔會真正將RDD數據進行持久化/緩存。實際開發中如果某一個RDD後續會被頻繁的使用,可以將該RDD進行持久化/緩存
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章