17.RDD Persistence 持久化

1.方法

 

方法 說明
RDD.persist 可以指定存儲等級,默認MEMORY_ONLY
RDD.unpersist 取消

2.存儲級別

   (1)MEMORY_ONLY

            以Java對象反串行化在JVM內存中,如果過大就無法完全存儲在內存中,多餘的不會存儲在內存中,是使用需要的話重新計算

   (2)MEMORY_AND_DISK

            以Java對象反串行化在JVM內存中,如果過大就無法完全存儲在內存中,多餘的會存儲在磁盤中,是使用需要的話從磁盤中獲取

   (3)MEMORY_ONLY_SER

            和MEMORY_ONLY類似,以Java對象串行化存儲,需要使用時需要反串行化,相對會多使用CPU資源,但會省內存存儲空間

   (4)MEMORY_AND_DISK_SER

            和MEMORY_ONLY_SER類似,但是會將多餘的RDD partitions存儲在硬盤中

   (5)DISK_ONLY

            存儲在RDD硬盤中

   (6)MEMORY_ONLY_2,MEMORY_AND_DISK_2,etc

            同上,但每個RDD partitions都複製到兩個節點

 

 

發佈了122 篇原創文章 · 獲贊 15 · 訪問量 15萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章