1.方法
方法 | 說明 |
---|---|
RDD.persist | 可以指定存儲等級,默認MEMORY_ONLY |
RDD.unpersist | 取消 |
2.存儲級別
(1)MEMORY_ONLY
以Java對象反串行化在JVM內存中,如果過大就無法完全存儲在內存中,多餘的不會存儲在內存中,是使用需要的話重新計算
(2)MEMORY_AND_DISK
以Java對象反串行化在JVM內存中,如果過大就無法完全存儲在內存中,多餘的會存儲在磁盤中,是使用需要的話從磁盤中獲取
(3)MEMORY_ONLY_SER
和MEMORY_ONLY類似,以Java對象串行化存儲,需要使用時需要反串行化,相對會多使用CPU資源,但會省內存存儲空間
(4)MEMORY_AND_DISK_SER
和MEMORY_ONLY_SER類似,但是會將多餘的RDD partitions存儲在硬盤中
(5)DISK_ONLY
存儲在RDD硬盤中
(6)MEMORY_ONLY_2,MEMORY_AND_DISK_2,etc
同上,但每個RDD partitions都複製到兩個節點