介紹
- 背景 : 流應用成型必須全天候運行,因此必須適應與應用程序邏輯無關的故障(如系統故障,JVM崩潰等),爲此Spark Streaming 需要將足夠的信息檢測點容錯到存儲系統,以便能夠從故障中恢復
- 檢測點包括兩種類型 :
- 元數據檢測點 : 將定義的流計算的信息保存到HDFS等容錯存儲
包括:
配置——用於創建流應用程序的配置。
DStream操作——定義流應用程序的DStream操作集。
不完整批處理—作業已排隊但尚未完成的批處理。 - 數據點檢測 : 將生成的RDDs保存到可靠的存儲中
在一些跨多個批次組合數據的有狀態轉換中，這是必要的。在這樣的轉換中，生成的RDDs依賴於前幾個批次的RDDs，這會導致依賴鏈的長度隨時間不斷增加。爲了避免恢復時間的無限制增加(與依賴鏈成正比)，有狀態轉換的中間rdd會定期檢查到可靠的存儲(例如HDFS)，以切斷依賴鏈
另外
無法從Spark Streaming中的檢查點恢復累加器和廣播變量。如果啓用檢查點並同時使用累加器或廣播變量，則必須爲累加器和廣播變量創建延遲實例化的單例實例，以便在驅動程序在失敗時重新啓動後對它們進行重新實例化。
官方文檔查看:
http://spark.apache.org/docs/latest/streaming-programming-guide.html#checkpointing