Hadoop 可靠性
HDFS - 可靠性
-
DataNode可以失效
DataNode會定時發送心跳到NameNode。如果一段時間內NameNode沒有收到DataNode的心跳消息,則認爲其失效。此時NameNode就會將該節點的數據(從該節點的複製節點中獲取)複製到另外的DataNode中
-
數據可以毀壞
無論是寫入時還是硬盤本身的問題,只要數據有問題(讀取時通過校驗碼來檢測),都可以通過其他的複製節點讀取,同時還會再複製一份到健康的節點中
- NameNode不可靠
DataNode可以失效
DataNode會定時發送心跳到NameNode。如果一段時間內NameNode沒有收到DataNode的心跳消息,則認爲其失效。此時NameNode就會將該節點的數據(從該節點的複製節點中獲取)複製到另外的DataNode中
數據可以毀壞
無論是寫入時還是硬盤本身的問題,只要數據有問題(讀取時通過校驗碼來檢測),都可以通過其他的複製節點讀取,同時還會再複製一份到健康的節點中
01 綜述 Opal 是愛奇藝大數據團隊研發的機器學習平臺,包含特徵生產、樣本構建、模型訓練、模型部署在內的多環節 Bigdata + AI 開發服務,內置多種訓練鏡像、