HDFS運行原理(上傳文件 集羣)

HDFS 上傳流程


過程解析:詳解
這裏描述的 是一個256M的文件上傳過程 
① 由客戶端 向 NameNode節點節點 發出請求
②NameNode 向Client返回可以可以存數據的 DataNode 這裏遵循  機架感應  原則
③客戶端 首先 根據返回的信息 先將 文件分塊(Hadoop2.X版本 每一個block爲 128M 而之前的版本爲 64M
④然後通過那麼Node返回的DataNode信息 直接發送給DataNode 並且是 流式寫入  同時 會複製到其他兩臺機器
⑤dataNode 向 Client通信 表示已經傳完 數據塊 同時向NameNode報告
⑥依照上面(④到⑤)的原理將 所有的數據塊都上傳結束 向 NameNode 報告 表明 已經傳完所有的數據塊 

這樣 整個HDFS上傳流程就 走完了 

這是我個人的一些理解 如果有不同意見 請在評論中提出 謝謝!!!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章