HDFS運行原理(上傳文件 集羣)
過程解析:詳解
這裏描述的 是一個256M的文件上傳過程
① 由客戶端 向 NameNode節點節點 發出請求
②NameNode 向Client返回可以可以存數據的 DataNode 這裏遵循 機架感應 原則
③客戶端 首先 根據返回的信息 先將 文件分塊(Hadoop2.X版本 每一個block爲 128M
而之前的版本爲 64M)
④然後通過那麼Node返回的DataNode信息 直接發送給DataNode 並且是 流式寫入 同時 會複製到其他兩臺機器
⑤dataNode 向 Client通信 表示已經傳完 數據塊 同時向NameNode報告
⑥依照上面(④到⑤)的原理將 所有的數據塊都上傳結束 向 NameNode 報告 表明 已經傳完所有的數據塊
這樣 整個HDFS上傳流程就 走完了
這是我個人的一些理解 如果有不同意見 請在評論中提出 謝謝!!!
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
cdh設置hdfs權限
原創
2022-12-19 09:37:26
開源80萬行代碼,微衆銀行如何在小團隊規模下煉出一套一站式大數據平臺 | 卓越技術團隊訪談錄
Tina
2021-12-21 10:53:51
Uber容器化Apache Hadoop基礎設施的實踐
Uber 技术团队
2021-11-19 09:03:49
基礎軟件創業 8 年,星環科技如何精準“踩點”? | C位面對面
InfoQ 中文站
2021-11-08 14:38:55
基礎軟件創業 8 年,如何精準“踩點”? | C位面對面
赵钰莹
2021-11-02 09:28:56
拋棄Hadoop,數據湖才能重獲新生
Tina
2021-10-28 14:23:59
Hadoop 生態裏,爲什麼 Hive 活下來了?
Einat Orr 博士
2021-10-08 19:08:56
成功從 Hadoop 遷移到 Lakehouse 架構的 5 個關鍵步驟
Harsh Narula
2021-10-08 10:38:57
基於阿里雲部署的CDP產品詳情
Xuefeng Wang
2021-08-18 15:43:52
架構師(2021年7月)
InfoQ 中文站
2021-07-08 08:03:58
從廣告監測到知識圖譜,明略千億大數據處理能力是如何煉成的?
万佳
2021-05-18 11:03:58
11天裏13個Apache開源項目宣佈退休,Hadoop的時代結束了
Andrew Brust
2021-05-18 10:03:54
Hadoop 的“遺產”
Tony Baer
2021-05-08 09:58:53