首先準備上傳的文件總共大小爲200M,首先進行切分,先上傳塊一:128M,Client向Namenode申請上傳文件許可,Namenode收到請求並且同意發送一個響應給Client,Client發送一個請求第一個Block,Namenode返回三個副本的DNS,此時Client打開FSDataOutputStream,輸出流通過Namenode給的DNS,尋找對應的Datanode1、Datanode2、Datanode3,通過串聯的方式請求建立通道,Datanode通過串聯方式同意應答,此時FSDataOutputStream並行的方式發送Packet(64K),假如Datanode2無法傳輸,則Datanode1另尋地址DNS,最後傳輸完成,再傳輸72M,此時Namenode又分配DN4,DN5,DN6,這些可能與DN1,DN2,DN3相同。
Hadoop-16、HDFS上傳、讀寫流程
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
01-電商商品中心解密:僅憑SKU真的足夠嗎?
原創
2024-05-07 01:08:03
電子合同一站式解決方案 | 京東雲技術團隊
原創
2024-05-06 23:16:37
巧用 TiCDC Syncpiont 構建銀行實時交易和準實時計算一體化架構
原創
2024-04-30 22:24:58
Apache DolphinScheduler支持Flink嗎?
原創
2024-04-30 11:49:27
華爲云云原生FinOps解決方案,釋放雲原生最大價值
原創
2024-04-29 22:33:46
三喜臨門!信必優連收三家金融行業客戶表揚信
原創
2024-04-29 22:32:22
數字化轉型新篇章:企業通往智能化的新範式
原創
2024-04-29 21:22:20
從NoSQL到NewSQL——10年代大數據浪潮下的技術革新
原創
2024-04-28 23:12:26
“百團大戰”下,20年代的國產數據庫如何乘風破浪?
原創
2024-04-28 23:12:24
大數據小白的測試成長之路
原創
2024-04-28 11:17:19
如何從0到1設計診斷系統
原創
2024-04-26 22:43:26
華爲雲Stack8.3面向香港正式發佈,六大亮點激發雲上躍遷
原創
2024-04-26 10:33:21
對接HiveMetaStore,擁抱開源大數據
原創
2024-04-24 22:33:08
重磅新品發佈!雲耀數據庫HRDS,享受輕量級的極致體驗
原創
2024-04-23 22:32:33