HDFS 筆記一

1.HDFS主要的組件:

2.HDFS讀數據流程

1. 客戶端通過Distributed FileSystemNameNode請求下載文件,NameNode通過查詢元數據, 找到文件塊所在的DataNode地址。
2. 挑選一臺DataNode(就近原則,然後隨機)服務器,請求讀取數據。
3. DataNode開始傳輸數據給客戶端(從磁盤裏面讀取數據輸入流,以Packet爲單位來做校驗)。
4. 客戶端以Packet爲單位接收,先在本地緩存,然後寫入目標文件。
 
3.HDFS寫數據流程
1. 客戶端通過Distributed FileSystem模塊向NameNode請求上傳文件,NameNode檢查目標文件是否已存在,父目錄是否存在。
2. NameNode返回是否可以上傳。
3. 客戶端請求第一個 Block上傳到哪幾個DataNode服務器上。
4. NameNode返回3DataNode節點,分別爲dn1dn2dn3
5. 客戶端通過FSDataOutputStream模塊請求dn1上傳數據,dn1收到請求會繼續調用dn2,然後 dn2調用dn3,將這個通信管道建立完成。
6. dn1dn2dn3逐級應答客戶端。
7. 客戶端開始往dn1上傳第一個Block(先從磁盤讀取數據放到一個本地內存緩存),以Packet(默認64KB)爲單位,dn1收到一個Packet就會傳給dn2dn2傳給dn3dn1每傳一個packet會放入一個確認隊列 等待確認。
8. 當一個Block傳輸完成之後,客戶端再次請求NameNode上傳第二個Block的服務器。(重複執行 3-7步)。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章