Hadoop個人心得筆記之DFS目錄

                                             DFS目錄

---

1. dfs目錄在NameNode被格式化的時候產生
2. dfs目錄的子目錄：name、data、namesecondary
3. in_use.lock標記當前節點已經在使用
4. HDFS第一次啓動的時候，會默認在1min的時候進行一次合併，之後就按照更新條件啦進行合併
5. edits文件的開始和結束都會算作一次事務
6. 上傳文件：
   1. OP_ADD：在指定目錄下創建一個同名文件._COPYING_，此時這個文件允許寫入
   2. OP_ALLOCATE_BLOCK_ID：分配BlockID
   3. OP_SET_GENSTAMP_V2：給時間戳分配一個編號
   4. OP_ADD_BLOCK：將數據傳輸到HDFS上
   5. OP_CLOSE：關流，關閉文件，此時文件不允許寫入
   6. OP_RENAME_OLD：重命名
7. edits文件的轉化命令：hdfs oev -i edits_XXX -o xxx.xml
8. fsimage文件的轉化命令：hdfs oiv -i fsimage_0000000000000000000 -o f.xml -p XML
9. VERSION文件：
   1. clusterID：集羣編號。在NameNode被格式化的時候，自動計算一個clusterID，並且會在啓動HDFS之後，NameNode會將clusterID分發給每一個DataNode；NameNode每格式化一次，clusterID都會重新計算
   2. storageType：節點類型
   3. blockpoolID：塊池ID。主用於聯邦HDFS中