Hadoop之安全模式

    在hadoop的實踐過程中,系統啓動的時候去修改和刪除文件有時候會報以下錯誤:

    org.apache.hadoop.dfs.SafeModeException: Cannotdelete/user/hadoop/input. Name node is in safe mode.從字面上來理解:“Name nodeis in safe mode.”hadoopnamenode處於安全模式。

    出現上述現象由於NameNode在啓動的時候首先進入安全模式。


    安全模式啓動過程:

    當 HadoopNameNode節點啓動時,會進入安全模式階段。在此階段,DataNode會向NameNode上傳它們數據塊的列表,讓 NameNode得到塊的位置信息,並對每個文件對應的數據塊副本進行統計。當最小副本條件滿足時,即一定比例的數據塊都達到最小副本數,系統就會退出安全模式,而這需要一定的延遲時間。當最小副本條件未達到要求時,就會對副本數不足的數據塊安排DataNode進行復制,直至達到最小副本數。而在安全模式下,系統會處於只讀狀態,NameNode不會處理任何塊的複製和刪除命令。


    安全模式相關屬性的設置:

    安全模式的相關屬性都在文件conf/hdfs-site.xml中指定,有如下幾個:

    dfs.replication.min  指定數據塊要達到的最小副本數,默認爲1

    dfs.safemode.extension   指定系統退出安全模式時需要的延遲時間,默認爲30()

    dfs.safemode.threshold.pct 指定退出條件,需要達到最小副本數的數據塊比例,1.0.3中默認是0.95


    安全模式常用命令:

hadoop dfsadmin-safemode 命令

    格式:Usage: java DFSAdmin [-safemode enter | leave | get |wait]

    用戶可以通過dfsadmin -safemode value 來操作安全模式,參數value的說明如下:

    enter - 進入安全模式

    leave - 強制NameNode離開安全模式

    get  - 返回安全模式是否開啓的信息

    wait  - 等待,一直到安全模式結束。


    hadoop dfsadmin -safemode 命令的源碼解析:

    dfsadmin的命令實現類org.apache.hadoop.hdfs.tools. DFSAdmin


    安全模式命令用法:

Usage: java DFSAdmin [-safemode enter | leave | get | wait]

    實現類DFSAdmin中主要處理的安全模式的命令的方法是setSafeMode核心處理邏輯爲:

DistributedFileSystem dfs = (DistributedFileSystem) fs;
boolean inSafeMode = dfs.setSafeMode(action);
DFSAdmin à DistributedFileSystemà DFSClientà ClientProtocol的實現類NameNodeàFSNamesystem.
核心代碼:
  boolean setSafeMode(SafeModeAction action) throwsIOException {
    if (action != SafeModeAction.SAFEMODE_GET) {
      checkSuperuserPrivilege();
      switch(action) {
      case SAFEMODE_LEAVE: // leave safe mode
        leaveSafeMode(false);
        break;
      case SAFEMODE_ENTER: // enter safe mode
        enterSafeMode();
        break;
      }
    }
    return isInSafeMode();
  }


    安全模式的實現由FSNamesystem的內部類:SafeModeInfo實現的。監控安全模式的是SafeModeMonitor內部類。

類包含了安全模式的相關信息。當namenode進入安全模式時,將創建SafeModeInfo實例。在namenode啓動的時候,SafeModeInfo計算safe blocks,即這blocks至少有冗餘的數量,並計算safe blocks在所有blocks的比例也就是FSNamesystem#blocksMap的大小。當比例達到閾值threshold,將啓動 SafeModeMonitor後臺進程監控安全模式是否已經過去。當過去時,hadoop集羣將離開安全模式,並銷燬自己。


    FSNamesystem的初始化時initialize進入安全模式

this.safeMode = new SafeModeInfo(conf);
在啓動時創建SafeModeInfo實例時,其參數如下:
this.threshold =conf.getFloat("dfs.safemode.threshold.pct", 0.95f);
    this.extension =conf.getInt("dfs.safemode.extension", 0);
this.safeReplication =conf.getInt("dfs.replication.min", 1);
//namenode啓動時創建SafeModeInfo實例
    SafeModeInfo(Configuration conf) {
      this.threshold =conf.getFloat("dfs.safemode.threshold.pct", 0.95f);
      this.extension =conf.getInt("dfs.safemode.extension", 0);
      this.safeReplication =conf.getInt("dfs.replication.min", 1);
      this.blockTotal = 0; 
      this.blockSafe = 0;
    }
//手動進入安全模式的實例構造方法
    private SafeModeInfo() {
      this.threshold = 1.5f;  //this threshold can never be reached
      this.extension = Integer.MAX_VALUE;
      this.safeReplication = Short.MAX_VALUE +1; // more than maxReplication
      this.blockTotal = -1;
      this.blockSafe = -1;
      this.reached = -1;
      enter();
      reportStatus("STATE* Safe mode isON.", true);
    }
//手動觸發的方法入口如下:
  synchronized void enterSafeMode() throws IOException {
    if (!isInSafeMode()) {
      safeMode = new SafeModeInfo();
      return;
    }
    safeMode.setManual();
    getEditLog().logSync();
    NameNode.stateChangeLog.info("STATE* Safe modeis ON. "
                              + safeMode.getTurnOffTip());
  }
SafeModeMonitor安全模式監控類,1000毫秒監控狀態。
核心代碼:
public void run() {
      while (fsRunning && (safeMode !=null && !safeMode.canLeave())) {
        try {
         Thread.sleep(recheckInterval);
        } catch(InterruptedException ie) {
        }
      }
      // leave safe mode and stop the monitor
      try {
        leaveSafeMode(true);
      } catch(SafeModeException es) { //should never happen
        String msg ="SafeModeMonitor may not run during distributed upgrade.";
        assert false : msg;
        throw newRuntimeException(msg, es);
      }
      smmthread = null;
    }


    冗餘模塊的複製處理過程:核心處理方法processMisReplicatedBlocks.

    當然也可以在NameNode的的50070端口WEB界面的上看看集羣是否處於安全模式狀態。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章