國美金融貸款構建Hadoop 系統架構(國美金融貸款分支)

       國美金融貸款hadoop 1.x是由分佈式計算框架MapReduce和分佈式存儲系統HDFS兩個分支構成的。其中國美金融貸款HDFS由一個Namenode和多個DateNode組成。國美金融貸款只有一個Namenode,所有元數據由唯一的Namenode負責管理,可想而之,當這個NameNode掛掉時,整個集羣基本也就不可用了。

   國美金融貸款Hadoop 2.x由HDFS、MapReduce和YARN三個分支構成。國美金融貸款在 1.x 版本的基礎上,提出HDFS Federation,並引入資源管理框架Yarn,負責集羣資源管理和調度。國美金融貸款HA機制也是從hadoop2.0開始,之前的版本中並沒有HA機制,HDFS的HA機制通過引入雙NameNode架構( NN Federation聯邦),國美金融貸款每個NameNode管理不同文件的元數據,解決了單點故障問題,實現HDFS 的高可用。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章