部署HDFS

HDFS存放副本時會優先在同一個數據節點備份一份,然後在不同的虛擬機架上備份

namenode的HA是靠主備方式保證的,自動切換時要用到zookeeper,手動切換可以通過命令,備節點可以在數據節點上,一套HDFS-HA最少需要3臺機子

安裝步驟:

#yum install java

#wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

#tar -zxvf hadoop-2

#mv hadoop-2.6.0 /usr/local/hadoop

ssh免密碼登錄,分發公鑰:

#ssh-keygen -t rsa

#ssh-copy-id -i /root/.ssh/id_rsa.pub '-p 22 [email protected]'

#vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.79.x86_64/jre 指定jdk目錄
export HADOOP_PID_DIR=${HADOOP_HOME}/pids
export HADOOP_SSH_OPTS="-p 1234"   如果非22的ssh端口,需要這行來指定端口

#vim /usr/local/hadoop/etc/hadoop/core-site.xml 編輯主節點主要參數

<configuration>
<property>
   <name>hadoop.tmp.dir</name>
   <value>file:/hdfs/tmp</value>指定上傳到hdfs數據臨時存放目錄,多硬盤可設多個來備份和提高效率
</property>
<property>
    <name>fs.default.name</name>
    <value>hdfs://192.168.128.129:9000</value>      指定默認主的訪問方式
    </property>
</configuration>

#mkdir -p /hdfs/tmp

#vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml      編輯hdfs數據存放參數

<configuration>
<property>
    <name>dfs.replication</name>
    <value>2</value>                    數據備份數
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/hdfs/name</value>    name節點存放數據位置,多硬盤可設置多個來備份和提高效率
</property>
<property>
    <name>dfs.datannode.data.dir</name>
    <value>file:/hdfs/nodedata</value>    數據節點存數據位置,多硬盤可設多個來備份和提高效率
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>    指定備name節點ip
    <value>hdfs://備節點ip:50070</value>
</property>
    <name>dfs.webhdfs.enabled</name>     開啓網頁看結構功能
    <value>true</value> 
</property>
<property>
   <name>dfs.permissions</name>        文件操作時禁止檢查權限
   <value>false</value>
</property>
</configuration>

#mkdir /hdfs/name

#mkdir /hdfs/nodedata

#vim /usr/local/hadoop/etc/hadoop/slaves 添加數據節點的ip或主機名

#export HADOOP_ROOT_LOGGER=DEBUG,console 爲了解決本地庫報錯,設置前端顯示日誌

#/usr/local/hadoop/bin/hadoop fs -ls 主要看看需要的GLIBC版本

#wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz

#tar -zxvf glibc-2.14

#mkdir glibc-build

#cd glibc-build

#../glibc-2.14/configur --prefix=/usr

#make && make install 最後出現的libc5啥的錯誤無視他

#shutdown -r 0 重啓系統生效


開始使用:

#/usr/local/hadoop/bin/hadoop namenode -format 格式化

#/usr/local/hadoop/sbin/start-dfs.sh     在namenode節點啓動HDFS  stop-dfs.sh 停止


訪問 http://ip:50070  看網頁狀態


監控:

獲取HDFS狀態命令:

#/usr/local/hadoop/bin/hadoop dfsadmin -report


如果livenode是0的話就刪了所有節點的tmp、name、data文件夾裏的東西,然後再格式化,啓動




發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章