Hadoop集羣部署總結(單機僞集羣部署)

一、JAVA環境的安裝
hadoop環境是一定需要有JAVA環境的,所以有一個關鍵的前提是安裝JAVA環境並且對環境變量進行配置
安裝JAVA
安裝命令:
    rpm -ivh jdk-7u80-linux-x64.rpm
對環境變量進行配置
    home目錄下有一個隱藏文件:.bash_profile
    export JAVA_HOME=/usr/java/jdk1.7.0_80
    export PATH=$PATH:$JAVA_HOME/bin
使配置的環境生效
    source .bash_profile
二、Hadoop安裝
Hadoop是一個tar.gz的壓縮包在上傳服務器後,放到指定的目錄,如:/root/software
解壓命令
    tar -zxvf hadoop-2.5.1_x64.tar.gz
將Hadoop的環境信息寫入到配置文件中
注意:需要把hadoop中的bin文件和sbin文件都 寫入到配置文件中
export HADOOP_HOME=/root/software/hadoop-2.5.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
在Hadoop中需要把JAVA_HOME信息寫入到環境配置文件中:hadoop-env.sh(這個文件位於hadoop解壓目錄下etc/hadoop中)
注意:這裏必須要修改爲絕對路徑,否則在後續的操作過程中,hadoop會出現找不到java環境的情況
 
三、模擬分佈式安裝
上面已經完成了基本的安裝,接下來在一臺機器上做模擬分佈式的安裝(僞分佈式安裝)
Hadoop配置,有兩個xml文件需要進行配置
    1.core-site.xml:這個文件主要用來配置訪問hadoop集羣的主要信息
    2.hdfs-site.xml:配置 HDFS的相關信息
core-site.xml(它位於:hadoop解壓目錄下etc/hadoop中)
在configuration節點下配置如下信息:
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://masternode:9000</value>
    </property>
這樣外部可以通過hdfs://masternode:9000來找到集羣
這裏有幾個點需要注意:
    1.masternode:這個可以使用IP來代替
    2.masternode是在hosts文件中進行配置的(/etc/hosts)
    3.在hosts文件是設置的名稱必須要與主機的名稱一致否則使用這個方式配置啓動hadoop集羣時會報錯會找不到主機
 
hdfs-site.xml(它位於:hadoop解壓目錄下etc/hadoop中)
在configuration節點下配置如下信息
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
這裏表示副本數是1
 
在完成上面操作後需要有一個特別注意的點需要補充操作如,否則後面在格式化HDFS時 可能會報錯
    網上描述:Hadoop是使用Java語言開發的,但是有一些需求和操作並不適合使用java,所以就引入了本地庫(Native Libraries)的概念,通過本地庫,Hadoop可以更加高效地執行某一些操作。
把以需要進行下載native和配置native
下載native:
選擇對應的版本,比如這裏使用2.5.1版本的則可以下載:hadoop-native-64-2.5.0.tar
將下載的tar文件上傳至服務器合適的目錄(這個目錄位置沒有特別的要求),執行下面的命令進行文件的解壓
     tar -xvf hadoop-native-64-2.6.0.tar -C $HADOOP_HOME/lib/native
    tar -xvf hadoop-native-64-2.6.0.tar -C $HADOOP_HOME/lib
注意:上面是兩條命令,兩條命令都需要執行到
配置native
    .bash_profile 文件進行配置信息的追加
    
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
    環境信息追加後,執行命令:source .bash_profile (目的:讓配置生效)
    
完成上面的配置後,接下來可以進行HDFS的格式化操作
使用如下命令:
    hdfs namenode -format
 
格式化完成後則可以啓動HDFS
    start-dfs.sh
啓動完成後可地訪問 如下鏈接
 
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章