安裝Hadoop軟件

自我學習

安裝Hadoop軟件,我安裝的三臺服務器上的,分別爲master,slave1和slave2  hadoop安裝包爲:hadoop-1.2.1-bin.tar.gz

先將hadoop安裝包解壓: tar -zxvf hadoop-1.2.1-bin.tar.gz

進入到這個目錄下 :cd hadoop-1.2.1, 在這個目錄下創建了一個文件tmp,用來存放一些運行時的臨時文件 mkdir tmp

1.下一步開始修改配置文件,因爲我這是3臺機器來測試的,進入conf先修改master(修改主節點)

將原有的localhost修改爲了master

2.修改slave分別修改爲slave1和slave2(修改從節點)

將原有的localhost修改爲slave1和slave2

3.修改 core-site.xml配置文件

        <property>   // 配置臨時文件的名稱
            <name>hadpood.tmp.dir</name>  
            <value>/usr/local/src/haddop-1.2.1/tmp</value>
        </property>
        <property>  // 配置hdfs和端口號
            <name>fs.default.name</name>
            <value>hdfs://192.168.42.10:9000</value>
        </property>

4.修改mapred-site.xml配置文件

        <property> // 配置job.tracker
            <name>mapred.job.tracker</name>
            <value>http://192.168.42.10:9001</value>
        </property>

5.修改hdfs-site.xml配置文件

        <property> // 配置數據在hdfs的存儲的副本數,默認是3
             <name>dfs.replication</name>
             <value>3</value>
        </property>

6.修改hadoop-env.sh配置jdk的環境

修改的所有文件

修改本地網絡配置 (光標換行ESC+O)  ---配置後面兩個是爲了後期訪問的時候,可以直接通過名稱來訪問

啓動我們修改的host文件  --臨時啓動和永久啓動方式

永久生效是需要修改 vim /etc/sysconfig/network

另外兩臺需要我們遠程拷貝到指定的位置

scp -rp  hadoop-1.2.1 192.168.42.11:/usr/local/src/ 

scp -rp  hadoop-1.2.1 192.168.42.12:/usr/local/src/ 

以下是防止網絡傳輸的影響,需要關閉的東西:

將每臺機器的防火牆關閉: /etc/init.d/iptables stop

使用iptables -L來驗證防火牆是否關閉

以及seLinux 需要設置 setenforce 0  使用getenforce來驗證

建立每臺機器的互信關係,就是訪問的時候不需要輸入密碼,免密登錄(密碼驗證)

ssh-keygen

查看.ssh中的文件,公鑰id_rsa.pub和私鑰id_rsa

將三個系統的公鑰都複製到master機器中的authorized_keys中,在將這個文件複製其他另外兩個文件中

scp -rp authorized_keys slave1/2:~/.ssh/

免密登錄結果;互信關係建立起來了

啓動hadoop集羣

1.先格式化 在/usr/local/src/hadoop-1.2.1/bin目錄下,執行 ./hadoop namenode -format命令

執行 ./start-all.sh啓動集羣服務,啓動後使用 jps 命令查看進程

檢測是否可以使用: ./hadoop fs -ls / 查看文件

上傳文件: ./hadoop fs -put /etc/passwd /

讀取文件內容: ./hadoop fs -cat /passwd