centos hadoop 單機部署環境搭建

前言的前言

如果你做某件從未接觸過的事的時候很糾結很曲折,那麼爲你自己高興吧,你能學到很多東西!

以下的東西都是貼圖,所以你們只有手敲了。我也不清楚這個東西是不是應該花很多時間去做,有得有失,某些付出不知道到底值多少。據**說一下午都能配出來,誰叫我傻呢,誰叫我蠢呢,不過該走的路咱還是踏實點走吧,不去跟人比。所以現在我把細節寫出來,供大家參考,讓你能在兩小時內完成。希望它能幫助你學習,而不是讓你變得更依賴。如有不對的地方請指正,我也是初學者。謝謝!


前言

做事總有個原因吧,那麼我們爲什麼安裝單機的hadoop呢?因爲官網上有安裝單機hadoop,因爲某權威網站有Ubuntu下安裝單機hadoop,但是沒有一個網站有CentOS下單機安裝,所以我現在CentOS下面單機配置hadoop。

其實單機hadoop的安裝沒有什麼實質的用處,主要用於初學者熟悉指令,以及對hadoop配置有個大致瞭解,以便於安裝分佈式。

首先,我們來理清思路。

目的:安裝hadoop

Hadoop是需要在java環境下面運行,所以,首先要保證你的系統下面裝有JDK。那麼步驟是:配置SSH——安裝JDK——安裝hadoop(當然你願意先安裝它也完全沒問題)——配置java的環境變量(需要知道java的安裝路徑)——配置namenode下面3個配置文件——格式化hadoop——啓動hadoop。

我們用一般用戶登錄,然後切換到root下面,因爲權限的問題,這樣相比下會更安全點,注意linux下面儘量不要用root登錄。

開始了

所需軟件

CentOS、Java、Hadoop安裝軟件。本人用的版本爲Linux Cent OS 5.5、jdk1.6.0_13、hadoop-0.20.2.tar.gz。

我們要提醒一下,linux下面很注意權限問題。我們應該以一般用戶登錄,然後切換至root用戶才能使用某些命令,並能使系統處於相對安全的狀態。

所以做如下處理,來切換到root用戶。

Hadoop在CentOS下的單機配置

1.       SSH無密碼驗證配置(更建議放到最後一步進行,爲非核心步驟,只是方便而已)

Hadoop 需要使用SSH 協議。

namenode 將使用SSH 協議啓動 namenode和datanode 進程,配置 SSH localhost無密碼驗證。


(1)生成密鑰對

Hadoop在CentOS下的單機配置

前面是爲了切換到root下面

通過以上命令將在/root/.ssh/ 目錄下生成id_rsa私鑰和id_rsa.pub公鑰。

(2)進入/root/.ssh目錄在namenode節點下做如下配置:

Hadoop在CentOS下的單機配置

可以用鍵入ssh localhost命令來看已經連接,會有這樣的顯示

Hadoop在CentOS下的單機配置

注意最後一行!跟第一行比較,發現我們用ssh進入到localhost了!但已不需要輸入密碼了。(這樣說你們也一定不知道,如果把這個放到最後一步做就會更懂。)

本人認爲這樣設置會發現後面操作不會讓你老是輸入密碼,並非核心步驟,大家可以試試先配置其它的,再到這一步,就明白爲什麼了。


1)下載JDK

建議到sun的官網上下載,地址去官網找

選擇jdk-6u24-linux-i586.bin

(2)安裝JDK

我把它裝在/opt裏面,所以切換到/opt下面。在命令行輸入如下指令來執行JDK文件:

權限有問題!我們看看它的權限

Hadoop在CentOS下的單機配置

沒有可執行的x標誌,那麼我們可以通過命令改變。如下操作:

Hadoop在CentOS下的單機配置

看到沒,變成綠色的了。有人是把所有者、組、其他用戶對該文件的權限都設置爲可執行,不過我在這就只讓它能被所有者執行就行了。(該文件可能不管緊要,其他重要的文件,我認爲不能像他們那樣設置。)

現在我們再執行它

Hadoop在CentOS下的單機配置

沒有問題了吧,在開始解包了。

(1)Java環境變量配置

輸入vim /etc/profile,添加如下的內容(在此我建議所有的都編輯都用vim取代vi,因爲它有顏色變化,有語法問題的話很容易發現。)Hadoop在CentOS下的單機配置

保存好退出後,我們需要改變一下改文件的權限,並執行一下該文件使配置生效。(注:大家一定要小心版本和路徑啊,)Hadoop在CentOS下的單機配置

配置完後執行java –version

Hadoop在CentOS下的單機配置

顯示java的版本

3. 安裝hadoop

(1)下載hadoop

到如下網址下載hadoop,存到/opt中,當然也可以手動點擊下載。Hadoop在CentOS下的單機配置

(2)解壓hadoop到/opt/hadoop下面,當然沒有現成的opt/hadoop這個目錄,所以要新建。

Hadoop在CentOS下的單機配置

然後解壓到/opt/hadoop下

Hadoop在CentOS下的單機配置

3.1   進入/opt/hadoop/hadoop-0.20.2/conf,配置Hadoop配置文件。

(1)配置java環境:修改hadoop-env.sh文件

Hadoop在CentOS下的單機配置

在最後加上這樣的內容

Hadoop在CentOS下的單機配置

(2)配置Namenode的三個配置文件core-site.xml, hdfs-site.xml, mapred-site.xml。對應於/src/core/core-default.xml,但不能直接修改它,(hadoop啓動時先讀取src下面的core/core-default.xml,hdfs/hdfs-default.xml,apred/mapred-default.xml,裏面缺失的變量由conf下面的三個-site文件提供)

這部分的配置建議參考官方網站(建議大家多上官網),如下:http://hadoop.apache.org/common/docs/current/single_node_setup.html

這三個文件時放在conf 文件下。。都是什麼什麼site的文件

(2.1)配置core 

Hadoop在CentOS下的單機配置

(2.2)配置hdfs

Hadoop在CentOS下的單機配置

(2.3)配置mapred

Hadoop在CentOS下的單機配置

4、啓動hadoop

(1)格式化namenode,(注意看清路徑哦)

Hadoop在CentOS下的單機配置

(2) 啓動Hadoop守護進程

Hadoop在CentOS下的單機配置

這就表示你配置成功了,上面的一個都不能少

這時候你就可以點擊進入下面的網站了。

NameNode - http://localhost:50070/

JobTracker - http://localhost:50030/

good luck

其實剛剛接觸一個東西可能會覺得不好弄,一旦你弄好了以後就會很順手。那時候你會告訴自己,這個東西裝起來怎麼這麼白癡啊!趕緊開始下一個工作!加油!




發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章