hadoop環境的安裝與搭建

1:在Vmware上安裝linux(略),我的是radhat5.5。

2:安裝jdk,去官網下載一個jdk,比如jdk1.6.0_13,下載到linux下並解壓,我的解壓後路徑是/usr/local/jdk1.6.0_13。

配置環境變量:輸入命令  vi /etc/profile,然後輸入i

在profile文件末尾加入: 

export JAVA_HOME=/usr/local/jdk1.6.0_13
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

完成之後 安X鍵保存退出。

輸入命令:java -version  出現java version "1.6.0_13",表示java的環境變量配置成功。

3:安裝ant,去官網下載ant,我的是最新版apache-ant-1.9.2,下載後並解壓,我的是/home/apache-ant-1.9.2

配置環境變量:將/home/apache-ant-1.9.2拷貝到/usr/local/apache-ant-1.9.2下,輸入命令  vi /etc/profile,然後輸入i,在

# System wide environment and startup programs, for login setup
# Functions and aliases go in /etc/bashrc下輸入:

ANT_HOME=/usr/local/apache-ant-1.9.2
PATH=$ANT_HOME/bin:$PATH

完成之後 安X鍵保存退出。

輸入命令:ant -version  出現Apache Ant(TM) version 1.9.2 compiled on July 8 2013字樣,表示ant的環境變量配置成功。

4:安裝ecilpse,去官網下載個linux版本(注意是32位還是64位的),查看linux位數,輸入:getconf LONG_BIT,若出現32便是32位,若出現64表示是64位,其餘步驟與windows差不多。

5:安裝並配置hadoop,去官網下載hadoop,我的是hadoop1.0.0.tar.gz;解壓後並安裝,我的路徑是/home/hadoop。

配置環境變量:輸入 vi conf/hadoop-env.sh命令,然後輸入i

export JAVA_HOME=/usr/local/jdk1.6.0_13

完成之後 安X鍵保存退出。

接下來是Hadoop配置文件的配置,主要是core-site.xml,hdfs-site.xml,mapred-site.xml;詳細情況請看:http://blog.csdn.net/xuechongyang/article/details/8691518,先搭建個最簡單的單機版hadoop。

core-site.xml的配置:

<configuration>
 <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
</property>
</configuration>


hdfs-site.xml的配置:

<configuration>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.permissions</name>   //是否需要角色權限驗證,上傳文件時會用到,
  <value>false</value>            //如果爲true,需要綁定hadoop用戶角色
</property>
</configuration>


mapred-site.xml的配置:

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value>
</property>
</configuration>

這樣hadoop的環境就配置好了。

6:安裝並設置ssh,安裝後(一般linux都會自帶ssh服務,所以我就不詳細闡述ssh的安裝了),接下來設置ssh的免密碼登陸;輸入命令:ssh-keygen -t rsa,再輸入cd ~/.ssh,然後輸入cat id_rsa.pub >> authorized_keys即可,如是遇到提示輸入“yes”即可。

7:啓動hadoop,進入/home/hadoop目錄下,

(1)格式化hdfs  輸入命令bin/hadoop namenode -format

(2)啓動hadoop 輸入命令bin/start-all.sh

查看hadoop是否啓動成功:

MapReduce查看方式登陸URL:http://localhost:50030/ 即可

HDFS查看方式登陸URL:http://localhost:50070/ 即可

若是網頁不顯示錯誤,則說明hadoop啓動成功。


Hadoop其他命令:

格式化namenode
bin/hadoop namenode -format
啓動集羣

bin/start-all.sh 啓動所有

bin/start-dfs.sh 啓動HDFS文件系統
bin/start-mapred.sh 啓動NameNode和JobTracker


其他常用命令(注意,如果不帶根目錄,hadoop操作的目錄都是/user/username目錄)
hadoop  fs -ls  / 列出HDFS下的文件
hadoop fs -mkdir input 創建文件夾(hadoop會根據當前用戶創建相應目錄下的文件,例如/user/hadoop/input)
hadoop fs -mkdir /input 在根目錄下創建文件夾
hadoop fs -ls /in 列出HDFS根目錄下in目錄下的文件
hadoop fs -put file /file 上傳文件到指定目錄並且重新命名
hadoop fs -get /file file 從HDFS獲取文件並且重新命名
hadoop fs -rmr out 刪除文件/文件夾
hadoop fs -cat /in/file 查看文件內容
hadoop dfsadmin -report 查看文件系統基本統計信息
hadoop dfsadmin -safemode enter 退出安全模式
hadoop dfsadmin -safemode leave 進入安全模式

發佈了31 篇原創文章 · 獲贊 3 · 訪問量 9萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章