1:在Vmware上安裝linux(略),我的是radhat5.5。
2:安裝jdk,去官網下載一個jdk,比如jdk1.6.0_13,下載到linux下並解壓,我的解壓後路徑是/usr/local/jdk1.6.0_13。
配置環境變量:輸入命令 vi /etc/profile,然後輸入i
在profile文件末尾加入:
export JAVA_HOME=/usr/local/jdk1.6.0_13
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
完成之後 安X鍵保存退出。
輸入命令:java -version 出現java version "1.6.0_13",表示java的環境變量配置成功。
3:安裝ant,去官網下載ant,我的是最新版apache-ant-1.9.2,下載後並解壓,我的是/home/apache-ant-1.9.2
配置環境變量:將/home/apache-ant-1.9.2拷貝到/usr/local/apache-ant-1.9.2下,輸入命令 vi /etc/profile,然後輸入i,在
#
System wide environment and startup programs, for login setup
# Functions and aliases go in /etc/bashrc下輸入:
ANT_HOME=/usr/local/apache-ant-1.9.2
PATH=$ANT_HOME/bin:$PATH
完成之後 安X鍵保存退出。
輸入命令:ant -version 出現Apache Ant(TM) version 1.9.2 compiled on July
8 2013字樣,表示ant的環境變量配置成功。
4:安裝ecilpse,去官網下載個linux版本(注意是32位還是64位的),查看linux位數,輸入:getconf LONG_BIT,若出現32便是32位,若出現64表示是64位,其餘步驟與windows差不多。
5:安裝並配置hadoop,去官網下載hadoop,我的是hadoop1.0.0.tar.gz;解壓後並安裝,我的路徑是/home/hadoop。
配置環境變量:輸入 vi conf/hadoop-env.sh命令,然後輸入i
export JAVA_HOME=/usr/local/jdk1.6.0_13
完成之後 安X鍵保存退出。
接下來是Hadoop配置文件的配置,主要是core-site.xml,hdfs-site.xml,mapred-site.xml;詳細情況請看:http://blog.csdn.net/xuechongyang/article/details/8691518,先搭建個最簡單的單機版hadoop。
core-site.xml的配置:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml的配置:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name> //是否需要角色權限驗證,上傳文件時會用到,
<value>false</value> //如果爲true,需要綁定hadoop用戶角色
</property>
</configuration>
mapred-site.xml的配置:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
這樣hadoop的環境就配置好了。
6:安裝並設置ssh,安裝後(一般linux都會自帶ssh服務,所以我就不詳細闡述ssh的安裝了),接下來設置ssh的免密碼登陸;輸入命令:ssh-keygen -t rsa,再輸入cd ~/.ssh,然後輸入cat id_rsa.pub >> authorized_keys即可,如是遇到提示輸入“yes”即可。
7:啓動hadoop,進入/home/hadoop目錄下,
(1)格式化hdfs 輸入命令bin/hadoop namenode -format
(2)啓動hadoop 輸入命令bin/start-all.sh
查看hadoop是否啓動成功:
MapReduce查看方式登陸URL:http://localhost:50030/ 即可
HDFS查看方式登陸URL:http://localhost:50070/ 即可
若是網頁不顯示錯誤,則說明hadoop啓動成功。
Hadoop其他命令:
格式化namenode
bin/hadoop namenode -format
啓動集羣
一
bin/start-all.sh 啓動所有
二
bin/start-dfs.sh 啓動HDFS文件系統
bin/start-mapred.sh 啓動NameNode和JobTracker
其他常用命令(注意,如果不帶根目錄,hadoop操作的目錄都是/user/username目錄)
hadoop fs -ls / 列出HDFS下的文件
hadoop fs -mkdir input 創建文件夾(hadoop會根據當前用戶創建相應目錄下的文件,例如/user/hadoop/input)
hadoop fs -mkdir /input 在根目錄下創建文件夾
hadoop fs -ls /in 列出HDFS根目錄下in目錄下的文件
hadoop fs -put file /file 上傳文件到指定目錄並且重新命名
hadoop fs -get /file file 從HDFS獲取文件並且重新命名
hadoop fs -rmr out 刪除文件/文件夾
hadoop fs -cat /in/file 查看文件內容
hadoop dfsadmin -report 查看文件系統基本統計信息
hadoop dfsadmin -safemode enter 退出安全模式
hadoop dfsadmin -safemode leave 進入安全模式