安裝hadoop
對於任何技術的學習,環境的搭建始終是第一步。爲了能更好的掌握hadoop,首先寫安裝hadoop。我選擇的機器是ubuntu。
linux是hadoop唯一支持的生產平臺,所以爲了長遠的考慮,我選擇linux。考慮到某些原因,我將linux裝在了虛擬機裏。
一:安裝虛擬機
因爲安裝虛擬機比較簡單,在這裏我就不再贅述。
二:安裝linux
同樣在虛擬機中安裝ubuntu比較簡單,因此略去安裝步驟。
三:安裝hadoop
1:安裝java JDK
a:在線安裝
sudo apt-get install sun-java6-jdk
對於ubuntu系統JDK通常會安裝在/usr/lib/jvm/你的jdk
安裝完以後,可用以下命令檢查JDK是否已正確安裝:
java-version
b:手動安裝:
到oracle官網上下載相應版本的JDK,並按照安裝文檔進行安裝。
2:創建hadoop用戶組
sudo addgroup hadoop
添加用戶
sudo adduser --ingroup hadoop hadoop(hadoop是你的用戶名)
這樣就將hadoop用戶添加到了hadoop用戶組內了。
3:配置SSH(以hadoop用戶登陸,或切換到hadoop用戶 su - hadoop)
a:sudo apt-get install openssh
(如果不成功,可先更新一下源 sudo apt-get update)
b:創建rsa的ssh-key
c:使ssh可以訪問你本地的機器。
d:測試是否成功安裝,用hadoop用戶
ssh localhost
4:安裝hadoop
a:下載hadoop
b:一般解壓到/usr/local/hadoop
1:cd /usr/local
2:sudo tar xzf hadoop-1.0.3.tar.gz
3:sudo mv hadoop-1.0.3 hadoop
4:sudo chown -R hadoop:hadoop hadoop
5:更新$HOME/.bashrc
將下面內容加載到.bashrc文件末尾。
6:配置hadoop
a:配置JAVA_HOME
進入hadoop-env.sh(路徑在/usr/local/hadoop/conf下),修改JAVA_HOME的路徑。
b:配置core-site.xml
c:配置mapred-site.xml
d:配置hdfs-site.xml