ubuntu上hadoop配置

自我mark供以後查看。。


1. 裝JDK並更改環境變量
java -version #檢查

sudo gedit /etc/profile

加入如下內容:
export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.21/   (目錄不一定是這個,先cd下看看)
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
保存


2. 增加一個hadoop用戶組和一個hadoop用戶,設置權限(或者改自己的權限)

sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop
sudo su -
chmod u+w /etc/sudoers
gedit /etc/sudoers
在 root ALL=(ALL) ALL 後面添加:hadoop ALL=(ALL) ALL
chmod u-w /etc/sudoers #恢復sudoers的權限
exit #退出root


3.設置SSH
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

ssh localhost #驗證,不要密碼就可以了 (如果不行可以試一試輸入ssh-add後再試)

ssh localhost成功了記得exit出來,否則後面gedit可能會報一個cannot display的錯。



4.裝hadoop,配置僞分佈模式
到 Hadoop 官方網站 http://hadoop.apache.org下載Hadoop Core,如hadoop-1.0.3-bin.tar.gz
sudo tar -zxvf 下載/hadoop-1.0.3-bin.tar.gz -C /usr/local/ #解壓
sudo chown -R hadoop:hadoop /usr/local/hadoop-1.0.3/ #權限賦給hadoop用戶
sudo gedit /usr/local/hadoop-1.0.3/conf/hadoop-env.sh
改這裏:
# The java implementation to use.  Required.
 export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.21/


5.僞分佈式運行模式配置
改conf/core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>


conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>


conf/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>


6.格式化namenode

bin/hadoop namenode -format


7.打開和關閉hadoop

bin/start-all.sh

bin/stop-all.sh

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章