Hadoop單機環境的搭建
1準備工作
Jdk-6u16-linux-i586-rpm.bin
hadoop-1.2.1.tar.gz
fedora 18
VMware Workstation 9
2安裝JDK
2.1卸載fedora 18自帶的openjdk(因爲其javac命令不能用)#yum –y remove java 全名
2.2安裝Jdk-6u16-linux-i586-rpm.bin
#chmod +x jdk-6u16-linux-i586-rpm.bin
#./jdk-6u16-linux-i586-rpm.bin
然後ctrl+C翻頁 選擇yes
2.3配置/etc/profile(設置環境變量)
在done的後面、unset i的前面輸入
#set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_16
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
2.4測試是否成功
#java –version
3.安裝ssh
3.1 查看Fedora是否自帶有openssh
ssh -version
如果出現
則說明linux自帶有openssh
3.2修改配置文件
#vi /etc/ssh/sshd_config
#Port 22 監聽的端口號,默認是22,可以自定義。
#Protocol 2 支持的協議,默認就好,不用修改
#PermitRootLogin yes 是否允許root直接登錄,最好設置爲no
#MMaxAuthTries 6 最大登錄數,默認是6,建議設置爲3,防止別人密碼窮舉。建議修改的#PermitRootLogin yes #MMaxAuthTries 6如下圖修改
3.3修改完配置後,重啓ssh服務。
systemctl restart sshd.service
查看systemctl status sshd.service
3.4設置系統啓動時開啓服務
# systemctl enable sshd.service
3.5建立ssh無密碼登錄:
在namenode上面實現無密碼登錄:
#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
直接回車,完成後會在 ~/.ssh/ 生成兩個文件: id_dsa 和 id_dsa.pub 。這兩個是成對出現,類似鑰匙和鎖。
再把 id_dsa.pub 追加到授權 key 裏面 ( 當前並沒有 authorized_keys 文件 ) :
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
完成後可以實現無密碼錄本機: #ssh localhost
4、安裝hadoop
4.1下載hadoop-1.2.1.tar.gz,
解壓:tar -zvxf hadoop-1.2.1.tar.gz
4.2配置hadoop:
hadoop 的主要配置都在 hadoop-1.2.1 /conf 下。
在 conf/hadoop-env.sh 中配置 Java 環境
export JAVA_HOME=jdk的路徑
5配置完成後在hadoop上運行wordcount任務
執行完後查看輸出結果