安裝Hadoop——Hadoop實戰初級部分學習筆記

3、安裝Hadoop


1、window上裝

  (建議xp 玩玩就行了,實際要在linux)

1.1、裝JDK(不要裝到帶空格等目錄中。。)

1.2、安裝cygwin

需要安裝oenSSL、VIM、Base

1.3、在cygwin安裝SSHD

 ssh-host-config

1.4、啓動SSHD

 net start sshd

1.5、實現ssh無密碼登錄

  ssh-keygen

完成後會在~/.ssh/生成兩個文件:id_dsa和id_dsa.pub

 Cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 完成


1.6、安裝hadoop

 下載解壓即可

1.7、配置

 先了解概念:

    HDFS NameNode 管理節點 DataNode 數據節點 SecondaryNameNode數據源信息備份整理節點

    MapReduce JobTracker 任務管理節點 TaskTracker 任務運行節點


    配置文件

       core-site.xml common屬性配置

       hdfs-site.xml HDFS屬性配置

       mapred-site.xml MapReduce屬性配置

       hadoop-env.sh hadoop環境變量配置


修改hadoop-env.conf-à加 export JAVA_HONME


其他的修改下載ppt看吧,不記了。



接下來啓動hadoop,還是看ppt吧,ppt上挺全的;


在win上邊就是玩玩,實際環境還是linux。


給大家個ppt地址:http://sishuok.com/forum/posts/list/5316.html



2、linux上裝

ubuntu開發即可,之前用過,挺好的;


1、安裝jdk,jdk需要下bin結尾的那個

2、配置JAVA_HOME及PATH環境變量,具體請參考ppt,加到.bashrc  然後運行 . .hashrc



步驟和win上差不多。還沒裝ubuntu系統,目前就用win的吧。




3、HadoopUI

50070端口-àhdfs   50030--àjobTracker

HDFS通信端口à9000  MapReduce通信端口à9001


管理界面

http://localhost:50070 hdfs

http://localhost:50030 mapreduce


通過UI可操作如文件系統、日誌



4、word counter

1、生成兩個文件 如input/file1 input/file2

2、在HDFS上建個目錄,如hadoop fs –mkdir /tmp/input

3、把file1、分file放入HDFS  hadoop fs –put input/* /tmp/input

4、查看 hadoop fs –ls /tmp/input

5、執行wordcounter

hadoop jar hadoop-example-1.0.0.jar wordcounter  /tmp/input /tmp/output

6、運行完查看結果

hadoop fs –cat /tmp/output/part –r -00000


5、集成Eclipse

1、添加jar包

2、複製配置文件

3、不要用插件


http://sishuok.com/forum/blogPost/list/0/6911.html


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章