Windows下Eclispe遠程開發Mapreduce程序

1.將hadoop-eclipse-plugin-2.6.0.jar 拷貝到${MyEclispe_HOME} /plugins

2.Windows安裝hadoop

     1)解壓hadoop-2.5.0.tar.gz到D:/根目錄

     右鍵winrar--》屬性--》兼容性-》勾選 以管理員運行此程序

     打開==》瀏覽到到hadoop-2.5.0.tar.gz ==>解壓到 D:/根目錄

     2）配置hadoop的環境變量

     HADOOP_HOME=【hadoop的解壓目錄】    //新建項

     path=%HADOOP_HOME%\bin；//在原有配置的最前面

     ;%HADOOP_HOME%\bin //在原有配置的最後面

     ;%HADOOP_HOME%\bin;   //在原有位置的中間插入

cmd命令提示符

hadoop -h

Error: JAVA_HOME is incorrectly set.

       Please update D:\green\hadoop-2.5.0\conf\hadoop-env.cmd

Definde Hadoop  Location

3.配置插件參數

Mavreduce（V2）

host:[hostname]

port：8032            //resourcemanager 的默認端口號

DFS Master

host:[hostname]

port：8020

4.拷貝winutils.exe 和hadoop.dll到${hadoop_HOME}/bin

5.單獨拷貝hadoop.dll到C:\Windows\System32

6.創建工程的兩種方式

     1）使用插件，自動導入jar包，使用模板創建mapper reducer

     driver類

     2）創建maven工程

          2-1）解壓apache-maven-3.0.5.tar.gz

          2-2) 配置maven環境變量

          MAVEN_HOME=[maven的解壓目錄]

          path=%MAVEN_HOME%/bin

          2-3）命令提示符  mvn --v

          Apache Maven 3.0.5 (r01de14724cdef164cd33c7c8c2fe155faf9602da; 2013-02-19 21:51:28+0800)

     3）修改apache-maven-3.0.5\conf\settings.xml

      <localRepository>C:\Users\Administrator\.m2\repository</localRepository>

      4)解壓repository.tar.gz到settings.xml配置文件中指定的repository

      5）配置使用自己解壓的maven

      6）將${hadoop_Home}/ect/hadoop/log4j.properties拷貝到項目的src目錄

在linux中的hadoop安裝目錄下的etc/hadoop/hdfs-site.xml添加如下配置

，重啓HDFS的進程

<property>

     <name>dfs.permissions</name>

        <value>false</value>          

</property>