4、eclipse + vmware + hadoop环境搭建

需求：已在vmware中部署好了hadoop集群，现在需通过window系统上eclipse连接hadoop进行开发。

一、配置hadoop环境

在window系统上配置hadoop环境。目前利用hadoop版本为hadoop-2.7.2。下载或者编译好hadoop2.7.2后，环境配置如下
配置HADOOP_HOME

配置path

配置好hadoop环境后，在cmd中测试是否生效
命令：hadoop version
注：在配置hadoop之前一定要配置好JDK环境。

二、配置eclipse远程连接hadoop环境

若想在eclipse中开发hadoop，需配置eclipse环境。下载hadoop-eclipse-plugin-2.7.2.jar，下载的jar包复制到plugins中，然后重启eclipse，在eclipse中配置前面下载的hadoop-2.7.2

打开hadoop视图

然后配置连接hadoop集群的信息

配置正确hadoop的信息后，可以在eclipse目录中查看HDFS的目录信息

三、HDFS demo示例

注意首先要配置好maven，最好不用ecliopse嵌入的maven，楼主试用demo时有问题，部分jar包下不来。
首先创建一个maven工程，在pom中添加如下依赖：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.lzj</groupId>
  <artifactId>hdfs</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  
	<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-core</artifactId>
			<version>2.8.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>jdk.tools</groupId>
			<artifactId>jdk.tools</artifactId>
			<version>1.8</version>
			<scope>system</scope>
			<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
		</dependency>
		
		
	</dependencies>
  
</project>

然后在main/resources下创建log4j.properties，配置日志：

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建开发测试案例：

package com.lzj.hdfs;

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HadoopTest {

	public static void main(String[] args) throws Exception {
		Configuration config = new Configuration();
		FileSystem fs = FileSystem.get(new URI("hdfs://192.168.85.137:9000"), config, "root");
		fs.mkdirs(new Path("/user/bird"));
		fs.close();
		System.out.println("success!");
	}

}

工程目录如下：

下面启动上面的HadoopTest案例，运行成功后可以在HDFS系统上看到创建了一个bird目录，如图所示：

成功！