模块一:Hadoop核心框架(六)---用IDEA创建一个对hadoopAPI简单操作项目

创建一个新项目

在这里插入图片描述

选择maven项目

在这里插入图片描述
然后next

输入项目名称(自定义)

在这里插入图片描述
然后finish

导入需要的jar包

有hadoop-common ;hadoop-client ; hadoop-hdfs

	<!--hadoop common-->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.9.2</version>
    </dependency>
    <!--hadoop client-->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.9.2</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.9.2</version>
    </dependency>
     <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>RELEASE</version>
    </dependency>
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.8.2</version>
    </dependency>

导入需要点时间,慢慢等待。

log4j配置

在resource文件下,创建log4j.properties文件

log4j.rootLogger=INFO, stdout 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建一个类用来测试链接

package com.lagou.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @author: yehw
 * @date: 2020/7/4 14:16
 * @description: hdfs客户端样例
 */
public class HdfsClient {

    @Test
    public void testMkdir() throws IOException, URISyntaxException, InterruptedException {
        /**
         * 创建配置对象
         * */
        Configuration configuration=new Configuration();
        /**
         * 获得fs文件对象
         * */
        FileSystem root = FileSystem.get(new URI("hdfs://linux121:9000"), configuration, "root");
        /**
         * fs接口使用
         * */
        boolean mkdirs = root.mkdirs(new Path("/app_test1"));
        /**
         * 关闭fs
         * */
        root.close();
    }

}

启动方法,到http://linux121:50070/explorer.html#/查看

在这里插入图片描述
文件创建成功。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章