Java API 操作HDFS一般有兩種方式：
-
使用HDFS客戶端配置文件自動配置
-
Java 代碼中配置
一、使用HDFS客戶端配置
1、下載HDFS客戶端配置
2、創建Maven項目
創建Maven項目，將下載的客戶端配置文件 core-site.xml、hdfs-site.xml 放入resources目錄下（注意：放到 resources根目錄下）
3、HDFS API編寫
HDFSTest.java
package com.song.example;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
public class HDFSTest {
public static void main(String[] args) {
// 設置操作HDFS的用戶
System.setProperty("HADOOP_USER_NAME", "song");
FileSystem fs;
// 從 resources 目錄下自動加載配置
Configuration conf = new Configuration();
try {
fs = FileSystem.newInstance(conf);
fs.mkdirs(new Path("/user/song/test"));
} catch (IOException e) {
e.printStackTrace();
}
}
}
二、Java 代碼配置
使用Java代碼進行配置，則就不需要下載HDFS客戶端配置文件了
HDFSTest.java
package com.song.example;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
public class HDFSTest {
public static void main(String[] args) {
// 設置操作HDFS的用戶
System.setProperty("HADOOP_USER_NAME", "song");
FileSystem fs;
// 在Java代碼中配置Configuration
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://nameservice1");
conf.set("dfs.nameservices", "nameservice1");
conf.set("dfs.ha.namenodes.nameservice1", "namenode34,namenode41");
conf.set("dfs.namenode.rpc-address.nameservice1.namenode34", "cdh68.bigdata.com:8020");
conf.set("dfs.namenode.rpc-address.nameservice1.namenode41", "cdh69.bigdata.com:8020");
conf.set("dfs.client.failover.proxy.provider.nameservice1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
try {
fs = FileSystem.newInstance(conf);
fs.mkdirs(new Path("/user/song/testTwo"));
} catch (IOException e) {
e.printStackTrace();
}
}
}
Java 代碼中的配置從 hdfs-site.xml中查找：
<configuration>
<property>
<name>dfs.nameservices</name>
<value>nameservice1</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.nameservice1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.namenodes.nameservice1</name>
<value>namenode34,namenode41</value>
</property>
<property>
<name>dfs.namenode.rpc-address.nameservice1.namenode34</name>
<value>cdh68.bigdata.com:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.nameservice1.namenode41</name>
<value>cdh69.bigdata.com:8020</value>
</property>
刪除HDFS客戶端配置文件：
執行結果：
三、小結
建議使用第一種：HDFS客戶端配置文件進行操作HDFS, 因爲當HDFS配置更改時，只需要替換配置文件即可，更加靈活。
本文分享自微信公衆號 - 大數據AI（songxt1990）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。