下載hdfs上的指定文件到本地
package com.yc.hadoop.hdfs;
import java.net.URI;
import java.util.Scanner;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.log4j.Logger;
/**
* 下載hdfs上的指定文件到本地
* @company 源辰信息
* @author navy
*/
public class Hadoop_HdfsApi06 {
private static Logger log = Logger.getLogger(Hadoop_HdfsApi06.class); // 創建日誌記錄器
@SuppressWarnings("resource")
public static void main(String[] args) {
Scanner input = new Scanner(System.in);
FileSystem fs = null;
try {
Configuration conf = new Configuration(); // 加載配置文件
URI uri = new URI("hdfs://192.168.30.130:9000/"); // 連接資源位置
fs = FileSystem.get(uri, conf ,"navy"); // 創建文件系統實例對象
FileStatus[] files = fs.listStatus(new Path("/input/")); // 列出文件
System.out.println("可以選擇的文件名:");
for (FileStatus f : files) {
System.out.println("\t" + f.getPath().getName());
}
System.out.print("請輸入要下載的文件名:");
Path p= new Path("/input/"+input.next());
System.out.print("下載文件存放目錄:");
Path dst=new Path(input.next());
// 注意:此時必須在window裏面配置hadoop環境,必須定位winutils.exe文件
fs.copyToLocalFile(false,p,dst,true); // 最後一個參數表示不用原始的本地文件系統,改用java的io流
log.debug("下載成功....");
} catch (Exception e) {
log.error("hdfs操作失敗!!!", e);
}
}
}
import java.net.URI;
import java.util.Scanner;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.log4j.Logger;
/**
* 下載hdfs上的指定文件到本地
* @company 源辰信息
* @author navy
*/
public class Hadoop_HdfsApi06 {
private static Logger log = Logger.getLogger(Hadoop_HdfsApi06.class); // 創建日誌記錄器
@SuppressWarnings("resource")
public static void main(String[] args) {
Scanner input = new Scanner(System.in);
FileSystem fs = null;
try {
Configuration conf = new Configuration(); // 加載配置文件
URI uri = new URI("hdfs://192.168.30.130:9000/"); // 連接資源位置
fs = FileSystem.get(uri, conf ,"navy"); // 創建文件系統實例對象
FileStatus[] files = fs.listStatus(new Path("/input/")); // 列出文件
System.out.println("可以選擇的文件名:");
for (FileStatus f : files) {
System.out.println("\t" + f.getPath().getName());
}
System.out.print("請輸入要下載的文件名:");
Path p= new Path("/input/"+input.next());
System.out.print("下載文件存放目錄:");
Path dst=new Path(input.next());
// 注意:此時必須在window裏面配置hadoop環境,必須定位winutils.exe文件
fs.copyToLocalFile(false,p,dst,true); // 最後一個參數表示不用原始的本地文件系統,改用java的io流
log.debug("下載成功....");
} catch (Exception e) {
log.error("hdfs操作失敗!!!", e);
}
}
}
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.