eclipse下 操作hdfs JavaAPI

第一步:安裝插件

找到eclipse操作hadoop的插件,eclipse-xxxx-hadoop-plugin.jar ,把它放到eclipse的安裝路徑的plugin文件夾中,然後重啓eclipse。

第二步:配置hadoop環境變量

一、安裝JDK

二、配置Java環境變量

測試 : 打開命令行cmd    java -version 

可以得到java版本信息即可。具體不展開了。

三、下載Hadoop

1、下載路徑:http://hadoop.apache.org/releases.html

2、解壓到D:\ssl\大數據\Hadoop-2.3

三、配置Hadoop環境變量

1、HADOOP_HOME : D:\ssl\大數據\Hadoop-2.3

2、path : 添加 %HADOOP_HOME%\bin;

3、測試:打開命令行cmd ,在任意路徑下輸入hadoop命令,返回一下結果即配置正確

注:如果提示JAVA_HOME路徑不對,請修改 %HADOOP_HOME%\etc\hadoop\hadoop-env.cmd下的set JAVA_HOME=%JAVA_HOME%。

如果配置過程出現錯誤請看這篇文章

https://blog.csdn.net/sunshunli/article/details/106321447

第二步:連接hadoop

重啓eclipse後,你會發現多了一個大象的圖標

點擊之後連接hadoop,如圖所示

host是你集羣namenode的ip地址,端口號看你的配置信息,core-site.xml.連接時上,看一下有沒有顯示你的hdfs文件系統中的文件。如果可以顯示,連接成功。

第三步:創建項目,使用hdfs javaAPI操作文件系統

導入hadoop目錄下的share/hadoop中common、hdfs、tools中的jar包及lib文件下的jar包,記得build path。

然後可以進行代碼的操作。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章