第一步:安裝插件
找到eclipse操作hadoop的插件,eclipse-xxxx-hadoop-plugin.jar ,把它放到eclipse的安裝路徑的plugin文件夾中,然後重啓eclipse。
第二步:配置hadoop環境變量
一、安裝JDK
二、配置Java環境變量
測試 : 打開命令行cmd java -version
可以得到java版本信息即可。具體不展開了。
三、下載Hadoop
1、下載路徑:http://hadoop.apache.org/releases.html
2、解壓到D:\ssl\大數據\Hadoop-2.3
三、配置Hadoop環境變量
1、HADOOP_HOME : D:\ssl\大數據\Hadoop-2.3
2、path : 添加 %HADOOP_HOME%\bin;
3、測試:打開命令行cmd ,在任意路徑下輸入hadoop命令,返回一下結果即配置正確
注:如果提示JAVA_HOME路徑不對,請修改 %HADOOP_HOME%\etc\hadoop\hadoop-env.cmd下的set JAVA_HOME=%JAVA_HOME%。
如果配置過程出現錯誤請看這篇文章
https://blog.csdn.net/sunshunli/article/details/106321447
第二步:連接hadoop
重啓eclipse後,你會發現多了一個大象的圖標
點擊之後連接hadoop,如圖所示
host是你集羣namenode的ip地址,端口號看你的配置信息,core-site.xml.連接時上,看一下有沒有顯示你的hdfs文件系統中的文件。如果可以顯示,連接成功。
第三步:創建項目,使用hdfs javaAPI操作文件系統
導入hadoop目錄下的share/hadoop中common、hdfs、tools中的jar包及lib文件下的jar包,記得build path。
然後可以進行代碼的操作。