大數據入門(七)win10上eclipse使用Hadoop的配置


系列:
大數據入門(一)環境搭建,VMware15+CentOS8.1 配置
https://blog.csdn.net/qq_34391511/article/details/104874044
大數據入門(二)Centos8,JDK 配置
https://blog.csdn.net/qq_34391511/article/details/104893587
大數據入門(三)CentOS 網絡配置
https://blog.csdn.net/qq_34391511/article/details/104895498
大數據入門(四)Hadoop 集羣搭建
https://blog.csdn.net/qq_34391511/article/details/104885278
大數據入門(五)windows 上搭建單機版 Hadoop2.8(踩坑記錄)
https://blog.csdn.net/qq_34391511/article/details/104948319
大數據入門(六)win10 對 Hadoop hdfs 的基本操作
https://blog.csdn.net/qq_34391511/article/details/105070955
大數據入門(八)win10 下的 wordcount
https://blog.csdn.net/qq_34391511/article/details/105073076
大數據入門(九)基於 win10 的 Hadoop,java 代碼進行 hdfs 操作
https://blog.csdn.net/qq_34391511/article/details/105145380

工具

1、jdk1.8
2、hadoop2.8.3
3、hadoop-eclipse-plugin-2.8.5.jar
【獲取hadoop2x-eclipse-plugin的可以參考(release文件夾下):https://github.com/DoubleBirdsU/Hadoop-eclipse-plugin

eclipse的Hadoop環境配置

1、 將hadoop-eclipse-plugin-2.8.5.jar,複製到eclipse安裝目錄下的plugins下。如:D:\ProgramFiles (x86)\eclipse\plugins
2、 重啓Eclipse。
3、 點擊菜單欄Windows —>Preferences ,如果插件安裝成功,就會出現:在這裏插入圖片描述

如果沒成功,首先查看版本是否正確。
其次可以,通過cmd到eclipse的目錄下啓動Eclipse:eclipse.exe -clean

4、選擇,hadoop安裝目錄:D:\Learning\Hadoop\hadoop-2.8.5(這個是我自己的)
在這裏插入圖片描述
新建這個窗口只是爲了可視化hdfs,操作方便,如果覺得不需要,可以跳過5這步,也可以通過網頁查看hdfs:
查看集羣狀態:http://localhost:8088
查看Hadoop狀態:http://localhost:50070/explorer.html#/
5、點擊Windows —>Show View —>Others —>Map/Redure Location —>open,最下面就會出現這個:
在這裏插入圖片描述
點擊Map/Redure Locations 窗口,空白處右鍵New Hadoop location :
在這裏插入圖片描述
這裏會有報錯,原因是hdfs 裏面還沒有input和output目錄:
在這裏插入圖片描述
解決方法是創建input和output文件夾,下圖是創建input的例子:
在這裏插入圖片描述
關於hdfs的基本操作可我的上一篇文章:大數據入門(六)win10對Hadoop hdfs的基本操作(傳送門)

重啓eclipse,沒有報錯:
在這裏插入圖片描述
那麼接下來可以進行一些實驗啦:
大數據入門(八)win10下的wordcount
大數據入門(九)基於win10的Hadoop,java代碼進行hdfs操作

參考

關於Eclipse安裝插件後沒有任何反應的解決
windows10上使用Eclipse配置Hadoop開發環境詳細步驟+WordCount示例
hadoop 2.8.3 eclipse 插件
Eclipse安裝Hadoop插件配置Hadoop開發環境

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章