eclipse使用插件遠程調試Hadoop

原創

Dod_Jdi

2020-02-20 14:22

一、僞分佈式環境下
僞分佈式的配置參考http://blog.csdn.net/dod_jdi/article/details/78024664

1、在服務器上修改 /etc/hostname，設置新的主機名，如hadoop。
在服務器的/etc/hosts文件中添加域名解析：本機ip hadoop。
注意主機名不能是127.0.0.1之類的，否則可能無法正常讀取數據。

將僞分佈式的配置中core.site.xml設置爲0.0.0.0而不是localhost，否則客戶端可能無法連接：

    <property>
           <name>hadoop.tmp.dir</name>
           <value>file:/home/hadoop/myhadoop/tmp</value>
           <description>Abase for other temporary directories.</description>
      </property>
      <property>
           <name>fs.defaultFS</name>
           <value>hdfs://0.0.0.0:9000</value>
      </property>

2、下載hadoop插件http://pan.baidu.com/s/1i3LaXO5 密碼: pkqm，版本可以有一定的差異，將下載的插件解壓到eclipse的plugin文件夾中。

3、畢竟要在本地執行Hadoop執行相關指令，下載Hadoop解壓到本地
http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.7.4.tar.gz，配置環境變量：

HADOOP_HOME ： Hadoop解壓路徑
在path後面添加：;%HADOOP_HOME%\bin

這樣在本地命令行執行hadoop命名會出現提示，和java類似。

4、打開eclipse，在windows->view->other中添加hadoop到列表視圖。

在Windows->preferences總選擇Hadoop的解壓路徑

在控制檯選擇設置ip地址和端口

二、分部式環境由於沒錢租服務器做實驗還是不寫流量吧。

三、使用時可以選擇建立Map/Reduce Project。

本人在Windows上的eclipse調試Ubuntu上的hadoop時出現了幾個比較常見的錯誤，需要將https://github.com/SweetInk/hadoop-common-2.7.1-bin中的winutils.exe和hadoop.dll文件下載複製到Windows解壓處理的hadoop/bin中。版本號不一定要嚴格對應，運行不出錯即可，我的是2.7.4，下載的是2.7.2。

具體使用例可參考：

http://www.cnblogs.com/shitouer/archive/2012/05/29/2522860.html

http://www.cnblogs.com/baixl/p/4154429.html

最後呢，在編譯Hadoop項目的時候是需要添加很多庫文件的，一般把hadoop-2.7.4\share\hadoop\tools\lib目錄下的所有Jar文件添加進去就好了。