大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

在我們學習或者工作中開始hadoop程序的時候,往往會遇到一個問題,我們寫好的程序需要打成包放在集羣中運行,這無形中在浪費我們的時間,因爲程序可以需要不斷的調試,然後把最終程序放在集羣中即可。爲了解決這個問題,現在我們配置遠程連接hadoop,遠程調試的方法。

一段程序如下:獲取更多大數據視頻資料請加QQ羣:947967114
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

當我們在運行的時候會有如下衆多的錯誤:

1、基礎環境配置:首先需要注意自己使用的hadoop的版本:
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

這說明是2.6.0的所以需要下載一個連接包:hadoop-eclipse-plugin-2.6.0.jar,一定要注意根據自己的版本下載不同的連接包。放在myeclipse的安裝路徑下:D:\Program Files\Myeclipse-10
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

Myeclipse-10和其他版本不同,是有兩個目錄的:其他版本只有一個目錄,直接進入找到plugins即可。這裏需要進入Common中找到plugins中,把連接包放在其中即可:
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

然後把Myeclipse重啓。我們這個時候就可以進行hadoop的工程配置了:按照順序點擊:
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

在Browse中把解壓好的hadoop包引入進來,只引入到主目錄即可:然後就可以創建hadoop的,mapreduce工程了:獲取更多大數據視頻資料請加QQ羣:947967114
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

完成後可以看到衆多的依賴包都自動進入了:

大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

然後我們配置遠程連接hadoop的目錄:

大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

新建一個:
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

經過配置之後可以看到如下界面:

大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

能夠感受到已經連接到了hadoop的目錄了:

2、Exception in thread “main” java.lang.NullPointerException atjava.lang.ProcessBuilder.start

運行是出現如上錯誤:
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

這個問題是Hadoop2以上版本,Hadoop2的bin目錄中沒有winutils.exe導致的錯誤。所以需要下載對應的包:
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

注意一定要是64位的現在很少32位的了:如果兩個版本都可以:解壓並且把包裏的所有內容都複製出來分別放在自己的hadoop的bin解壓目錄中:
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

然後把myeclipse對應的hadoop文件重新引入一:獲取更多大數據視頻資料請加QQ羣:947967114
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

3、Exception in thread "main"java.lang.UnsatisfiedLinkError:

大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

4、main ExitCodeException

大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

這是因爲window本地的hadoop沒有winutils.exe導致的.原來本地hadoop要去調用這個程序.我們先把上一部的winutils.exe文件中例如hadoop.dll等所有文件都放到c:\windows\System32,然後使得其運行沒錯纔可以.

然而winutils.exe還是無法啓動,這個是某些電腦問題.有些人會遇到,雙擊winutils.exe運行報錯,缺少msvcr120.dll.下載之後再去啓動提示,“應用程序無法正常啓動0xc000007b”.這是內存錯誤引起的.下載DirectX_Repair修復directx解決問題,最後成功啓動了hadoop程序.

可能能夠啓動winutils.exe但還是不能正常跑應用程序,依然報錯,可以試試修改權限驗證.

修改hadoop/etc/hadoop/hdfs-site.xml

添加內容:

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

5、atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access遇到這個問題是由於源碼文件中需要更改:首先去官網下載hadoop-2.6.0-src.tar.gz源碼包,解壓:hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 複製到對應的Eclipse的project,然後修改557行爲return true如圖所示:
大數據調錯系列之:自己總結的myeclipse連接hadoop會出現的問題

6、org.apache.hadoop.security.AccessControlException: Permissiondenied: user=zhengcy, access=WRITE,inode="/user/root/output"這是由於訪問權限的問題。

有兩種解決方式:第一種把hadoop的目錄的權限擴大:例如 hadoop chmod -R 777 /,都給所有權限。第二種方式是修改配置文件。去掉檢查權限的步驟:在這個etc/hadoop下的hdfs-site.xml添加

  <property>

     <name>dfs.permissions</name>

     <value>false</value>

  </property>

7.獲取更多大數據視頻資料請加QQ羣:947967114

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章