Spark插件二次開發時在Eclipse的調試配置

網上有很多spark的eclipse環境下調試配置,但是筆者在開發spark插件的時候,發現spark目錄下的bin目錄各種拒絕訪問。然後又是報錯:Error unzipping plugin這種。無奈,網上資料又少的可憐。後來經過各種調試,發現了一種Eclipse下調試spark+插件的方法。現在分享如下: 
第一, 在Eclipse下建立一個新的Project。這個project可以就用之前寫的那個插件目錄。

第二, 此時,新的Project有很多紅叉,沒關係,我們加入它需要的jar包。右鍵這個Project->build path->Config build path。


第三, 使用Add External JARS添加之前用ant編譯好的spark的target目錄下的lib文件。具體位置應該在spark目錄下的target\build\lib\下。
第四, 新建一個運行環境:


第五, 我這裏改名爲SparkWithCamacus。這裏的Main class選擇spark的那個Startup,然後勾選Stop in main。
第六, 在Arguments標籤下添加VM arguments:-Djava.library.path="E:\lhb\spark_lvb\build\lib\dist\windows" 


這裏這個path要設置正確,否則會拋一個C開頭的什麼異常,忘記了。
第七, Common標籤和之前配置Spark一樣。
第八, 使用ant編譯目錄下的build.xml文件,生成插件jar包。
第九, 使用Eclipse調試吧!


發佈了38 篇原創文章 · 獲贊 20 · 訪問量 12萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章