使用IDEA打包Spark應用程序(Windows+Maven+Scala)

1、編寫Spark應用程序

參考我的上一篇博文:《使用IDEA編寫Spark應用程序(Windows+Maven+Scala)》

2、打包配置

單擊菜單File->Project Structure,

在彈出的界面選擇Artifacts->加號(+)->JAR->From Modules with dependencies...,如下所示:

在彈出的對話框中選擇模塊、主類,如下所示:

單擊OK按鈕,結果頁面,如下所示:

3、打包

單擊菜單Build -> Build Artifact,

在彈出的界面,選擇SimpleApp:jar - > Build,如下所示:

打包成功後,右下角出現完成提示,如下所示:

4、複製jar包

在項目以下路徑SimpleApp\out\artifacts\SimpleApp_jar\複製SimpleApp.jar包,如下所示:

複製到Spark以下路徑:spark-3.0.0\examples\jars\SimpleApp.jar,如下所示:

5、解壓Hadoop壓縮包

下載hadoop-3.2.1.tar.gz壓縮包,並解壓(注意:不需要安裝配置),如下所示:

參考Hadoop官網:http://hadoop.apache.org/

6、解壓winutils壓縮包

下載winutils-master.zip壓縮包,並解壓,如下所示:

參考winutils官網:https://github.com/steveloughran/winutils

7、覆蓋Hadoop相關文件

選擇winutils-master/hadoop-3.0.0,並覆蓋hadoop-3.2.1\bin文件夾下同名文件,如下所示:

覆蓋後結果,如下所示:

8、啓動spark-shell,如下所示:

9、運行Jar包

打開CMD命令提示符,cd到D:\spark-3.0.0\bin文件夾,輸入spark-submit --class com.example.SimpleApp ../examples/jars/SimpleApp.jar,如下所示:

運行結果,如下所示:

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章