1、編寫Spark應用程序
參考我的上一篇博文:《使用IDEA編寫Spark應用程序(Windows+Maven+Scala)》
2、打包配置
單擊菜單File->Project Structure,
在彈出的界面選擇Artifacts->加號(+)->JAR->From Modules with dependencies...,如下所示:
在彈出的對話框中選擇模塊、主類,如下所示:
單擊OK按鈕,結果頁面,如下所示:
3、打包
單擊菜單Build -> Build Artifact,
在彈出的界面,選擇SimpleApp:jar - > Build,如下所示:
打包成功後,右下角出現完成提示,如下所示:
4、複製jar包
在項目以下路徑SimpleApp\out\artifacts\SimpleApp_jar\複製SimpleApp.jar包,如下所示:
複製到Spark以下路徑:spark-3.0.0\examples\jars\SimpleApp.jar,如下所示:
5、解壓Hadoop壓縮包
下載hadoop-3.2.1.tar.gz壓縮包,並解壓(注意:不需要安裝配置),如下所示:
參考Hadoop官網:http://hadoop.apache.org/
6、解壓winutils壓縮包
下載winutils-master.zip壓縮包,並解壓,如下所示:
參考winutils官網:https://github.com/steveloughran/winutils
7、覆蓋Hadoop相關文件
選擇winutils-master/hadoop-3.0.0,並覆蓋hadoop-3.2.1\bin文件夾下同名文件,如下所示:
覆蓋後結果,如下所示:
8、啓動spark-shell,如下所示:
9、運行Jar包
打開CMD命令提示符,cd到D:\spark-3.0.0\bin文件夾,輸入spark-submit --class com.example.SimpleApp ../examples/jars/SimpleApp.jar,如下所示:
運行結果,如下所示: