基于IntelliJ Idea的Scala开发环境搭建一远程上传以及远程集群调试

具体步骤如下:

  1. 配置远程的Deployment
  2. 配置本地上传目录以及远程目标目录
  3. 配置排除上传哪些文件

配置远程Deployment

打开IntelliJ Idea的该项目的“Preferences”,选择添加SFTP远程方式,然后配置远程主机、用户名以及密码,如下图所示:
在这里插入图片描述

配置本地上传目录以及远程目标目录

配置本地上传目录以及远程目标上传目录,如下图所示:
在这里插入图片描述

配置忽略上传目录

并不是所有文件都需要上传到远程服务器,因此还需要排除掉一些不需要上传的文件或者目录,例如我这里的设置如下:
在这里插入图片描述
打包之后可以手动上传到远程集群,如下图所示:
在这里插入图片描述
可以在IntelliJ Idea中查看传输是否成功,如下图所示:
在这里插入图片描述
上传jar到集群之后,可以在集群上面运行或者调试Scala代码,例如我这边的jar包,可以通过如下命令运行:

spark-submit --class LzWordCount lzscalasparktest_2.11-0.1.jar

我这边的运行结果如下图所示:
在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章