org.apache.spark.SparkException: A master URL must be set in your configuration

之前在idea上执行sparkSQL程序时,出现了一个如下Exception

org.apache.spark.SparkException: A master URL must be set in your configuration,说是

没有配置master URL,那我在配置了以后程序就好使了。

需要明确一下,传递给spark的master url可以有如下几种:

local 本地单线程

local[K] 本地多线程(指定K个内核)

local[*] 本地多线程(指定所有可用内核)

spark://HOST:PORT 连接到指定的 Spark standalone cluster master,需要指定端口

mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口

yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR

yarn-cluster集群模式 连接到 YARN 集群 。需要配置 HADOOP_CONF_DIR
在这里插入图片描述

首先单击菜单栏里的run,里面有一个Edit Configuration选项,选中这个选项。
在这里插入图片描述
选中以后,在出现的选项框左侧选中你要运行的项目,在右侧Configuration下有个VM options,在这个框中填入-Dspark.master=local[],然后Apply,点击OK,在运行程序就正常运行了。(需注意:填入-Dspark.master=local[]时,中间不要有空格,否则程序输出结果会乱码,无法识别)
在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章