org.apache.spark.SparkException: A master URL must be set in your configuration

之前在idea上執行sparkSQL程序時,出現了一個如下Exception

org.apache.spark.SparkException: A master URL must be set in your configuration,說是

沒有配置master URL,那我在配置了以後程序就好使了。

需要明確一下,傳遞給spark的master url可以有如下幾種:

local 本地單線程

local[K] 本地多線程(指定K個內核)

local[*] 本地多線程(指定所有可用內核)

spark://HOST:PORT 連接到指定的 Spark standalone cluster master,需要指定端口

mesos://HOST:PORT 連接到指定的 Mesos 集羣,需要指定端口

yarn-client客戶端模式 連接到 YARN 集羣。需要配置 HADOOP_CONF_DIR

yarn-cluster集羣模式 連接到 YARN 集羣 。需要配置 HADOOP_CONF_DIR
在這裏插入圖片描述

首先單擊菜單欄裏的run,裏面有一個Edit Configuration選項,選中這個選項。
在這裏插入圖片描述
選中以後,在出現的選項框左側選中你要運行的項目,在右側Configuration下有個VM options,在這個框中填入-Dspark.master=local[],然後Apply,點擊OK,在運行程序就正常運行了。(需注意:填入-Dspark.master=local[]時,中間不要有空格,否則程序輸出結果會亂碼,無法識別)
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章