之前在idea上執行sparkSQL程序時,出現了一個如下Exception:
org.apache.spark.SparkException: A master URL must be set in your configuration,說是
沒有配置master URL,那我在配置了以後程序就好使了。
需要明確一下,傳遞給spark的master url可以有如下幾種:
local 本地單線程
local[K] 本地多線程(指定K個內核)
local[*] 本地多線程(指定所有可用內核)
spark://HOST:PORT 連接到指定的 Spark standalone cluster master,需要指定端口
mesos://HOST:PORT 連接到指定的 Mesos 集羣,需要指定端口
yarn-client客戶端模式 連接到 YARN 集羣。需要配置 HADOOP_CONF_DIR
yarn-cluster集羣模式 連接到 YARN 集羣 。需要配置 HADOOP_CONF_DIR
首先單擊菜單欄裏的run,裏面有一個Edit Configuration選項,選中這個選項。
選中以後,在出現的選項框左側選中你要運行的項目,在右側Configuration下有個VM options,在這個框中填入-Dspark.master=local[],然後Apply,點擊OK,在運行程序就正常運行了。(需注意:填入-Dspark.master=local[]時,中間不要有空格,否則程序輸出結果會亂碼,無法識別)