spark sql — 集羣環境errors

spark.sql.warehouse.dir

// 默認值:System.getProperty("user.dir")/spark-warehouse
// 默認找的是user.dir下面的目錄。這個其實是沒有的,所有報錯。
// 需要添加配置:
 SparkSession spark = SparkSession
                .builder()
                .master("spark://master106:7077")
                .appName("Java Spark SQL basic example")
                .config("spark.some.config.option", "some-value")
                .config("spark.sql.warehouse.dir","hdfs://master106/user/hive/warehouse")
                .getOrCreate();
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章