通過SparkSession進行設置
val spark = SparkSession
.builder()
.appName("AWSMMonitorInfo")
.enableHiveSupport()
.config("hive.exec.dynamic.partition", true) // 支持 Hive 動態分區
.config("hive.exec.dynamic.partition.mode", "nonstrict") // 非嚴格模式
.getOrCreate()
//設置打印warn及以上級別的日誌
spark.sparkContext.setLogLevel("WARN")