使用spark操作hive的時候,當需要對hive的分區表進行動態更新分區內容時,可在SparkSession中進行如下設置
SparkSession.builder()
.master("yarn")
.appName(appName)
.enableHiveSupport()
.config("hive.exec.dynamic.partition", true) // 支持 Hive 動態分區
.config("hive.exec.dynamic.partition.mode", "nonstrict") // 非嚴格模式
.getOrCreate()