spark動態更新hive表的分區數據

使用spark操作hive的時候,當需要對hive的分區表進行動態更新分區內容時,可在SparkSession中進行如下設置

SparkSession.builder()  
        .master("yarn")
        .appName(appName)
        .enableHiveSupport()
        .config("hive.exec.dynamic.partition", true) // 支持 Hive 動態分區
        .config("hive.exec.dynamic.partition.mode", "nonstrict") // 非嚴格模式
        .getOrCreate()
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章