在寫入Hive表時,表已經刪除,但文件還在,
參考
https://docs.microsoft.com/zh-cn/azure/databricks/kb/jobs/spark-overwrite-cancel
將標誌設置 spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation
爲 true
.set("spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation","true")
重新寫入該表即可。
此貼來自彙總貼的子問題,只是爲了方便查詢。
總貼請看置頂帖:
pyspark及Spark報錯問題彙總及某些函數用法。