Spark 处理完后的DataFrame写入pgsql时报错：
通过查看分区数，发现分区在100~500之间，因此写入时repation至10个分区，后来报错如下：
最终调小 --num-executors 6解决。
记一次spark 写入pgsql异常及解决
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
Spark 处理完后的DataFrame写入pgsql时报错：
通过查看分区数，发现分区在100~500之间，因此写入时repation至10个分区，后来报错如下：
最终调小 --num-executors 6解决。