Spark 處理完後的DataFrame寫入pgsql時報錯：
通過查看分區數，發現分區在100~500之間，因此寫入時repation至10個分區，後來報錯如下：
最終調小 --num-executors 6解決。
記一次spark 寫入pgsql異常及解決
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
Spark 處理完後的DataFrame寫入pgsql時報錯：
通過查看分區數，發現分區在100~500之間，因此寫入時repation至10個分區，後來報錯如下：
最終調小 --num-executors 6解決。