Exception in thread "Spark Context Cleaner" java.lang.OutOfMemoryError: PermGen space

在idea中本地訪問hive中的數據:

val df = spark.sql("select * from badou.order_products_prior")
df.show(10)

出錯:Exception in thread "Spark Context Cleaner" java.lang.OutOfMemoryError: PermGen space。order_products_prior表的數據不到600M,估計是idea默認的內存太小了,達不到600M,所以修改一下VM options的配置:-Xmx1.5g -XX:MaxPermSize=800M,但是又出現錯誤說Xmx1.5g非法,我就改小了一點,能容納600就行,-Xmx800M -XX:MaxPermSize=800M,結果正常。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章