Exception in thread "Spark Context Cleaner" java.lang.OutOfMemoryError: PermGen space

在idea中本地访问hive中的数据:

val df = spark.sql("select * from badou.order_products_prior")
df.show(10)

出错:Exception in thread "Spark Context Cleaner" java.lang.OutOfMemoryError: PermGen space。order_products_prior表的数据不到600M,估计是idea默认的内存太小了,达不到600M,所以修改一下VM options的配置:-Xmx1.5g -XX:MaxPermSize=800M,但是又出现错误说Xmx1.5g非法,我就改小了一点,能容纳600就行,-Xmx800M -XX:MaxPermSize=800M,结果正常。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章