在idea中本地訪問hive中的數據:
val df = spark.sql("select * from badou.order_products_prior")
df.show(10)
出錯:Exception in thread "Spark Context Cleaner" java.lang.OutOfMemoryError: PermGen space。order_products_prior表的數據不到600M,估計是idea默認的內存太小了,達不到600M,所以修改一下VM options的配置:-Xmx1.5g -XX:MaxPermSize=800M,但是又出現錯誤說Xmx1.5g非法,我就改小了一點,能容納600就行,-Xmx800M -XX:MaxPermSize=800M,結果正常。