hadoop系列： spark 訪問hive表報錯

spark訪問hive表： 在spark/conf目錄下：引入hive配置文件

ln -sf /soft/hive/conf/hive-site.xml /soft/spark/conf/

錯誤1：

Hive Schema version 1.2.0 does not match metastore’s schema version 2.3.0
原因： hive版本不一致， 查看hive在mysql中的註冊信息如下
解決辦法： 降低hive的版本, 修改 SCHEMA_VERSION的值爲2.1.1

錯誤2：

Exception thrown obtaining schema column information from datastore
org.datanucleus.exceptions.NucleusDataStoreException: Exception thrown obtaining schema column information from datastore…
Caused by: java.sql.SQLException: Column name pattern can not be NULL or empty.
原因： 是mysql驅動版本太高，刪除後重新導入低版本的驅動


重啓spark-shell, 加載hive文件成功！