spark-13.sparkSQL_4_集成hive

1.使用內置的hive【當前hive 1.2.1】

注意:如果發現master節點有metastore_db出現,刪除,然後啓動客戶端配置hdfs路徑。

bin/spark-shell --master spark://master:7077 --conf spark.sql.warehouse.dir=hdfs://master:9000/spark_warehouse

將spark的數據倉庫的路徑配置到HDFS上,配置只需要在第一次啓動時配置。

2.使用外置的hive

1)直接將hive conf 目錄下的hive-site.xml文件軟連接到spark的conf目錄下【該文件只需要配置到master節點】。

ln -s /opt/module/hive-1.2.1/conf/hive-site.xml ./conf/hive-site.xml

查看當前spark/jars目錄下有沒有mysql驅動jar。如果沒有,則將hive下的mysql驅動複製過來。

cp /opt/module/hive-1.2.1/lib/mysql-connector-java-5.1.27-bin.jar ./jars/

2)直接啓動spark-shell或者spark-sql即可接管外部HIVE。

3)接管的核心是整合了元數據庫,所以需要有元數據庫的驅動存在,Hive啓動與否對於spark接管hive無影響。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章