SparkSQL集成Hive

(1)相關配置:

將以下文件拷貝到 $SPARK_HOME/conf 目錄下

Hive: hive-site.xml

Hadoop: core-site.xml和hdfs-site.xml

同時,啓動Spark shell 的時候,需要制定mysql的驅動

首先查看core-site.xml,hdfs-site.xml,hive-site.xml

 

 

 

(2)拷貝mysql-connector-java-

然後將 root/hive/lib 下面的mysql-connector-java-5.1.39.jar拷貝到某個目錄下(可以自己設定目錄):

如root/input 目錄下:

 

 

然後首先啓動hdfs.yarn集羣和yarn

start-hdfs.sh

start-yarn.sh

 

接着啓動spark:sbin//start-all.sh

接着在spark 下輸入:

bin/spark-shell --master spark://hd09-01:7077 --jars /root/input/mysql-connector-java-5.1.39.jar

備註:hd09-01 是對應集羣的主機名

輸入:spark.sql("show tables").show

查看是否顯示hive中的表名

 

成功顯示hive的所有表

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章