(1)相關配置:
將以下文件拷貝到 $SPARK_HOME/conf 目錄下
Hive: hive-site.xml
Hadoop: core-site.xml和hdfs-site.xml
同時,啓動Spark shell 的時候,需要制定mysql的驅動
首先查看core-site.xml,hdfs-site.xml,hive-site.xml
(2)拷貝mysql-connector-java-
然後將 root/hive/lib 下面的mysql-connector-java-5.1.39.jar拷貝到某個目錄下(可以自己設定目錄):
如root/input 目錄下:
然後首先啓動hdfs.yarn集羣和yarn
start-hdfs.sh
start-yarn.sh
接着啓動spark:sbin//start-all.sh
接着在spark 下輸入:
bin/spark-shell --master spark://hd09-01:7077 --jars /root/input/mysql-connector-java-5.1.39.jar
備註:hd09-01 是對應集羣的主機名
輸入:spark.sql("show tables").show
查看是否顯示hive中的表名
成功顯示hive的所有表