配置spark sql查詢hive

配置idea spark sql連接hive
1.首先將/etc/hive/conf/的hive-site.xml複製到項目的resources下

2.添加maven依賴到pom.xml文件,不僅需要添加spark-sql,還需要添加spark-hive,spark版本2.2.0,scala版本2.10

         <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>2.2.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.10</artifactId>
            <version>2.2.0</version>
        </dependency>
 3.在程序裏設置

 val spark = SparkSession
      .builder()
      .appName("test_note")
      .master("local")
      .enableHiveSupport()//設置支持hive
      .getOrCreate()
到這本地就可以直接查詢服務器的hive數據了

配置CDH集羣
集羣配置只需要將/etc/hive/conf/目錄下的hive-site.xml複製到/etc/spark2/conf/目錄下,就可以spark-submit了。
 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章