win10+hadoop2.9.1+hive2.2.0測試環境部署

部署安裝hadoop2.9.1後下載hive2.2.0解壓到安裝目錄，本文爲E:\post\hive\apache-hive-2.3.3-bin

    PS：經下載發現2.2.0以後沒有win相關的cmd命令

    PS：hadoop的配置相對簡單，本文不再贅述

• 環境變量

    總共需要配置四處環境變量（系統變量，如果不配置此4處將無法運行hive，被這裏坑了很久）

1. HIVE_BIN_PATH：E:\post\hive\apache-hive-2.2.0-bin\bin
2. HIVE_HOME：E:\post\hive\apache-hive-2.2.0-bin
3. HIVE_LIB：E:\post\hive\apache-hive-2.2.0-bin\lib
4. PATH增加：%HIVE_HOME%\bin

• 配置文件

1. Hive的conf目錄下新建hive_site.xml文件，內容爲以下（爲避免採坑，貼出完成xml文件內容，此處也爲一坑）：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
    <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://IP:3306/hive_metadata?createDatabaseIfNotExist=true</value>
        </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>   
    <property>
        <name>datanucleus.fixedDatastore</name>
        <value>false</value>
    </property>
    <property>
      <name>datanucleus.autoCreateSchema</name>
      <value>true</value>
    </property>
    <property>
      <name>datanucleus.autoCreateTables</name>
      <value>true</value>
    </property>
    <property>
      <name>datanucleus.autoCreateColumns</name>
      <value>true</value>
    </property>
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
        <description>
          Enforce metastore schema version consistency.
          True: Verify that version information stored in metastore matches with one from Hive jars.  Also disable automatic
          schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures proper metastore schema migration. (Default)
          False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
         </description>
    </property>
</configuration>

 

      PS：紅色粗體處需要改成跟本人實際情況一致；另，如果還報其他錯誤，自行google增加相應property。

2.Hive的conf目錄下新增hive-env.sh文件，內容如下：

        export HADOOP_HOME=E:\post\hadoop\hadoop-2.9.1

        export HIVE_CONF_DIR=E:\post\hadoop\hadoop-2.9.1\bin\conf

        export HIVE_AUX_JARS_PATH=E:\post\hadoop\hadoop-2.9.1\bin\lib

       PS：爲相應hadoop相關環境，需按本人實際情況修改

3.Hive的lib目錄添加mysql-connector-java.jar驅動

  官網下載鏈接：https://dev.mysql.com/downloads/file/?id=476198

解壓後將mysql-connector-java-5.1.46.jar重命名爲mysql-connector-java.jar並添加至hive的lib目錄下。（若鏈接失效，可google搜索下載之）

• 測試

1. Win+R打開cmd，輸入hive，成功進入hive：

               PS：不需要運行以下命令進行初始化，被這點坑了很久

               schematool -initSchema -dbType mysql

               hive --service metastore

        

    2.查看hive的mysql元數據庫表：