Windows安裝Hive

安裝包版本

JDK1.8.0.232(java1.8就可以,小版本號不強求)
鏈接:https://pan.baidu.com/s/1ZpMEtomkT1nvY_0qTbwcjg
提取碼:ei07
Hadoop2.7.7
鏈接:https://pan.baidu.com/s/1oL61X921-4Urd3UCwbrKKQ
提取碼:9aln
Hive2.2.1
鏈接:https://pan.baidu.com/s/1fPkeEJSImStlcCbYnCUy4g
提取碼:02hg
mysql-connector-java-5.1.46.jar
鏈接:https://pan.baidu.com/s/13ICebpZljlb39w9sm4O-pA
提取碼:ae9a

JDK安裝

下載解壓,安裝到非默認路徑

JDK環境變量配置

配置JDK環境變量,依次點擊我的電腦-屬性-高級系統設置-環境變量-新建系統變量,如下圖所示:

avatar

編輯系統變量Path,添加如下圖所示兩個值

avatar

Hadoop安裝

下載解壓即可

Hadoop環境變量配置

參考JDK環境變量配置,如下圖所示:
avatar

編輯系統變量Path,添加如下圖所示一個值

avatar

環境變量配置完成後打開cmd進行測試,輸入hadoop,正常應如下所示:

avatar

修改配置文件

新建目錄

新建namenode和datanode目錄,新建data目錄,在下面新增dfs目錄,再在下面新增namenode和datannode目錄

avatar

修改core-site.xml文件

文件目錄E:\tools\Hadoop\hadoop-2.7.7\etc\hadoop,將下面的代碼複製到core_site.xml,並保存

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改hdfs-site.xml(目錄和core_site一致),datanode和namenode改爲自己的目錄

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/E:/tools/Hadoop/hadoop-2.7.7/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/E:/tools/Hadoop/hadoop-2.7.7/data/dfs/datanode</value>
    </property>
</configuration>

修改mapred-site.xml.template文件(目錄和core_site一致),修改完重命名爲mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml文件(目錄和core_site一致)

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

修改hadoop-env.cmd文件(目錄和core_site一致)

其實就是設置java的目錄

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\tools\java\jdk1.8.0.232

格式化HDFS,打開Hadoop

至此,hadoop配置基本結束,接下來就需要測試hadoop是否安裝成功

格式化HDFS,打開cmd,輸入hdfs namenode -format,結果如下即爲成功

avatar

切換到E:\tools\Hadoop\hadoop-2.7.7\sbin目錄,執行start-all.cmd,會打開4個窗口即爲成功
然後,輸入jps命令測試是否成功,如下圖
avatar

結果測試

E:\tools\Hadoop\hadoop-2.7.7\sbin目錄下創建新的文件,然後在http://localhost:50070/explorer.html#/查看結果

    hadoop fs -mkdir /tmp
    hadoop fs -mkdir /user/
    hadoop fs -mkdir /user/hive/
    hadoop fs -mkdir /user/hive/warehouse
    hadoop fs -chmod g+w /tmp
    hadoop fs -chmod g+w /user/hive/warehouse

avatar

HVIE安裝

環境變量配置

參考JDK環境變量配置,如下圖所示:
avatar

編輯系統變量Path,添加如下圖所示一個值

avatar

環境變量配置完成後打開cmd進行測試,輸入hive,正常應如下所示:

avatar

文件配置

目錄更改

修改目錄E:\tools\hive\conf中的4個默認的配置文件模板拷貝成新的文件名

    hive-default.xml.template -----> hive-site.xml
    hive-env.sh.template -----> hive-env.sh
    hive-exec-log4j.properties.template -----> hive-exec-log4j2.properties
    hive-log4j.properties.template -----> hive-log4j2.properties

創建新目錄

創建以下幾個空目錄

    E:\tools\hive\my_hive\operation_logs_dir
    E:\tools\hive\my_hive\querylog_dir
    E:\tools\hive\my_hive\resources_dir
    E:\tools\hive\my_hive\scratch_dir

如下圖所示
avatar

mysql驅動配置

將mysql-connector-java-5.1.46-bin.jar複製到E:\tools\hive\lib目錄下
如下圖所示
avatar

修改hive-env.sh文件

新增以下內容,路徑注意修改爲自己的

# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=E:\tools\Hadoop\hadoop-2.7.7

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=E:\tools\hive\conf

# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=E:\tools\hive\lib

修改hive-site.xml文件

文件內容比較多,可以直接用我的,然後替換路徑和mysql的賬密即可

鏈接:https://pan.baidu.com/s/1PqtKV8Filn7DSwmqssSlTw
提取碼:12gz

按照下圖所示,查找修改即可
avatar
avatar

創建數據庫

配置文件完成後,創建數據庫,注意字符集和排序規則的設置屬性
avatar

啓動hive,結果測試

啓動hadoop

打開windows命令窗口,切換目錄到E:\tools\Hadoop\hadoop-2.7.7\sbin,輸入命令start-dfs.cmd並回車,啓動兩個窗口服務即成功

啓動hive metastore

在目錄E:\tools\Hadoop\hadoop-2.7.7\sbin的命令窗口輸入hive -service meatstore,如果在hive數據庫中出現如下所示衆多表,則說明開啓成功

avatar
avatar

上述方式啓動結果如下
avatar

此外,如果要操作hive,需要使用命令hive Starting Hive Metastore Server,進入hive操作系統
avatar

此時,可以直接執行HQL語句進行測試,例如執行create table stu(id int, name string);,然後去
http://localhost:50070/explorer.html#/user/hive/warehouse查看結果,
avatar

如上所示,則hive在windows的安裝成功。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章