CentOS下Hive搭建

1. 前言

前提是已經安裝好了hadoop,我的hadoop搭建主要參考CSDN的博客,當然此次Hive環境的搭建主要也是參考這位博主的另外一個博客。不過我想將搭配過程中他的博客沒有提到的幾個點記錄下來。

2. MySQL安裝

主要參考的是這篇博客的,但是出現的第一個問題就是下載得太慢了。爲此,我要記錄的第一個點就是更換CentOS下yum的下載源。更新完下載源之後再按照步驟安裝mysql。

2.1 更換yum下載源

主要參考的博客是這篇,基本按照代碼一步步下來就沒有問題。

2.2 開啓MySQL遠程登錄

開啓了遠程登錄後,就能在本地訪問虛擬機上的MySQL數據庫了,具體的操作參考這篇博文。我採用的是授權法,這樣在我的workbench可以登入到虛擬機的MySQL數據庫。
屏幕快照 2019-06-19 15.44.40-w256

3. Hive安裝

3.1 下載Hive

下載網址,選擇的是2.3.5版本。

3.2 安裝Hive和更改配置文件

Hive僅需要在NameNode上安裝即可,按照博客安裝配置即可。安裝過程中有一個值得注意的點便是使用vim對字符串的全局替換。在vim中使用下列代碼可以將字符串${system:java.io.tmpdir}全部替換爲/opt/hive/tmp

:%s#${system:java.io.tmpdir}#/opt/hive/tmp#g

還有一點就是對於文件中一些字符串的搜索,只需按下/,再在後面跟上需要查找的字符串即可,然後按小寫的n查詢下一個,大寫的N查詢上一個
屏幕快照 2019-06-19 15.54.57-w1031

3.2.1 修改hive-site.xml數據庫相關的配置

在更改javax.jdo.option.ConnectionURL字段的時候,我搜到的大多數博客包括我主要參考的這篇博客都是修改爲<value>jdbc:mysql://192.168.114.128:3306/hive?createDatabaseIfNotExist=true</value>(mysql後跟的是ip地址+端口)。但是這樣操作的話會有SSL警告,這是我安裝好之後才發現的。

然後我找到一篇博客解決了這個問題,這位博主的做法是將該字段修改成<value>jdbc:mysql://192.168.114.128:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>。親測改完之後不會再有SSL警告。

4. MySQL驅動包的下載

下載網址
選擇黑框這個下載,之後用scp傳輸到虛擬機上的正確地址上屏幕快照 2019-06-19 16.06.12-w857

5. 啓動與測試

安裝參考博客來,先執行schematool -initSchema -dbType mysql,會發現在MySQL數據庫中生成了hive數據庫。
屏幕快照 2019-06-19 16.09.51-w279

然後按照博客隨便啓動hive命令行,在其中隨意輸入幾個命令。所有的安裝完畢!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章