Hadoop生態系統—數據倉庫Hive的安裝

一、數據倉庫

數據倉庫是一個面向主題的、集成的、隨時間變化，但信息本身相對穩定的數據集合，相比於傳統型數據庫，它主要用於支持企業或組織的決策分析處理。主要有以下3個特點：

• 數據倉庫是面向主題的：

  數據倉庫中的數據是按照一定的主題域進行組織，大概意思就是說存的數據是一類數據

• 數據倉庫是隨時間變化的：

  其中存的數據是有時序的，會保存很長一段時間的數據

• 數據倉庫相對穩定：

  數據倉庫主要是用來進行數據的查詢，很少進行修改和刪除

數據倉庫的結構

二、Hive簡介

2.1 Hive簡介

Hive最初是Facebook開發的一款用來SQL分析的應用，它是建立在Hadoop文件系統上的數據倉庫，能夠對存儲在HDFS中的數據進行數據提取、轉換和加載（ETL），這是一種可以存儲、查詢、分析存儲在Hadoop中的大規模數據的機制。Hive定義了簡單的類SQL查詢語言，簡稱HQL。但Hive並不是一個數據庫，它只是提供了和數據庫相類似的查詢語言。其實他是用來執行簡化MapReduce操作的，可以解決很多MapReduce解決起來比較麻煩的事。Hive把用戶的HiveQL語句解釋轉換爲MapReduce作業提交到Hadoop集羣上，Hadoop監控作業執行過程，然後返回作業執行結果給用戶。

2.2 Hive系統架構

• 用戶接口：主要分爲3個，分別是CLI（命令行）、JDBC/ODBC（由Java實現的用來連接數據庫）、和WebUI（瀏覽器）。
• 跨語言服務（Thrift Server）:Thrift是Facebook開發的一個軟件框架，用來進行可擴展且跨語言的服務，Hive集成該服務，可以讓不同的編程語言調用Hive的接口
• 底層的驅動引擎：主要包含編譯器(Compile)/優化器(Optimizer)/執行器(Executor)
• 元數據存儲系統(Metastore)：Hive的元數據包括表名、列、分區及其相關屬性，表數據所在目錄的位置信息，Metastore默認存在自帶的Derby數據庫中（這是一個嵌入式數據庫，更多有關嵌入式數據庫資料查看這裏在Spring中使用嵌入式數據庫-H2）。

三、Hive實踐

3.1 Hive安裝

由於Hive依賴於Hadoop，所以要提前安裝Hadoop，參見手把手教你安裝Hadoop集羣

• 下載並解壓

  之前的Hadoop是分佈式安裝在3臺機器上的，但Hive只需要安裝在一臺機子即可，我這裏選擇的是hadoop02

  下載地址：https://hive.apache.org/downloads.html，(在國內鏡像網站上也是可以下載的)注意與Hadoop的版本對應，之前安裝的Hadoop是2.x版本，這裏下載安裝Hive 2.3.9。 具體版本對應關係可在下載頁面查看。

tar zxvf apache-hive-2.3.9-bin.tar.gz 

• 配置環境變量

  ​ 如何配置Linux環境變量

  # ---------Hive----------
  export HIVE_HOME=/home/apache-hive-2.3.9-bin
  export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH

• 修改配置文件

  這一步不是必須的，也就是不修改配置文件也是可以啓動的。

  Hive默認的配置是使得Derby數據庫進行存儲的，是單用戶的模式，也就是意味着同一時間只能有一個用戶使用Hive。這裏修改的配置主要是使用MySQL來存儲元數據。在Hive配置中原本有hive-default.xml.template，對這個文件進行復制修改

  cd $HIVE_HOME/conf
  cp hive-default.xml.template hive-site.xml
  

  修改如下內容，可根據name屬性進行搜索，可能並不連續

  <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://192.168.83.1:3307/hive?createDatabaseIfNotExist=true</value>
      <description>
          Mysql連接地址
      </description>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>123456</value>
      <description>mysql密碼</description>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.cj.jdbc.Driver</value>
      <description>JDBC驅動</description>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
      <description>mysql用戶名</description>
  </property>
  
  <property>
      <name>hive.querylog.location</name>
      <value>/data/hive/querylog</value>
      <description>Location of Hive run time structured log file</description>
  </property>
  <property>
      <name>hive.exec.local.scratchdir</name>
      <value>/data/hive/scratchdir</value>
      <description>Local scratch space for Hive jobs</description>
  </property>
  <property>
      <name>hive.downloaded.resources.dir</name>
      <value>/data/hive/resourcesdir</value>
      <description>Temporary local directory for added resources in the remote file system.</description>
  </property>
  <property>
      <name>hive.server2.logging.operation.log.location</name>
      <value>/data/hive/operation_logs</value>
      <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
  </property>

• 將Mysql的JDBC連接連接驅動放進hive的lib目錄下，注意下載與Mysql對應的版本

• 在Mysql中創建hive數據庫，並在hive的bin下執行如下命令，初始化Mysql中元數據的存儲schema

  ./schematool -initSchema -dbType mysql 

• 啓動Hive

  由於已經配置了環境變量，所以直接執行hive即可啓動