hadoop學習筆記--10.hive安裝與配置

一、hive安裝

１.環境要求
　　1、 Java 1.7或以上
　　2、 Hadoop 2.x (preferred), 1.x (not supported by Hive 2.0.0 onward).
２.安裝配置
　　Hive沒有才有hadoop、HBase或者是Zookeeper的主從架構，所以只用在所需要的機器上安裝即可。
　　1. 解壓
　　　　tar -zxvf apache-hive-0.13.1-bin.tar.gz
　　　　把解壓的文件夾移到自己需要的存放的目錄。
　　2. 配置環境
　　　　sudo vi /etc/profile
　　　　export HIVE_HOME=/usr/export/servers/apache-hive-0.13.1-bin
　　　　export PATH=$$PATH:$HIVE_HOME/bin
　　　　環境生效 source /etc/profile

　　3. 配置hive-env.sh
　　　　(1).改名
　　　　　　把hive-env.sh.template 改成hive-env.sh
　　　　(2). 配置HADOOP_HOME (hadoop安裝目錄)
　　　　　　HADOOP_HOME=/usr/export/servers/hadoop-2.6.1
　　　　(3). 配置 export HIVE_CONF_DIR （hive的conf目錄）
　　　　　　export HIVE_CONF_DIR=/usr/export/servers/apache-hive-0.13.1-bin/conf

　　4. 在hdfs中建立文件 /tmp和/user/hive/warehouse並修改權限
　　　　hadoop fs -mkdir /tmp
　　　　hadoop fs -mkdir /user/hive/warehouse
　　　　hadoop fs -chmod g+w /tmp
　　　　hadoop fs -chmod g+w /user/hive/warehouse
　　5. 安裝完成
　　　　鍵入hive命令即可，進入hive的CLI命令行模式。
　　6. 官方參考文檔
　　https://cwiki.apache.org/confluence/display/Hive/GettingStarted

二、 Hive 運行模式及配置

　　hive元數據庫支持的3種運行模式, 內嵌模式、本地模式和遠程模式。
內嵌模式
　　默認的模式，元數據服務和hive運行在同一個JVM中，元數據存儲在本地磁盤的Derby中，只能有一個hive會話。
本地模式
　　使用一個獨立的數據庫作爲元數據的存儲組件，如mysql。
　　
　　安裝mysql（Ubuntu）
　　　　1． 查看是否已經安裝mysql
　　　　　　sudo netstat -tap | grep mysql
　　　　　　沒有結果即沒有安裝。
　　　　2． 查看是否已經安裝mysql
　　　　　sudo apt-get install mysql-server
　　　　　sudo apt-get install mysql-client
　　　　　最好使用root用戶安裝，遇到過安裝失敗的，在root用戶下更新update apt-get。

　　Mysql配置
　　　　1. 修改root密碼
　　　　　　UPDATE user SET Password=PASSWORD(‘123456’) where USER=’root’;
　　　　2. 允許用戶遠程訪問
　　　　　　sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
　　　　　　bind-address = 127.0.0.1 //找到此內容並且註釋
　　　　3. 允許root用戶遠程訪問
　　　　　　(1). 進入mysql，進入mysql數據庫
　　　　　　(2). mysql數據庫下有一個user的表
　　　　　　(3). 查找user表的User，Host列
　　　　　　select User，Host from user；
　　　　　(4). 找到User列爲root，Host列爲localhost,修改Host列爲‘%’
　　　　　update user set Host=’%’ where User=’root’ and 　Host=’localhost’;
　　　　　flush privileges;
　　　　4. 重啓mysql
　　　　　　sudo /etc/init.d/mysql restart
　　　　　　
　　hive配置
　　　　1. 在hive目錄conf下創建hive-site.xml文件，內容初始化爲：　

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

</configuration>

　　　　２. 在hive-default.xml.template文件中找到如下4個配置內容：
　　　　　　（1）：javax.jdo.option.ConnectionURL
　　　　　　（2）：javax.jdo.option.ConnectionDriverName
　　　　　　（3）：javax.jdo.option.ConnectionUserName
　　　　　　（4）：javax.jdo.option.ConnectionPassword
　　　　　　在hive-site.xml添加這四項的配置
　　　　　　
　　　　　　
　　拷貝jar包
　　拷貝mysql驅動jar包，到Hive安裝目錄的lib下.新的hive版本可能還需要將HIVE_HOME/lib/jline-2.12.jar 這個文件替換掉HADOOP_HOME/share/hadoop/yarn/lib 下原來的版本 （即：將舊版本刪除，複製新版本到此目錄），否則hive啓動將失敗
　　
遠程模式
　　hive服務器和元數據服務在不同的jVM下，hive服務器可以訪問多個元數據服務器。一般通過JDBC/ODBC訪問。