hive安裝、常用命令和屬性配置

目錄

 

安裝mysql

hive常見屬性配置

hive數據倉庫位置配置

 查詢後信息顯示配置

hive運行日誌信息配置

hive參數配置方式

---

正文

安裝mysql

rpm -qa | grep mysql          //查看是否存在mysql
rmp -e --nodeps mysql-libs-5.1.73-7.e16.x84_64      //卸載已有的的mysql
cd /opt/software/mysql-libs/        //進入mysql-libs文件夾，其中有三個文件client、connector、server

//1.安裝mysql服務端
rpm -ivh MySQL-server-5.6.24-1.e16.x86_64.rpm  //安裝mysql服務端
cat /root/.mysql_secret   //查看產生的隨機密碼：PassW0rd
service mysql status   //查看mysql狀態
service mysql start   //啓動mysql

//2.安裝mysql客戶端
rmp -ivh MySQL-client-5.6.24-1.e16.x86_64.rmp    //安裝mysql客戶端
mysql -u root -p PassW0rd    //鏈接mysql
SET PASSWORD=PASSWORD('000000')         //修改密碼
exit   //退出mysql

//3.mysql中user表中主機配置，首先進入mysql
select user,host,password from user       //查詢user表
update user set host='%' where host='localhost'   //將user表中的host內容修改爲%
delete from user where host='hadoop102'    //刪除root用戶的其他host
flush privileges        //刷新
quit   //退出  


//4.hive元數據配置到mysql
tar -zxvf mysql-connector-java=5.1.27.tar.gz       //解壓驅動
rm -rf mysql-connector-java-5.1.27.tar.gz       //刪除tar包
cd mysql-connector-java=5.1.27            //進入驅動所在目錄
cp ./mysql-connector-java-5.1.27-bin.jar opt/module/hive/lib/  //將當前路徑下的mysql包傳入到hive中


//5.修改hive的配置信息
cd /opt/module/hive/conf       //進入hive的配置，修改信息
touch hive-site.xml        //創建配置文件
chown qx:qx hive-site.xml     //將hive-site文件的權限進行修改，根據官方文檔添加內容，修改文件

//6.HiveJDBC訪問
bin/hiveserver2            //進入hive的bin目錄下啓動hiveserver2服務
bin/beeline         //啓動beeline
!connect jdbc:hive2://hadoop102:10000       //進入beeline目錄執行此條語句後，輸入用戶名和密碼，連接jdbc

hive常用命令

//1.常用交互命令
bin/hive -e "select id from student;"     //不進入hive的交互窗口執行sql語句
bin/hive -f ./hive.hql           //執行腳本文件中hql語句
bin/hive -f ./hive.hql > /opt/module/datas/hive_result.txt  //執行文件中SQL語句並將結構寫入文件中


//hive其他操作命令
dfs -ls /              //在hive cli窗口中如何查看hdfs文件系統
! ls /opt/module/datas      //在hive cli命令窗口中查看本地文件系統
cat .hivehistory     //進入到當前用戶的根目錄/root查看.hivehistory文件

hive常見屬性配置

• hive數據倉庫位置配置

1. default數據倉庫最原始位置是在hdfs上的：/user/hive/warehouse路徑下
2. 在倉庫目錄下，沒有對默認的數據庫default創建文件夾。如果某張表屬於default數據庫，直接在數據倉庫目錄下創建一個文件夾
3. 修改default數據倉庫原始位置（將hive-default.xml.template 如下配置拷貝到hive-site.xml文件中）

<property>
    <name>hive.metastore.warehouse.dir<name>
    <value>/user/hive/warehouse</value>
    <description>
        location of default database for the warehouse
    </description>
</property>

配置同組用戶有執行權

bin/hdfs dfs -chmod g+w /user/hive/warehouse

•  查詢後信息顯示配置

1. 在hive-site.xml文件中添加如下配置信息，可以實現顯示當前數據庫，以及查詢表的頭信息配置

   <property>
       <name>hive.cli.print.header</name>
       <value>true</value>
   </property>
   
   <property>
       <name>hive.cli.print.current.db</name>
       <value>true</value>
   </property>

    

• hive運行日誌信息配置

1. hive的log默認存放在/tmp/qx/hive.log（當前用戶名下）
2. 修改hive的log存放日誌到/opt/module/hive/logs

mv hive-log4j.properties.template hive-log4j.properties           //進入conf目錄下，修改hive-log4j.properties.template文件名稱爲hive-log4j.properties

hive.log.dir=/opt/module/hive/logs     //在hive-log4j文件中修改kog存放位置

• hive參數配置方式

1. 查看當前所有配置信息：set          //進入hive後輸入set
2. 參數的配置三種方式

   //1.配置文件方式
   默認配置文件：hive-default.xml
   用戶自定義配置文件：hive-site.xml
   注意：用戶自定義配置會覆蓋默認配置
   
   
   //命令行參數方式
   啓動hive時，可以在命令行添加-hiveconf param=value來設定參數
   set mapred.reduce.tasks   //進入hive中，查看設置
   bin/hive -hiveconf mapred.reduce.task=10   //設置方法一
   set mapred.reduce.tasks=11      //設置方法二