如何爲Hive CLI運行時指定日誌目錄

溫馨提示:如果使用電腦查看圖片不清晰,可以使用手機打開文章單擊文中的圖片放大查看高清原圖。

Fayson的github: https://github.com/fayson/cdhproject

提示:代碼塊部分可以左右滑動查看噢

1.文檔編寫目的


在使用Hive CLI客戶端執行SQL語句時,默認的日誌輸出在/tmp/${user}/目錄下,由於tmp目錄的空間大小有限,需要爲Hive CLI客戶端指定日誌輸出目錄,但在Cloudera Manager上不支持爲Hive CLI客戶端配置日誌輸出目錄。本篇文章Fayson主要介紹如何爲Hive CLI運行時指定日誌輸出目錄。

  • 內容概述

1.指定日誌輸出目錄

2.總結

  • 測試環境

1.RedHat7.3

2.CM和CDH版本爲5.15

2.指定日誌輸出目錄


1.創建一個Hive CLI客戶端日誌存放目錄

[root@cdh03 conf]# mkdir -p /data/disk1/hive-log/
[root@cdh03 conf]# chmod 777 /data/disk1/hive-log
[root@cdh03 conf]# 

(可左右滑動)

2.在hive命令增加--hiveconf參數指定日誌輸出目錄

[root@cdh03 ~]$ hive --hiveconf hive.log.dir=/data/disk1/hive-log/$USER

(可左右滑動)

命令運行成功後會在/data/disk1/hive-log/$USER目錄下生成hive.log日誌文件

3.爲了方便不用每次只需hive命令指定日誌輸出目錄,這裏在Shell中爲hive命令創建一個別名

編輯/etc/profile文件,在文件末尾增加如下內容:

alias hive="hive --hiveconf hive.log.dir=/data/disk1/hive-log/$USER"

(可左右滑動)

執行source /etc/profile命令使環境變量立即生效,執行hive命令驗證是否生效即可

3.總結


1.不能通過Cloudera Manager爲Hive CLI客戶端配置日誌輸出目錄,只能在命令行中增加參數指定日誌輸出目錄。

2.在指定日誌輸出目錄時,需要考慮日誌輸出目錄的權限(如:/data/disk1/hive-log),考慮到不同的用戶運行,所以指定日誌輸出目錄中增加了$USER變量。

3.爲了不用每次運行hive命令指定日誌輸出目錄,通過在OS的環境變量中增加hive的別名方式,將日誌輸出目錄固化在環境變量中。

提示:代碼塊部分可以左右滑動查看噢

爲天地立心,爲生民立命,爲往聖繼絕學,爲萬世開太平。 溫馨提示:如果使用電腦查看圖片不清晰,可以使用手機打開文章單擊文中的圖片放大查看高清原圖。

推薦關注Hadoop實操,第一時間,分享更多Hadoop乾貨,歡迎轉發和分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章