溫馨提示:如果使用電腦查看圖片不清晰,可以使用手機打開文章單擊文中的圖片放大查看高清原圖。
Fayson的github: https://github.com/fayson/cdhproject
提示:代碼塊部分可以左右滑動查看噢
1.文檔編寫目的
在使用Hive CLI客戶端執行SQL語句時,默認的日誌輸出在/tmp/${user}/目錄下,由於tmp目錄的空間大小有限,需要爲Hive CLI客戶端指定日誌輸出目錄,但在Cloudera Manager上不支持爲Hive CLI客戶端配置日誌輸出目錄。本篇文章Fayson主要介紹如何爲Hive CLI運行時指定日誌輸出目錄。
- 內容概述
1.指定日誌輸出目錄
2.總結
- 測試環境
1.RedHat7.3
2.CM和CDH版本爲5.15
2.指定日誌輸出目錄
1.創建一個Hive CLI客戶端日誌存放目錄
[root@cdh03 conf]# mkdir -p /data/disk1/hive-log/ [root@cdh03 conf]# chmod 777 /data/disk1/hive-log [root@cdh03 conf]#
(可左右滑動)
2.在hive命令增加--hiveconf參數指定日誌輸出目錄
[root@cdh03 ~]$ hive --hiveconf hive.log.dir=/data/disk1/hive-log/$USER
(可左右滑動)
命令運行成功後會在/data/disk1/hive-log/$USER目錄下生成hive.log日誌文件
3.爲了方便不用每次只需hive命令指定日誌輸出目錄,這裏在Shell中爲hive命令創建一個別名
編輯/etc/profile文件,在文件末尾增加如下內容:
alias hive="hive --hiveconf hive.log.dir=/data/disk1/hive-log/$USER"
(可左右滑動)
執行source /etc/profile命令使環境變量立即生效,執行hive命令驗證是否生效即可
3.總結
1.不能通過Cloudera Manager爲Hive CLI客戶端配置日誌輸出目錄,只能在命令行中增加參數指定日誌輸出目錄。
2.在指定日誌輸出目錄時,需要考慮日誌輸出目錄的權限(如:/data/disk1/hive-log),考慮到不同的用戶運行,所以指定日誌輸出目錄中增加了$USER變量。
3.爲了不用每次運行hive命令指定日誌輸出目錄,通過在OS的環境變量中增加hive的別名方式,將日誌輸出目錄固化在環境變量中。
提示:代碼塊部分可以左右滑動查看噢
爲天地立心,爲生民立命,爲往聖繼絕學,爲萬世開太平。 溫馨提示:如果使用電腦查看圖片不清晰,可以使用手機打開文章單擊文中的圖片放大查看高清原圖。
推薦關注Hadoop實操,第一時間,分享更多Hadoop乾貨,歡迎轉發和分享。