配置HiveOnTez時,出現了找未知端口的情況,解決

1.問題重現

2019-09-21T10:35:56,809 INFO [825410d8-c524-4303-ab73-91a0b2ce70dc main] ipc.Client: Retrying connect to server: hadoop/192.168.159.200:44096. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

https://bbs.csdn.net/topics/394525960,這是我提問的帖子,但是並沒有人理我。。。。。。。。

2.解決歷程

1.深入源碼,看到hive源碼有讀取這樣的一個配置
(時間太久了,不想再去找了)
hive.downloaded.resources.dir,去尋找一些資源文件

2.在默認的配置文件中找到了這個配置,因爲我在搭建hive的時候,圖省事,就把所有的${system:java.io.tmpdir}/${system:user.name}
都替換成爲爲了我的個人目錄,所以它一直找不到,這個位置,一直嘗試,就會死掉
在這裏插入圖片描述
3.建議重新搭建hive,因爲有些目錄已經生成了,不太好去一個個刪掉。
記得要備份數據庫,不然會出問題的。

4.建議只更改warehouse一個目錄就行,其他的目錄都用默認配置,如果無特殊需求的話

5.tez雖然長得挺好看,但是侷限性還是很高的,處理大數據量時還是要跑MR,TEZ會活活卡死,所以其實不建議更換tez作爲hive的計算引擎,不過也可以配置一下,感受一下進度條的美麗
在這裏插入圖片描述

6.錯誤的導致很多,當時配置tez時,踩了很多坑,如果需要用tez的話,注意內存的使用情況哦

總結

我的解決方法不一定適用於每個人,如果不能解決,那就繼續尋找真相吧少年。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章