hive Cannot obtain block length for LocatedBlock 報錯定位

1.背景:昨天運維同事生產升級了MySQL,跑的定時任務出錯。
2.查看job在這裏插入圖片描述
發現規律 所有的查詢都跑完,但插入不進去數據。
3.查看日誌mr都100%但插入的都被kill掉了,最後有個映射錯誤啥的,錯誤不明顯。
在這裏插入圖片描述
4,在HUE上測試
在這裏插入圖片描述
的確是查可查,但插入不了,頁面報錯這個。很玄乎沒啥好定位的,但確認是有錯,且是插入錯誤。
5,截圖聯繫運維人員一起排查。運維人員進入集羣后看server2日誌看到 Cannot obtain block length for LocatedBlock
6.查了很多資料
https://zhuanlan.zhihu.com/p/53593639
https://www.cnblogs.com/cssdongl/p/6700512.html
https://www.cnblogs.com/cssdongl/p/6699919.html
最後修復好了。
原因是昨晚升級MySQL時某個數據沒同步好,最後修復了。
和運維同事互相配合忙活了很久,慢慢定位到的。希望大家下次少趟點坑,早下班,保護好頭髮!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章