線上故障排查(2019-12-02)
背景介紹:
一 背景介紹
接到產品經理反饋回來的企業微信,一個新部署的應用用戶添加服務報錯。由於這個平臺新搭建,k8s+rancher+springCloud。
二 排查過程
服務列表:
服務名稱 | 介紹 |
---|---|
ms-crf | 主應用 |
ms-base-org | 用戶服務 |
ms-hrpaccoint | 賬號服務 |
主應用ms-crf項目添加用戶報錯,經過查詢服務日誌是調用ms-base-org用戶服務時候報“系統錯誤“,查詢ms-base-org服務日誌,”//hrpaccount/add 404"。
查詢rancher的Deploment,ms-hrpaccoint這個服務活得好好的,按理說這個鬼玩意不應該報這個錯的,其他平臺上面也有這個應用的。初步懷疑是服務版本問題,spring boot 1.4 升級到2.0的時候防火牆要求url地址強校驗,不能出現”//“,將賬號服務升級成和測試環境一樣的鏡像後,沒有解決。
版本沒有問題,spring config查找服務網管gateway的配置文件,沒有配置只能路由zuul,調用路徑hrpaccount/** ,服務發現中名稱ms-hrpaccount,gos將自能路由規則配置後。好高興,問題還是沒有解決,但是報錯信息變了,變成了datasource url no url。
查詢配置中心,果然沒有配置數據庫 相關信息。運維同學還是不靠譜,自己把測試環境的相關配置拷貝到gogs,將用戶名密碼修改後,問題解決。
這僅僅是一次問題的記錄,小公司運維負責搭建k8s集羣和部署基礎服務,業務人員在上面部署自己應用,自己的應用自己完全負責。