bops歷史頁面個別用戶無法查詢,返回502bad geteway

現象:

    星期5(2012.6.29),bruce4.fany反饋一個用戶在bops歷史頁面無法查詢,具體截圖如下:

   

背景:

    架構:apache mod_jk + jboss


排查過程:

    1.確定範圍:排查中發現部分用戶訪問正常,部分用戶訪問不正常,確認不是網絡問題,同時jboss是正常的,httpd也是正常的,所以比較可能的問題就是mod_jk和jboss之間的連接出現問題

    2.查看jk_log日誌,如下:

   

    兩次ajp連接tomcat都失敗,錯誤相同,是tomcat is down or refused connection。很明顯,tomcat肯定是啓動着,但是拒絕了mod_jk的連接請求,而且頁面顯示是過了一段時間顯示失敗的,會不會是tomcat應用在處理這個請求消耗了大量時間導致超時,進而mod_jk請求無法在socket_time時間內響應,導致這種現象

   3.調整socket_time時間:設置sokect_timeout時間爲0,即永不超時,掛查應用響應情況。

        結果應用響應正常,但是消耗了大量時間,截圖如下:

   

   可以看到tomcat應用對這個請求的處理時間比較長,超出socket_time時間,因此響應502,爲解決問題,臨時先將sokect_time改爲100

    4.爲什麼這個點消耗如此之多的時間:

       btrace execute發現耗時在40秒

       thread 切片,發現線程信息如下:

   

       主要是是高危詞在掃描和標記時性能非常消耗導致的,可優化點。


後期需優化該點







發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章