雲服務器啓動tomcat很慢

阿里的雲服務器,啓動tomcat超級慢,經常卡在類似:
Root WebApplicationContext: initialization completed in 5566 ms
後面要等好久,纔會執行。

憑藉經驗,感覺應該不至於是JVM或tomcat的配置和優化問題,因爲基本都做了相應的優化。最終網上找到了答案,甚是感激博主,解決了我的疑問。
Tocmat的Session ID是通過SHA1算法計算得到的,計算Session ID的時候必須有一個密鑰。爲了提高安全性Tomcat在啓動的時候回通過隨機生成一個密鑰。/dev/random會根據噪音產生隨機數,如果生成隨機數的條件不夠它就會阻塞。
最懶的解決辦法是採用僞隨機函數生成器/dev/unrandom替換/dev/random函數生成器。
我僅僅在啓動文件setenv.sh中添加一句:

-Djava.security.egd=file:/dev/urandom

再次啓動,就發現卡住很久的問題立馬解決了!

當然有更好的解決辦法參看下文(原文地址:http://www.jianshu.com/p/576d356dc163):


自己再阿里雲申請了一臺1G1核的機器,每次重啓自己的服務tomcat都需要卡住很長時間,每次都是日誌停在
Root WebApplicationContext: initialization completed in 744 ms這個地方,然後也不知道發生了什麼,在等待
什麼,網上看到了一篇博文,mark下

問題現象

美女同事找我解決一個問題,說Tomcat啓動很慢。開始我以爲是程序寫的問題,所以把webapps下所有程序都刪除掉。(只保留Tomcat自帶)靈異的事情發生了,Tomcat停止在——

這裏寫圖片描述

我查看了一下進程,Tomcat所在的JVM進程已經被啓動了所以可以排除是JVM退出引起的問題。那麼問題真的就是JVM因爲某種原因被阻塞了。
分析

問題比較棘手,我排除了CPU、內存不足引起的問題;排除了硬盤空間不足引起的問題;我甚至去觀察了網絡I/O、硬盤I/O情況,都非常正常。程序被阻塞一般來說一定是要等待某個資源,而現在的情況是所有資源都充足,所以我幾乎想不到是什麼問題引起的。我開始懷疑是KVM Hypervisor虛擬化的問題(用的是虛擬機)我改變了策略在VMWare開了兩臺虛擬機上直接下載Tomcat啓動。其中一臺很快啓動,另一臺居然也被阻塞,問題被重現了。眼看要在美女面前丟臉,我光輝偉岸的形象要蕩然無存。這種情況下我不能去“擼”代碼吧?況且Tomcat那麼多人用,真有這麼明顯的Bug早就炸開鍋了。(Tomcat還是很靠譜的不像xxxxStack那麼狗屎)仔細想想我需要找到Tomcat停止在了哪裏?代碼裏發生了什麼事情,但是我又不可能去擼代碼。無可奈何的情況下我決定試一下 strace,這是一個跟蹤系統調用(System Call)的工具,無論是Java還是Pyhton很多資源申請都會變成都會變成System Call。(比如打開文件、新建線程、讀寫數據、等待I/O)通過這個工具我至少可以知道Tomcat是停止在哪個System Call上的,這樣可以方便我推斷出問題的原因。
strace -f -o strace.out ./catalina.sh run

strace有很多參數,我用了二個參數
-f 跟蹤fork的子進程,通俗的說會跟蹤所有線程的系統調用

-o把內容輸出到文件

其他參數請自行搜索下面分析strace.out文件,分析的方法是從下往上(被阻塞的地方肯定是在最後咯)。首先我們需要去掉Tomcat停止引起的System Call,它們不是我們需要的。從後往前搜索找到SIGINT

這裏寫圖片描述

紅色部分以上就是引起阻塞的系統調用了,上面有一大堆一大堆的futex
的調用,它是Linux中的一種輕量級的同步方法,所以我們可以判斷出最上面肯定是有某個System Call就是阻塞的真正元兇。跳過所有的futex

這裏寫圖片描述

這個read
就是引起後面一串futex
的真正原因,strace非常聰明它不僅僅給出了System Call還給出了傳遞的參數和返回值,read讀取的是51號文件句柄,沒有返回成功(unfinished)。順着這條路,我們看一下51號文件句柄是什麼

這裏寫圖片描述

/dev/random是Linux下的隨機函數生成器,讀取它相當於生成隨機數字。搜索它,第一個是wiki

這裏寫圖片描述

至此似乎一切真相大白了,/dev/random會根據噪音產生隨機數,如果噪音不夠它就會阻塞。Linux是通過I/O,鍵盤終端、內存使用量、CPU利用率等方式來收集噪音的,如果噪音不夠生成隨機數的時候就會被阻塞。
深入分析

如果用Tomcat /dev/random作爲關鍵字基本上就能夠回答我們的疑惑了。Tocmat的Session ID是通過SHA1算法計算得到的,計算Session ID的時候必須有一個密鑰。爲了提高安全性Tomcat在啓動的時候回通過隨機生成一個密鑰。在 http://wiki.apache.org/tomcat/HowTo/FasterStartUp (Entropy Source部分)有一段解釋。stackoverflow上面也有一大批這方面的說明,所以這裏就不再多做介紹。明白了問題的原因解決起來就非常簡單了——替換/dev/random爲/dev/unrandom,用僞隨機函數生成器(/dev/urandom)來替代隨機函數生成器(/dev/random)。
通過修改Tomcat啓動文件-Djava.security.egd=file:/dev/urandom

通過修改JRE中的java.security文件securerandom.source=file:/dev/urandom

當然JVM的開發者不是傻瓜,Tomcat的開發者也不是二百五。他們之所以沒有選擇/dev/urandom是爲了提高系統的安全性,/dev/urandom並不是真正的隨機行爲。(其實一般情況下/dev/urandom也是足夠安全的不太容易被“重複”)
徹底解決問題

上面介紹的兩種方式都是用/dev/urandom替換/dev/random,其實還有第三種方式——增大/dev/random的熵池。問題的原因是由於熵池不夠大,所以增大它是最徹底的方法。通過cat /proc/sys/kernel/random/entropy_avail
我們可以查看現在的熵池大小;我們需要找到一種方式來提高這個值就行了。如果你的CPU帶有DRNG特性,可以充分利用硬件來提高熵池產生的速度 。通過cat /proc/cpuinfo | grep rdrand
可以查看自己的CPU是否支持,一般來說Intel的Ivy_Bridge架構的CPU都支持(i3、i5需要注意是否採用該種架構,i7和xeon基本上都支持);AMD的CPU在2015年以後生成的都支持。(如果你是虛擬機需要開啓額外的參數)。如果你的硬件不支持,也沒有關係,我們可以讓/dev/unrandom來做“熵源”。以Centos7爲例,
yum install rngd-tools
或者yum install rng-tools
安裝rngd服務(熵服務)

systemctl start rngd
啓動服務
如果你的CPU不支持DRNG特性或者像我一樣使用虛擬機,可以使用/dev/unrandom來模擬。

cp /usr/lib/systemd/system/rngd.service /etc/systemd/system

編輯/etc/systemd/system/rngd.service
service小結,ExecStart=/sbin/rngd -f -r /dev/urandom

systemctl daemon-reload
重新載入服務

systemctl restart rngd
重啓服務

經過上面的修改,我們再觀察/proc/sys/kernel/random/entropy_avail
基本上在3000左右。我們可以測試一下隨機數的生成速度
watch -n 1 cat /proc/sys/kernel/random/entropy_avail
觀察這個值

新打開一個shell,用dd命令測試隨機數。dd if=/dev/random of=random.dat count=40960

[root@localhost bin]# dd if=/dev/random of=random.dat count=40960記錄了0+40960 的讀入記錄了6004+1 的寫出3074362字節(3.1 MB)已複製,5.01017 秒,614 kB/秒

5秒產生了40960個隨機數,/proc/sys/kernel/random/entropy_avail會有劇烈的變化,所有隨機數產生之後它又會保持在3000左右。
選擇哪種解決方法

個人建議選擇第三種方式,熵池不僅僅Tomcat用,Linux下的所有應用程序產生隨機數都會用到這個,所以不僅僅是Tomcat可能被阻塞。如果你搜索會發現Apache、Nginx、OpenSSL都被這個問題坑過。如果我們通過修改Java的配置來解決這個問題其實只是解決Java應用程序的問題,只能是治標不治本。根治的方法應該是通過rngd
提高隨機數生成的速度。
總結

經驗不是經歷。用別人的經驗解決一個問題不難,難的是自己從頭走一遍這條路,更加難的是推翻前人的經驗對一個問題能夠有自己的看法和領悟。這個案例加深了我對strace
的理解,對於空中加油
這種類型的系統調試有了自己的經驗;通過對原因的深入分析我找到了更好的辦法。這就是康德精神——思考、批判、理性。
如何重現故障

可以很容易的重現文章中描述的故障
systemctl stop rngd
停止rngd服務(如果你有啓動rngd)

查看當前熵池的大小cat /proc/sys/kernel/random/entropy_avail

head -c1024 /dev/random
,強制消費1024個隨機數,系統會長時間沒有反應。直接ctrl+c

再次查看熵池的大小cat /proc/sys/kernel/random/entropy_avail
,保證它的大小在儘可能的小

啓動tomcat,會發現長時間很長時間的等待

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章