前言
在對一個web進行性能測試過程中,需要開發者掌握一些概念,例如性能測試,到底要測試什麼?常見的測試指標有哪些?要怎麼做調優?
這裏分享一個案例。
案例
有一個接口,需要對上傳文件進行分析,流程是上傳一個zip文件,解壓後進行校驗,分析處理後,對文件進行簽名,同時返回前也會驗證簽名一次,再進行zip壓縮輸出,返回到平臺,有幾個重要參數,例如,文件摘要值、對文件操作的算法。
初步解析
這個案例看完後,從開發的角度上看,我們可能會思考,哪一些步驟會出現哪一些瓶頸,哪一個步驟需要採用什麼角度來進行優化?
1)簽名所用到的算法,對算法調優,或者降低安全性選用低運算的算法
2)上傳大文件與下載大文件的網絡傳輸,與本地文件多次讀取的處理
3)多文件下,考慮zip的壓縮與解壓的調優處理
4)不考慮立即同步,是否可以採用異步調用的方式
5)web應用,tomcat容器對上傳文件存放在臨時文件,考慮減少IO讀寫
6)有哪些可以採用緩存的方式
7)JVM調優、有那些對象不需要每次都加載、處理…
簽名算法
沒整理好,待補充
網絡傳輸
沒整理好,待補充
zip的壓縮與解壓
經過壓力測試,通過阿里的arthur工具包,發現在壓縮與解壓過程,耗時不遜於文件上傳下載。
這裏採用了not buffer copy、buffer copy、nio copy、nio mapped copy、nio pip copy這幾種方式來對比壓縮過程,文件流讀取
代碼遲點更新到github,待補充,各位看官稍安勿躁
異步調用
接口返回,就不採取同步了,而是提供一個返回的調用接口,執行完返回到這個回調接口,這種方式可以大大提升文件的併發吞吐量。
代碼遲點更新到github,待補充,各位看官稍安勿躁
臨時文件
考慮是web應用+內存,文件讀取遠遠沒那麼簡單,因爲不可能完全讓內存去直接對文件操作,所以需要將zip臨時存放在服務器上,而不是內存上。
同時如果是tomcat,還會有臨時目錄處理上傳文件,從接口上拿到的數據,並不是請求的數據,而是從tomcat臨時文件中再一次獲取的數據。
所以這裏有居多的IO操作
1)tomcat從獲取請求數據在臨時文件夾(地址:tomcat.tmp.path);
2)接口獲取臨時文件位置的數據,存放在配置上指定的文件夾(地址:config.file.path);
3)解壓文件,需要將這些files存放在又一個臨時文件夾(地址:unzip.files.path);
4)對這一個個文件進行一次頁面的簽名,防止文件篡改,簽完名,同時驗證簽名值存放臨時文件夾(地址:sign.files.path);
5)接着通過unzip對簽名文件進行壓縮到一個臨時文件夾(地址:sign.zip.path);
6)接口讀取該地址返回。
需要改造的方向:
1)將tomcat默認的臨時文件夾存放,通過springboot的配置改爲制定配置的位置
如果是用springboot2.x.x,那麼配置server.tomcat.basedir就行了
2)考慮響應式編程,對這個邏輯進行重新設計與重構,即解壓一個文件,就立馬消費(進行簽名+驗籤),接着在準備壓縮,一套流程走一起
… …
沒整理好,待補充
- 從性能測試的角度上看,需要測試什麼呢?吞吐量、一次請求的響應時間、併發用戶數、還有資源使用率,其中資源使用率,例如有CPU的使用情況(算法處理與常規運算),內存使用率(保證足夠大的空間能夠對單個文件進行處理),磁盤IO的處理(文件讀取與寫入)
資源使用命令
介紹完以上的一些調優方案,這裏介紹一些常用的常見的測試指標,來查看系統資源的命令(Linux)
CPU佔用率
vmstat 3
# 查看cpu最後一項,記錄us、sy、id的數據值
# us :用戶進程消耗的CPU時間百分比
# sy : 內核進程消耗CPU時間百分比
# id : CPU處在空閒狀態的時間百分比
# us+sy參考值爲80%,如果大於80%,說明可能存在CPU資源不足的情況
# 綜上所述,CPU性能評估中重點注意r、us、sy和id列的值。
或者採用top命令,可以觀察%CPU選項,輸入數字1可進行排序
內存使用率
top
# 控制檯上實時監控,查看Mem中從測試開始到測試各個階段使用的內存有多大,MEM佔比有多少,這裏可以輸入字母m來切換顯示模式
free
# 不會實時監控,只測試一次
網絡I/O
# eno1 爲使用的端口
dstat -t -clmnsyr --tcp --net-packets -N eno1
磁盤I/O
vmstat 3
# bi : 從塊設備讀入數據的總量,即讀磁盤,單位kB/s
# bo : 寫入到塊設備的數據總量,即寫磁盤,單位kB/s
使用iostat -d -x -k 1 2獲取磁盤IO的數據變化情況
未完待續,持續更新
性能測試工具
JMX的使用
配置JAVA或者是web容器裏的JAVA_OPTS類似的參數,指定JMX的
Jstat的使用
Jmeter
可視化zabbix
jmeter雖然也可以看,但是效果不佳