接口性能測試+調優+性能指標

前言

在對一個web進行性能測試過程中,需要開發者掌握一些概念,例如性能測試,到底要測試什麼?常見的測試指標有哪些?要怎麼做調優?
這裏分享一個案例。

案例

有一個接口,需要對上傳文件進行分析,流程是上傳一個zip文件,解壓後進行校驗,分析處理後,對文件進行簽名,同時返回前也會驗證簽名一次,再進行zip壓縮輸出,返回到平臺,有幾個重要參數,例如,文件摘要值、對文件操作的算法。

zip操作簡圖

初步解析

這個案例看完後,從開發的角度上看,我們可能會思考,哪一些步驟會出現哪一些瓶頸,哪一個步驟需要採用什麼角度來進行優化?
1)簽名所用到的算法,對算法調優,或者降低安全性選用低運算的算法
2)上傳大文件與下載大文件的網絡傳輸,與本地文件多次讀取的處理
3)多文件下,考慮zip的壓縮與解壓的調優處理
4)不考慮立即同步,是否可以採用異步調用的方式
5)web應用,tomcat容器對上傳文件存放在臨時文件,考慮減少IO讀寫
6)有哪些可以採用緩存的方式
7)JVM調優、有那些對象不需要每次都加載、處理…

簽名算法

沒整理好,待補充

網絡傳輸

沒整理好,待補充

zip的壓縮與解壓

經過壓力測試,通過阿里的arthur工具包,發現在壓縮與解壓過程,耗時不遜於文件上傳下載。
這裏採用了not buffer copy、buffer copy、nio copy、nio mapped copy、nio pip copy這幾種方式來對比壓縮過程,文件流讀取
zip壓縮策略
代碼遲點更新到github,待補充,各位看官稍安勿躁

異步調用

接口返回,就不採取同步了,而是提供一個返回的調用接口,執行完返回到這個回調接口,這種方式可以大大提升文件的併發吞吐量。
代碼遲點更新到github,待補充,各位看官稍安勿躁

臨時文件

考慮是web應用+內存,文件讀取遠遠沒那麼簡單,因爲不可能完全讓內存去直接對文件操作,所以需要將zip臨時存放在服務器上,而不是內存上。
同時如果是tomcat,還會有臨時目錄處理上傳文件,從接口上拿到的數據,並不是請求的數據,而是從tomcat臨時文件中再一次獲取的數據。
所以這裏有居多的IO操作
1)tomcat從獲取請求數據在臨時文件夾(地址:tomcat.tmp.path);
2)接口獲取臨時文件位置的數據,存放在配置上指定的文件夾(地址:config.file.path);
3)解壓文件,需要將這些files存放在又一個臨時文件夾(地址:unzip.files.path);
4)對這一個個文件進行一次頁面的簽名,防止文件篡改,簽完名,同時驗證簽名值存放臨時文件夾(地址:sign.files.path);
5)接着通過unzip對簽名文件進行壓縮到一個臨時文件夾(地址:sign.zip.path);
6)接口讀取該地址返回。

需要改造的方向:
1)將tomcat默認的臨時文件夾存放,通過springboot的配置改爲制定配置的位置
如果是用springboot2.x.x,那麼配置server.tomcat.basedir就行了
2)考慮響應式編程,對這個邏輯進行重新設計與重構,即解壓一個文件,就立馬消費(進行簽名+驗籤),接着在準備壓縮,一套流程走一起
… …
沒整理好,待補充

  1. 從性能測試的角度上看,需要測試什麼呢?吞吐量、一次請求的響應時間、併發用戶數、還有資源使用率,其中資源使用率,例如有CPU的使用情況(算法處理與常規運算),內存使用率(保證足夠大的空間能夠對單個文件進行處理),磁盤IO的處理(文件讀取與寫入)

資源使用命令

介紹完以上的一些調優方案,這裏介紹一些常用的常見的測試指標,來查看系統資源的命令(Linux)

CPU佔用率

vmstat 3
# 查看cpu最後一項,記錄us、sy、id的數據值
# us :用戶進程消耗的CPU時間百分比
# sy : 內核進程消耗CPU時間百分比
# id : CPU處在空閒狀態的時間百分比
# us+sy參考值爲80%,如果大於80%,說明可能存在CPU資源不足的情況
# 綜上所述,CPU性能評估中重點注意r、us、sy和id列的值。

vmstat查看CPU佔用率

或者採用top命令,可以觀察%CPU選項,輸入數字1可進行排序

top查看CPU佔用率

內存使用率

top
# 控制檯上實時監控,查看Mem中從測試開始到測試各個階段使用的內存有多大,MEM佔比有多少,這裏可以輸入字母m來切換顯示模式

free
# 不會實時監控,只測試一次

top查看內存使用率

free查看內存使用率

網絡I/O

# eno1 爲使用的端口
dstat -t -clmnsyr --tcp --net-packets -N eno1

dstat 查看網絡IO變化

磁盤I/O

vmstat 3
# bi : 從塊設備讀入數據的總量,即讀磁盤,單位kB/s
# bo : 寫入到塊設備的數據總量,即寫磁盤,單位kB/s

vmstat 查看磁盤IO變化

使用iostat -d -x -k 1 2獲取磁盤IO的數據變化情況

iostat 查看磁盤IO變化

未完待續,持續更新


性能測試工具

JMX的使用

配置JAVA或者是web容器裏的JAVA_OPTS類似的參數,指定JMX的

Jstat的使用

Jmeter

可視化zabbix

jmeter雖然也可以看,但是效果不佳
可視化zabbix

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章