作爲一名優秀的測試工程師,如何完成一份完美的測試報告

之前討論瞭如何完成一次雲壓力測試,也介紹瞭如何利用睿象雲旗下產品:雲壓力測試平臺(CPT)完成雲壓力的測試,這次我們就來詳細的介紹下測試報告。

測試報告可以說是測試工作中最重要組成部分,通過測試報告可以分析和總結最優測試結果,測試出問題後調整被測服務再繼續壓測,對比測試結果查看調優結果。

睿象雲的雲壓力測試平臺的測試報告中共包含: 01-測試報告選擇區; 02-實時執行結果數據; 03-操作工具欄; 04-虛擬用戶彙總區; 05-基礎圖表彙總區; 06-執行信息; 07-測試詳細數據。

測試報告選擇區

· 點擊需要查看的測試任務,點擊任務列表右側的 展開 按鈕,默認查看該測試任務下第一個測試報告,點擊列表中其他報告可以切換報告;

· 如報告需要刪除,點擊報告列表右側的 刪除 按鈕,刪除該報告。

實時執行結果數據

在任務執行過程中,實時執行結果數據按照 測試任務 - 運行參數 中設置的刷新頻率實時刷新數據;任務結束後,實時執行結果數據中的數據爲計算後的平均值。

實時執行結果數據共包含四部分指標:

· 每秒點擊數(HPS): 任務中被選中的壓力測試節點每秒訪問被測服務的Request請求數量;

· 每秒事務總數(TPS): 每秒事務總數包括同一任務中所有腳本中自定義事務在相同時間點1秒內執行次數的總和,單獨腳本可以定義多個事務,一個任務也可以同時執行多個腳本,自定義事務數量爲每腳本事務數*腳本數量;

· 每秒吞吐量: 實時顯示被測服務端回送數據量大小,默認單位MB;

· 每秒錯誤率: 實時顯現測試過程中出現的全部錯誤百分比,包含連接類錯誤、HTTP標準響應碼錯誤、用戶數據檢查點錯誤.

操作工具欄

· 操作工具欄左端顯示任務執行狀態,執行狀態包括: 1:執行中; 2:結束; 3:審覈中; 4:審覈通過; 5:審覈未通過; 6:任務執行失敗;

· 操作工具欄右端顯示: 統計分析, 導出報告, 報告比對, 數據聯動, 添加圖表。其中 統計分析,導出報告,報告比對只有任務結束後纔可以點擊;

· 任務執行過程中,如果想停止任務, 可以點擊 停止 按鈕,停止任務;

· 點擊 數據聯動 按鈕, 虛擬用戶彙總區和基礎圖表彙總區會聯動展示同一時刻的數據;

· 點擊 導出報告 按鈕, 瀏覽器新開TAB頁顯示導出報告預覽頁面,頁面可以編輯後保存和導出;

· 點擊 報告比對 按鈕, 彈出選擇對比報告頁面,選擇後瀏覽器新開TAB顯示導出報告預覽頁面,頁面中包含報告比對結果數據,報告可以編輯後保存和導出。

虛擬用戶彙總區

虛擬用戶彙總區中共包含三部分運行曲線數據:虛擬用戶加載曲線; 每秒事務數曲線: HTTP響應數曲線(服務端響應測試端請求的回送數據)

基礎圖表彙總區

基礎圖表彙總區可添加刪除需要展示的圖表。

· 點擊操作工具欄右側的 添加圖表 按鈕,彈出添加圖表指標頁面,添加的圖表類型包括:基礎指標、事務類指標、監測類指標三個部分;

添加圖表後展示效果如下:

添加圖表後如刷新頁面,新添加的圖表不會保存,需要重新手動添加

執行信息

執行信息中展示當前執行任務的場景名稱、執行時間、用戶數量、執行週期、調用資源區域等綜合類信息

測試詳細數據

測試詳細數據展示以下幾個部分內容:

· 全國數據: 當選擇多個區域時全國數據爲多個被選區域數據的平均後取值,可以作爲基線參考數據;

· 區域數據: 如下圖北京阿里雲,顯示當前調用的北京阿里雲節點的測試過程數據;

· 標識說明: S-Script腳本,T-Transaction(事務),E-Element(元素)腳本內最小單位,一個獨立URL請求,出現多個腳本時,腳本會依次排列自動展示;

· 響應時間: 分爲TP99響應時間、TP95響應時間、TP90響應時間、平均響應時間、最大響應時間、最小響應時間,測試結束時測試任務的響應時間數據會自動計算輸出。(TP-Top Percentile,TP90:90%請求都能被服務端返回響應數據的最小耗時);

· 執行計數: 總計,顯示每個類型執行內容的累加值; 成功,顯示每個類型執行內容的成功累加計數; 失敗,顯示每個類型執行內容的成功累加計數; 失敗率,顯示每個類型執行內容的失敗百分比;

· 告警計數: 默認狀態下,HTTP協議類型腳本中訪問的靜態資源數據出現錯誤時統計爲告警,POST請求和頁面端主請求出現錯誤時統計爲錯誤計數,此內容可在參數設置中修改;

· 檢查點計數: 檢查點統計前提條件,在訪問服務過程中腳本頁單獨編輯了特定的回送報文檢查內容,每次與服務器交互過程中檢查服務端返回的數據是否包含特定的檢查數據,總計,每執行一次檢查過程累加一次計數,成功,返回值中包含檢查內容表示爲成功,失敗,返回值中不包含檢查內容表示爲失敗;

· 消息計數: 當使用WebSocket、MQTT協議時,消息計數會統計消息成功接收的數量,總量,消息成功接收的累加值,重連次數,消息沒有接收成功的重試連接累加次數.

以上就完成了測試報告的介紹,更多功能體驗,歡迎訪問睿象雲官網~

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章