PerfDog性能測試工具調研報告
當前iOS性能測試工具少，且每個工具或多或少存在弊端和缺陷，阻礙性能測試的正常進行和效率提升，今天帶來一款移動全平臺性能測試分析專業工具PerfDog性能狗，這款工具不受APP版本、系統版本、系統平臺影響，是一款完全獨立並且使用簡單的性能測試工具。即插即用，輕鬆獲得專業性能報告。下面通過三方面來介紹PerfDog這款性測試工具
ü iOS端性能測試工具介紹
ü 性能測試工具優缺點對比
ü 性能測試工具使用方法介紹
性能測試工具介紹
|
|
PerfDog |
GT |
Instruement/eclipse |
|
支持平臺 |
Android/iOS |
Android/iOS |
Android/iOS |
|
是否嵌入 |
否 |
是（SDK） |
否（Demo工程） |
|
是否root/越獄 |
否 |
否 |
否 |
|
測試指標 |
FPS、Jank、FTime、CPU、GPU、Memory、Battery 、Network |
CPU、Memory、Network、Battery、Battery Level |
CPU、Memory、Network、Battery等 |
|
是否連接PC/Mac |
有線/無線 |
無線 |
有線 |
|
對手機CPU影響 |
小於1% |
小於1% |
未知 |
|
可視化圖表 |
是 |
否（需手動生成圖表） |
是 |
|
測試數據編輯 |
支持 |
支持 |
不支持 |
|
雲端查看 |
支持 |
不支持 |
不支持 |
|
易用性 |
即插即用 |
需嵌入到SDK |
需打開相應工程、經常升級開發工具及系統 |
|
支持應用 |
手機安裝的所有應用 |
僅嵌入GT的應用 |
調試的應用 |
性能測試工具優缺點對比
- Xcode中的Instruement自帶的監測工具
優點：
任何iOS提測版本均可以測試，可圖形化的實時監測iOS性能數據
缺點：
性能測試的數據容易出現不準確；CPU&內存&流量(網速)無法同時監測(工具容易出問題影響測試效率)；只可展示短時間內的性能數據，長時間監測的圖形無法完整展示，且數據無法導出
- GT
GT（隨身調）是APP的隨身調測平臺，它是直接運行在手機上的“集成調測環境”。利用GT，僅憑一部手機，無需連接電腦，您即可對APP進行快速的性能測試(CPU、內存、流量、電量、幀率/流暢度等等)、開發日誌的查看、Crash日誌查看、網絡數據包的抓取、APP內部參數的調試、真機代碼耗時統計等。GT支持iOS和Android兩個手機平臺
優點：
可實時監測App的內存消耗、CPU佔用、網絡使用、電量使用情況等多項數據，並且實時保存這些數據，穩定性及數據可靠性高
缺點：
無法以圖形化方式實時展示性能測試情況，只能等待測試完成以後手動繪表查看，且測試前需告知研發提前將GT的Framework包嵌入到對應的測試demo版本中方可
- PerfDog性能狗
PerfDog性能狗是移動全平臺iOS\Android性能測試工具平臺，快速定位分析性能問題，提升APP應用及遊戲性能和品質，收集無需ROOT/越獄，手機硬件、遊戲及應用無需做任何更改，極簡化即插即用
優點：
Ø 支持移動全平臺： 支持Android/iOS移動平臺，提供PerfDog軟件Windows & Mac版本
Ø 無需ROOT/越獄：Android設備無需ROOT， iOS設備無需越獄
Ø 測試數據準確：工具CPU性能影響＜1%，保證性能數據準確真實性
Ø 測試數據完整全面： 輕鬆獲得 FPS、Jank、FTime、CPU、GPU、Memory、Battery 、Network、CTemp等性能參數
Ø 支持應用廣泛：支持所有APP應用、遊戲、小程序、小遊戲、H5、web
Ø 工具易用性高：無需安裝，即插即用，減少繁瑣的測試障礙
缺點：
PerfDog當前處於市場推廣階段，存在諸多Bug，測試一天下來發下的Bug就不下5個，如：
- 在Mac上執行時，如果Mac屏幕休眠後，手機會與該工具斷開連接導致測試中斷
- 在Mac上執行測試期間圖表顯示正常，但上傳到雲平臺後cpu或內存圖表無法展示，且單次測試時間越長越容易復現，已提交給他們的開發處理這個Bug
- 在雲平臺上對瀏覽器的分辨率適配不好，當測試時間超過10分鐘後，在雲平臺上無法展示完整的圖表，比如測試30分鐘，只顯示13分鐘的圖標數據，可通過放縮瀏覽器，改變mac分辨率等方式解決，但顯示有問題，已提交給他們的開發處理這個Bug
- 統計https的流量上行與實際值偏差大
- 測試數據保存本地時，經常出現PerfDog卡死
關於PerfDog的數據準確性驗證，在相同場景下，可採用不同的性能採集工具採集一組數據做比較，本人親測內存/cpu等數據差別不大
綜合對比，並整體使用感受來看，PerfDog使用方便、數據直觀、數據齊全，適合替代當前iOS端GT作爲後續性能測試的工具，但PerfDog存在如下風險：
- PerfDog當前存在Bug
- PerfDog存在收費風險
性能測試工具使用方法介紹
- GT及Instruement介紹
- PerfDog使用介紹
安裝方法
下面是Mac和Windows安裝包的下載地址：
https://perfdog.qq.com/?ADTAG=media.wetest.product.banner1
在Mac上安裝的是一個dmg文件，在PC上無需安裝，下載後解壓直接運行即可，這裏重點介紹在Mac上安裝的過程。
首先，打開雙擊打開安裝包，然後將解壓後的PerfDog.app文件拖到系統應用目錄下（訪達 -> 應用程序），
然後，在應用程序列表中打開PerfDog。需注意，在打開時可能會不允許打開，解決方法如下：
打開系統偏好設置 -> 安全性與隱私 -> 通用 -> 選擇“任何來源”
如果“通用”裏沒有“任何來源”這個選項，打開終端，然後運行如下命令：
- 顯示"任何來源"：sudo spctl --master-disable（運行這個命令）
- 隱藏"任何來源"：sudo spctl --master-enable
再在安全性與隱私中選擇隱私，點擊左下角的按鈕解鎖，然後在左側列表中選擇輔助功能，並在右側勾選PerfDog
此時就可以正常打開PerfDog 應用了
PerfDog界面展示
左側：用戶及退出按鈕、手機連接方式選擇框、被測應用選擇框，設備信息、參數設置等
中間：數據展示窗口，包括CPU Usage，Memory Usage，logcat日誌等
右側：文件存儲、雲端登陸、開始錄製，錄製選項等錄製按鈕
https://perfdog.qq.com/mydata/cases
準備與測試
- 插入手機等待識別
- 在手機連接方式中選擇連接方式
① 一般採用有線連接
② 如果測試功耗、耗電量，需採用wifi連接
- 選擇被測應用，當前應用列表中包含手機上安裝的所有應用，想找到被測應用實屬不易，已與PerfDog項目組提改進項，後續做兩個列表，一個是系統App列表，一個是用戶安裝App的列表，後續會有系統app與安裝app列表的區分，更容易在應用列表中查找到需要測試的應用
- 設置參數，也可選擇默認值
- 在手機上打開被測應用，查看PerfDog開始運行了，並可以實時查看CPU、內存信息
- 點擊錄製按鈕，結束後可上傳從錄製時間點開始之後的測試數據
注意事項：在PerfDog使用期間，如果電腦滅屏後，會導致手機與PerfDog之前斷開連接
解決辦法：
- 設置PC的休眠時間，打開系統偏好設置 -> 節能 -> 電源適配器，然後設置電腦進入修改的時間爲永不，顯示器進入休眠的時間改爲永不
- 設置一個腳本，每隔一段時間鼠標自動點擊屏幕一次，防止電腦休眠
- 結束錄製，點擊結束錄製按鈕，可彈窗提示修改文件名，並保存數據上傳
① 需要注意，錄製需要超過10秒，才能夠正常上傳該組數據
② Came name：文件名
③ Save path：保存路徑
④ Upload：上傳數據到雲端平臺，可通過雲端隨時隨地查看並分享給他人
⑤ Save：保存測試數據到本地，該步驟偶現保存數據時app卡死，測試時間長數據量大時易現，不建議開啓該功能
- 保存測試數據的方法有兩種，一種是第七步的錄製並保存，另一種方法是選中需要上傳的區域時間段，然後點擊鼠標右鍵並選擇Save
- 數據統計，當前會統計兩個維度的數據，一個是系統當前的總消耗，另一個是被測app的性能消耗，該問題已與PerfDog提改進項，後續只展示被測App的數據
雲端查看
瀏覽器進入雲端頁面，然後刷新頁面就可及時查看到上次上傳的數據統計分析及圖表展示，地址如下：
https://perfdog.qq.com/mydata/cases
- 在雲端可查看FPS、Jank、FTime、CPU、GPU、Memory、Battery 、Network等信息，比在Mac上的PerfDog界面查看的數據更詳細
- 存在問題：
- 易現上傳到雲平臺後cpu或內存圖表無法展示，單次測試時間越長越容易復現
- 雲平臺展示圖表不完整，需改變瀏覽器放縮比例的方式查看
3.可設置是否分享測試結果，如果開啓分享則他人可通過密碼查看分享的測試報告，分享測試報告到相應的團隊中則每個人都可以在雲端上隨時隨地查看到。
https://perfdog.qq.com/case_detail/279749 Password: FIghOA
4.可根據不同維度查找測試報告
5.可導出測試數據，對測試數據二次加工，然後再手繪測試表格
