Android自動化測試工具調研

 常見的Android測試框架

i.MonkeyRunner

l  什麼是MonkeyRunner

MonkeyRunner工具提供了一個API,使用此API寫出的程序可以在Android代碼之外控制Android設備和模擬器。通過MonkeyRunner,可以寫出一個Python程序去安裝一個程序或測試包,運行它,向它發送模擬擊鍵,截取它的用戶界面圖片,並將截圖存儲。

MonkeyRunner工具的主要設計目的是用於測試功能水平上的應用程序和設備,或用於運行單元測試套件。運行使用的Python腳本可以使用MonkeyRunner錄製或者手動編寫。

l  MonkeyRunner的測試類型

Ø  多設備控制

MonkeyRunner API可以跨多個設備或模擬器實施測試套件。可以在同一時間接上所有的設備或一次啓動全部模擬器(或統統一起),依據程序依次連接到每一個,然後運行一個或多個測試。也可以用程序啓動一個配置好的模擬器,運行一個或多個測試,最後關閉模擬器。

 

Ø  功能測試

MonkeyRunner可以爲一個應用自動貫徹一次功能測試。

 

Ø  迴歸測試

MonkeyRunner可以運行某個應用,並將其結果截屏與既定已知正確的結果截屏相比較,以此測試應用的穩定性。

 

Ø  可擴展的自動化

由於MonkeyRunner是一個API工具包,可以基於Python模塊和程序開發一整套系統,以此來控制Android設備。除了使用MonkeyRunner API之外,還可以使用標準的Python os和subprocess模塊來調用Android Debug Bridge這樣的Android工具。

l  如何使用MonkeyRunner

可以直接使用一個代碼文件運行MonkeyRunner。不論使用哪種方式,都需要調用SDK目錄的tools子目錄下的MonkeyRunner命令。如果提供一個文件名作爲運行參數,則MonkeyRunner將視文件內容爲Python程序,並加以運行;否則,只能使用cmd來運行。

i. Monkey

l  什麼是Monkey

AndroidSDK提供的命令行測試工具,可以運行在模擬器裏或實際設備。它向系統發送僞隨機的用戶事件流(如按鍵輸入、觸摸屏輸入、手勢輸入等),實現對正在開發的應用程序進行壓力測試,檢測程序多久的時間會發生異常。

l  Monkey程序介紹

Ø  Monkey程序由Android系統自帶,使用Java語言寫成,在Android文件系統中的存放路徑是:/system/framework/monkey.jar。

Ø  Monkey.jar程序是由一個名爲“monkey”的Shell腳本來啓動執行,shell腳本在Android文件系統中的存放路徑是:/system/bin/monkey;

l  Monkey命令的簡單幫助

要獲取Monkey命令自帶的簡單幫助,在CMD中執行命令:

adb shellmonkey –help

l  Monkey命令參數介紹

Ø  參數:-p

參數-p用於約束限制,用此參數指定一個或多個包(Package,即App)。指定包之後,Monkey將只允許系統啓動指定的APP。如果不指定包,Monkey將允許系統啓動設備中的所有APP。

* 指定一個包: adb shell monkey -pcom.htc.Weather  100說明:com.htc.Weather爲包名,100是事件計數(即讓Monkey程序模擬100次隨機用戶事件)。

* 指定多個包:adb shell monkey -pcom.htc.Weather --p com.htc.pdfreader  -p com.htc.photo.widgets 100

* 不指定包:adb shell monkey 100  說明:Monkey隨機啓動APP併發送100個隨機事件。

Ø  參數:-v

用於指定反饋信息級別(信息級別就是日誌的詳細程度),總共分3個級別,分別對應的參數如下表所示:

日誌級別 Level 0 示例 adb shell monkey -pcom.htc.Weather --v 100說明 缺省值,僅提供啓動提示、測試完成和最終結果等少量信息。

日誌級別 Level 1示例 adb shell monkey -pcom.htc.Weather --v -v 100說明  提供較爲詳細的日誌,包括每個發送到Activity的事件信息。

日誌級別 Level 2示例 adb shell monkey -pcom.htc.Weather --v -v --v 100說明  最詳細的日誌,包括了測試中選中/未選中的Activity信息。

* 示例:

Monkey測試1:adbshell monkey -p com.htc.Weather --s 100

Monkey 測試2:adbshell monkey -p com.htc.Weather --s 100 兩次測試的效果是相同的,因爲模擬的用戶操作序列(每次操作按照一定的先後順序所組成的一系列操作,即一個序列)是一樣的。

操作序列雖然是隨機生成的,但是隻要我們指定了相同的Seed值,就可以保證兩次測試產生的隨機操作序列是完全相同的,所以這個操作序列僞隨機的。

Ø  參數:-throttle

用於指定用戶操作(即事件)間的時延,單位是毫秒;

* 示例:adb shell monkey -p com.htc.Weather--throttle 3000

Ø  參數:-ignore-crashes

用於指定當應用程序崩潰時(Force & Close錯誤),Monkey是否停止運行。如果使用此參數,即使應用程序崩潰,Monkey依然會發送事件,直到事件計數完成。

* 示例1:adbshell monkey -p com.htc.Weather --ignore-crashes 1000測試過程中即使Weather程序崩潰,Monkey依然會繼續發送事件直到事件數目達到1000爲止;

* 示例2:adbshell monkey -p com.htc.Weather 1000測試過程中,如果Weather程序崩潰,Monkey將會停止運行。

Ø  參數:-ignore-timeouts

用於指定當應用程序發生ANR(Application No Responding)錯誤時,Monkey是否停止運行。如果使用此參數,即使應用程序發生ANR錯誤,Monkey依然會發送事件,直到事件計數完成。

Ø  參數:-ignore-security-exceptions

用於指定當應用程序發生許可錯誤時(如證書許可,網絡許可等),Monkey是否停止運行。如果使用此參數,即使應用程序發生許可錯誤,Monkey依然會發送事件,直到事件計數完成。

Ø  參數:-kill-process-after-error

用於指定當應用程序發生錯誤時,是否停止其運行。如果指定此參數,當應用程序發生錯誤時,應用程序停止運行並保持在當前狀態(注意:應用程序僅是靜止在發生錯誤時的狀態,系統並不會結束該應用程序的進程)。

Ø  參數:-monitor-native-crashes

用於指定是否監視並報告應用程序發生崩潰的本地代碼。

Ø  參數:-pet{+事件類別}{+事件類別百分比}

用於指定每種類別事件的數目百分比(在Monkey事件序列中,該類事件數目佔總事件數目的百分比)參數使用說明:

示例:--pct-touch {+百分比}

調整觸摸事件的百分比(觸摸事件是一個down-up事件,它發生在屏幕上的某單一位置)

adb shell monkey -p com.htc.Weather --pct-touch10 1000--pct-motion {+百分比}調整動作事件的百分比(動作事件由屏幕上某處的一個down事件、一系列的僞隨機事件和一個up事件組成)

adb shell monkey -pcom.htc.Weather --pct-motion20 1000--pct-trackball {+百分比}調整軌跡事件的百分比(軌跡事件由一個或幾個隨機的移動組成,有時還伴隨有點擊)

adb shell monkey -p com.htc.Weather--pct-trackball 30 1000--pct-nav {+百分比}調整“基本”導航事件的百分比(導航事件由來自方向輸入設備的up/down/left/right組成)

adb shell monkey -p com.htc.Weather --pct-nav40 1000--pct-majornav {+百分比}調整“主要”導航事件的百分比(這些導航事件通常引發圖形界面中的動作,如:5-way鍵盤的中間按鍵、回退按鍵、菜單按鍵)

adb shell monkey -p com.htc.Weather--pct-majornav 50 1000--pct-syskeys {+百分比}調整“系統”按鍵事件的百分比(這些按鍵通常被保留,由系統使用,如Home、Back、Start Call、End Call及音量控制鍵)

adb shell monkey -p com.htc.Weather--pct-syskeys 60 1000--pct-appswitch {+百分比}調整啓動Activity的百分比。在隨機間隔裏,Monkey將執行一個startActivity()調用,作爲最大程度覆蓋包中全部Activity的一種方法

adb shell monkey -p com.htc.Weather--pct-appswitch 70 1000--pct-anyevent {+百分比}調整其它類型事件的百分比。它包羅了所有其它類型的事件,如:按鍵、其它不常用的設備按鈕、等等

adb shell monkey -p com.htc.Weather--pct-anyevent 50 --pct-appswitch 50 1000 指定多個類型事件的百分比

注意:各事件類型的百分比總數不能超過100%;

l  Monkey和MonkeyRunner的區別

Ø  Monkey:
    Monkey工具直接運行在設備或模擬器的adb shell中,生成用戶或系統的僞隨機事件流。

Ø  MonkeyRunner:
    MonkeyRunner工具則是通過API定義的特定命令和事件控制設備或模擬器。

ii. Native Driver

l  編譯源代碼生成jar包

http://code.google.com/p/nativedriver/wiki/AndroidMakeAnAppTestable下載源代碼,編輯生成jar包,肯定會用到的另兩個jar包爲server-standalone.jar和client-standalone.jar。兩個jar包一個是用在server端,就是在被測應用中,一個是用在client端,就是我們寫測試代碼的測試程序中

l  被測應用加入jar包以及修改配置

把server-standalone.jar加入到被測的應用中,同時被測應用的AndroidManifest.xml文件中需要加入如下的權限
<instrumentation android:targetPackage="com.*.*"
android:name="com.google.android.testing.nativedriver.server.ServerInstrumentation"/>
<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.WAKE_LOCK" />

l  安裝Apk

拿到了加入jar包和修改配置文件的apk文件之後必須的得安裝了,我這邊就安裝在模擬器中安裝命令:

adb install **** 

通過查看nativedriver,該框架測試程序與被測應用的通信是通過http來進行的,server端會有一個jetty服務器來監聽測試程序發送過去的命令,那必須的測試之前就需要啓動服務了,進入cmd中,輸入下面的命令即可:

Ø  com.xxxxx是被測程序的包名,不同測試程序換一下即可:

adb shell am instrument com.*.*/cServerInstrumentation

Ø  啓動的通信端口,默認的都是用的這個端口

adb forward tcp:54129 tcp:54129
這兩條命令後續會放入到testng的beforesuite中

l  搭建測試程序

通過上面的步驟,被測程序已經被準備好。開始我們寫測試程序,nativedriver通過http發送消息去server端,所以我們的測試程序新建的時候只需要新建一般的java工程即可,通過也不需要一定使用Junit,可以使用TestNG 來進行測試。通過eclipse新建一個一般的java工程,加入client-standalone.jar包,用於和server端進行通信,如果要用到TestNG當然還需要加入TestNG的jar包。

l  元素識別

登錄功能一般就是輸入用戶名、密碼,點擊登錄按鈕。一般的UI自動測試的話很重要的一點就是元素的獲取,android中提供了一個叫做hierarchyviewer的工具,可以識別android的控件元素,該工具是在android SDk安裝路徑的tools目錄下,下面會有一個hierarchyviewer.bat文件。

l  運行

通過Eclipse編譯,無須安裝額外的APK,通過電腦端client向手機端發送http請求。

iii.Selenium

l  如何配置

下載Selenium IDE,用於在FireFox上錄製Selenium腳本(html),並且可以將Selenium腳本(html)Export爲JUnit 4 /WebDriver或其它語言的代碼。

下載Test Suite Batch Converter,用於擴展Selenium IDE的Export功能。也是FireFox的plug。

下載selenium-server-standalone-2.25.0.jar,JUnit工程需要的libs。用於向WebDriver發送命令。

下載android-server-2.21.0.apk,安裝在android手機上,用於接收、處理selenium客戶端傳來的各種命令。

打開FireFox,通過Selenium IDE錄製測試腳本,保存爲DemoDroid.html,並運行一下。然後在SeleniumIDE->File->Batch convert test cases->Java/ JUnit 4/ WebDriver,保存爲DemoDroid.java。

新建一個java工程SeleniumDemo。導入libs(selenium-server-standalone-2.25.0.jar)。將DemoDroid.java 拷進src裏。

安裝android-server-2.21.0.apk到手機上(2.3.x以上)。並運行。在電腦上cmd輸入:adb -s XXXXforward tcp:8080 tcp:8080在電腦上Run DemoDroid.java上Run as JUnit Test。

l  適用範圍

基於手機瀏覽器的webview自動化測試,目前不支持客戶端的自動化測試。

iv.基於Instrumentation

l  Robotium

Robotium是一款測試Android  App的測試框架,它使得編寫黑盒測試代碼更加容易和穩定。它其實是對android自帶測試類Instrumentation的一個封裝,方便於測試人員直接調用封裝好的接口。通過使用Robotium,測試用例開發人員能夠跨越多個Activity,開發出功能,系統以及驗收測試用例。如果你能夠拿到代碼,你可以直接進行白盒測試,比如assert一下當前的activity,操作的結果對不對等等,都可以驗證。對Instrumentation的引用實現對程序的控制,能夠編寫出功能強大,健壯性很強的黑盒測試用例。並且還能夠跨越多個Activity進行測試。

實現方法:

1. 創建Android測試工程,

2. 修改AndroidMainfest.xml

3. 在測試類中增加setup/teardown方法

	public Testcase001_Login() throws ClassNotFoundException {
		super(Class.forName(Data.Init_Data.LAUNCHER_ACTIVITY_FULL_CLASSNAME));
	}

	@Override
	public void setUp() throws Exception {
		solo= new Solo(getInstrumentation(), getActivity());	
	}

4 .編寫測試用例

	public void testcase002_Login_WrongMail() {
		username = Data.TestData.WRONG_USERNAME;
		password = Data.TestData.PASSWORD;

		assertTrue(loginfunction.Login_WrongMail(username, password));
	}

5 .運行

Run AsAndroid Junit

v.淘寶Athrun

淘寶的開源測試框架,原理與Robotium類似,使用Android自身的Instrumentation框架實現對程序的控制。通過更加細緻的封裝,實現了更多的功能。

具體實現方法和Robotium一致。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章