“從測試用例看測試的問題及變化”文章分析


“從測試用例看測試的問題及變化”文章分析

作者: aken   來源: Testage測試時代


以下是我要分析的原文:
-------------------------------------------------

測試用例看測試的問題及變化

來自:csdn的conanpaul

對於一個測試人員來說測試用例的設計編寫是一項必須掌握的能力。但有效的設計和熟練的編寫卻是一個十分複雜的技術,它需要你對整個軟件不管從業務還是從功能上都有一個明晰的把握。

一、問題:
許多測試類書籍中都有大幅的篇章介紹用例的設計方法,如等價類劃分邊界值錯誤推斷因果圖等。但實際應用中這些理論卻不能給我們很明確的行爲指導,尤其是業務複雜,關聯模塊緊密,輸入標準和輸出結果間路徑衆多時,完全的遵循這些方法只能讓我們在心理上得到一種滿足,而無法有效的提高測試效率。有時我們只有依靠以前項目的用例編寫經驗(或習慣),希望能在這一個項目中更加規範,但多數情況下我們規範的只是“書寫的規範”,在用例設計上以前存在的問題現在依舊。

當好不容易用例基本完成,我們卻發現面對隨之而來的衆多地區特性和新增需求,測試用例突然處於一種十分尷尬的境地:
 從此幾乎很少被執行
 已經與程序的實現發生了衝突(界面變動,功能變動)
 執行用例發現的bug很少
 根本沒有時間爲新的功能需求增補用例
 有時間補充,但用例結構越來越亂,
 特性的用例與通性用例之間聯繫不明確(以新增需求爲主線列出所有涉及到的更改,但特性與通行之間的數據或業務聯繫在用例中逐漸淡化)
 知道怎樣執行這個用例,但它要說明什麼呢?(多數用例給我們的感覺是只見樹木,不見森林,只對某一功能,無法串起)
通過上面的一系列問題可以看到,似乎測試用例給我們帶來的問題遠多於益處,也正是因爲在實際過程中遇到的問題積累,導致我們有很充分的理由忽視或拒絕用例的應用。
但沒有用例或簡略用例的編寫我們又會舒服很多麼?不言自明,誰也不想倒退發展吧。

二、原因:
事實上我們在測試用例編寫和設計上遇到的一系列問題只是一種表面的呈現,究其原因我認爲有如下幾點:

1、沒有適合的規範
“適合的規範”或稱“本地化的規範”。這是我們在測試過程中遇到的第一個問題,通常也是很容易習慣且淡忘的。我們擁有相當多的流程文檔、書本上的定義,但它適合我們當前的項目麼?
每一個測試工程師在進入這個職業的初期都會了解一些測試上的概念和術語,進入公司或項目組後也會進一步學習相應的文檔,例如怎樣規範編寫,怎樣定義bug級別,軟件實現的主要業務等。但當測試經理開始給我們分配某一模塊的用例編寫時,又有多少人知道該怎樣去寫,怎樣寫算是好?
在測試論壇中常能看到介紹用例編寫方法的帖子,而迷茫於怎樣應用到實踐的回覆也不爲少數。爲何我們無法在公司和項目組內找到明確且適合的規範?於是我們只得選擇從書本或之前的用例中複製,不管是結構還是方式都依賴於以往•的經驗,我並不是說這樣就是錯誤的,但不能總結成文的經驗無法給予測試更多幫助。
我們有太多經驗,但卻沒有形成適合的規範。

2、功能與業務的分離
我們知道怎樣列舉一個輸入框的用例,但卻很少考慮說明這個輸入框是用來做什麼的,如果仔細分析不難發現,用例中這種功能與業務的分離越來越普遍也越來越明顯。
邊界值等價類劃分因果圖,這些用例方法是一種高度提純的方法,本身就很偏向於功能及代碼,所以怎樣編寫業務的用例我們就從理論上失去了參考。
複雜的業務會貫穿於整個軟件,涉及衆多功能點,裏面組合的分支更不可勝數。測試用例務求簡潔、明確,這一點也與業務“格格不入”。功能用例依賴程序界面,業務描述依賴需求文檔。於是我們更偏向於根據已實現的界面編寫功能用例,列舉出衆多的邊界值、等價類。流程的操作只有憑藉經驗和理解,這時測試出的bug是最多的,但我們卻無法使這個bug對應到一個用例中(點擊一個按鈕報出的錯誤有時原因並不在這個按鈕或按鈕所在的窗體)。正因爲我們沒有很好的積累業務上的用例,才使得我們感到執行用例時發現的bug不多。
用例結構的劃分一定程度上也造成了功能和業務的分離,依照界面模塊建立文件夾,並在其中新建不同用例,這使得用例從結構上就很難聯通起來。

3、測試未能跟上變化
變化!想象一下,當我們越來越多的聽到開發人員在那裏高呼“擁抱變化”“敏捷開發”的時候,測試又有什麼舉措呢?當地區特性,軟件版本越來越多的時候,測試是否在積極響應呢?變化是我們面臨的最大挑戰,我認爲測試未能跟上變化是造成測試過程中遇到種種問題和矛盾的主要原因。
對需求和程序的變化測試人員的感受是非常深的,測試總是跟在需求和開發後面跑,使得所有風險都壓在自己身上。不斷壓縮的時間和資源使我們只能放棄那些“不必要”的工作:儘快投入測試,儘快發現bug,而非從整體把握軟件的質量情況,統籌策略。
疲於應對的直接影響就是程序質量無法準確度量,進度無法控制,風險無法預估。用例與程序脫節,新增用例混亂和缺少。長此以往我們只得放棄修改、增補用例,甚至放棄之前積累的所有成果。用例變爲程序變更的記錄摘要,沒有測試數據的保留,測試步驟和重點無法體現,新加功能與原來的程序逐漸“脫離”,可能還會出現相互違背的情況,但這我們卻無法很快發現。
永遠是變化決定我們的下一步工作,這也是混亂的開始。

三、可能的解決辦法:
在這裏我希望以探討的方式提出一些可能的解決辦法,因爲上面的問題也許在成熟的公司和項目組內很少遇到,而遇到問題的也需根據不同的情況單獨考慮。不用拘泥形式,最適合的就是最好的。

1、測試驅動開發,用例指導結果,數據記錄變化
“測試驅動開發”(TDD)是一個比較新的概念,在網上可以看到很多介紹文章,它主要討論如何讓開發的代碼更奏效(Work)更潔淨(Clean),“測試驅動開發的基本思想就是在開發功能代碼之前,先編寫測試代碼”。可以看到,TDD是建立在“代碼”級別的驅動,但目前我們需要探討的問題是怎樣在黑盒測試中做到“測試驅動開發”。
首先我們需要糾正一個態度,很多人認爲黑盒測試的技術含量不高,可思考可拓展的內容不多,主要的工作就是用鼠標在那裏瞎點,於是很多“高級”的技術方法都試圖與黑盒測試劃清界限。但測試人員發現的bug有80%以上都是黑盒測試發現的,手工操作軟件仍是目前檢驗軟件質量最有效的一種方法。
如何在黑盒測試中做到測試驅動開發?我認爲可以從用例級別做起,以業務用例指導過程和結果。
開發人員通常比較關注技術,對於業務上的理解容易忽視並出現偏差,而需求文檔又不會很明確的指出應該實現怎樣的結果,這使得從業務到功能出現一個“閱讀上的障礙”,如果最後程序錯誤了還需返工,這樣耗費的人力物力就非常大了。使用業務用例驅動開發,就是一個比較好的方法,同樣這也需要運用測試中的各種方法,列舉出業務流程裏數據的等價類和邊界值。
業務用例的構造要先於程序實現,與需求和開發人員溝通一致,並以此作爲一個基準,保證程序實現不會錯,還能對整個軟件的進度和質量有一個很好的估計和度量。業務用例可以不關注程序的界面,但一定要有數據的支持。這就是測試主導變化的另一點“數據記錄變化”。
我們不僅要應對變化,還要記錄變化,使測試用例成爲對程序持續性的監控,數據可以作爲最基本、最簡單的支持。當一個業務很複雜時可以拆分成段(業務段與程序中以窗體或頁面的劃分是不一樣的),使用典型的用例方法列出實際輸入和預期結果。我們希望數據能做到通用和共享,最理想的情況就是建立一個“數據庫”,每個業務用例都從“數據庫”中取得輸入數據和預期結果,這個數據只是針對業務入口和出口的,當程序內部設計變更時,保留的數據不會因此而作廢。舉一個例子,例如我的程序要從某種文件中讀取數據並計算結果,一段時間後程序內部字段增加了,如果是以保存的文件附件方式提供數據,則現在程序很可能就打不開這個文件了。使用“數據庫”指導測試人員可以在變化的程序裏直接針對業務輸入,而不關心程序內部結構。
再進一步的話“數據庫”就開始涉及到程序內部的接口了,這需要開發人員的配合。

2、爲用例標明時間(版本)和優先級
爲測試用例標明時間或版本可以起到一種基準的作用,標明項目進度過程中的每一個階段,使用例直接和需求基線、軟件版本對應。同樣這需要規範流程,也是對變更的一種確認和控制。或者可以爲用例增加一個狀態,指明這個用例目前是否與程序衝突,當程序變更時改變用例的狀態,並更新用例版本。
爲測試用例標明優先級可以指出軟件的測試重點、用例編寫的重點,減少用例迴歸的時間,增加重點用例執行的次數,幫助項目組新人儘快瞭解需求,在自動化測試的初期也可以參考這個優先級錄製腳本。

3、功能用例業務用例分開組織
將功能用例與業務用例分開組織,按照不同關注點列舉執行路徑。業務用例應在開發前或同期編寫,幫助測試人員和開發人員明確業務,瞭解正確流程和錯誤流程。功能用例更依賴於程序界面的描述,但功能用例並不等於使用說明。對某些模塊的等價類、邊界值測試會發現很多嚴重的bug,也許與業務無關,但用戶往往很容易這樣操作(例如登錄名,你是否考慮到很長的名字,或者用戶的鍵盤有問題,總是敲入n多空格在裏面,這與業務無關,但程序將會怎樣處理?)。

4、審覈用例,結對編寫
測試組長或經理對用例進行審覈可以做到用例的補充和校對,但一般情況下是很難做到的,我們可以採用另一種方法,就是結對編寫測試用例(前提是你有兩個以上的測試人員),內部審覈。
測試用例不是一個人編寫一個人執行,它需要其他測試人員都能讀懂且明白目標所指。結對編寫可以儘量減少個人的“偏好習慣”,同時也能拓展思維,加強測試重點的確認,小組內部達到統一。一定程度上結對編寫也可以減少組長或經理對用例的管理,提高組員的參與積極性。

四、發展
上面的這些解決方法只是一種建議,具體怎樣實施到項目中還需根據情況而定。可以看到測試的發展方向是很多很廣的,傳統的黑盒測試並不是毫無新意,測試工作怎樣適合我們而發展,將給予我們更多的思考。
--------------------------------------------------
--------------------------------------------------
上面的文章是我從csdn上轉貼過來的,我覺得文章寫的很好,呵呵,至少與我當初的想法比較吻合。
--------------------------------------------------
3、功能用例與業務用例分開組織
將功能用例與業務用例分開組織,按照不同關注點列舉執行路徑。業務用例應在開發前或同期編寫,幫助測試人員和開發人員明確業務,瞭解正確流程和錯誤流程。功能用例更依賴於程序界面的描述,但功能用例並不等於使用說明。對某些模塊的等價類、邊界值測試會發現很多嚴重的bug,也許與業務無關,但用戶往往很容易這樣操作(例如登錄名,你是否考慮到很長的名字,或者用戶的鍵盤有問題,總是敲入n多空格在裏面,這與業務無關,但程序將會怎樣處理?)。
-----------------------------------------------
上面的說明我比較贊同,因爲目前來講,軟件測試設計的方法確實是是一種高度提純的方法,一般來講確實是可以針對非常具體的功能(例如:輸入框)來指導編寫測試用例,其實也可以上升到整個業務或者功能層面,也就是說可以分爲狹義和廣義來理解,對於大的功能和一些複雜的業務來講,可以使用測試用例 設計方法廣義的思想,但是這個可以就是需要一定的經驗了。
   
我認爲測試用例設計除了需要掌握基本的一些測試用例方法和實際的一些測試案例(特指一些基本的例如輸入框怎麼進行測試用例設計),最主要的是測試用例設計思想的或者說測試用例設計思維的一種訓練,在沒有正規的訓練中,我們可能就覺得經驗多了就會設計的,這恰恰說明測試用例設計是一種鍛鍊或者說是訓練。
很多人進行測試用例設計時,主要表現爲“無從下手”,作爲無從下手可以從三個方面來說明:

第一個,對系統整體的不瞭解,造成對自己負責的模塊沒有系統的理解,而且更不太清楚自己負責的模塊從哪裏入手寫測試用例,是整體寫一個測試用例還是要寫多個,是否要分類,怎麼分類,具體到多細。

第二個,不知道掌握的測試用例的方法該怎麼用,該在什麼時候用,哪些或者哪種類型的功能或者業務使用哪種測試用例設計的方法,如果是綜合使用,那就更暈了。

第三個,可以寫測試用例了,寫到什麼程度要符合要求,寫到多細算是符合設計要求,是一個需求寫一個測試用例,還是多個需求寫一個測試用例等等。

 寫好測試用例,主要要解決的是上面三個方面的問題。個人觀點,歡迎交流。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章