多位從業多年的測試工程師經驗彙總，說起來都是一部血淚史。
不切實際的期望– 100％自動化
最初的測試自動化失敗是從不切實際的期望中獲得的。在我的職業生涯中，我已經多次觀察到它，一旦您獲得了自動化的質量保證或工作人員，管理層就期望他們對所有內容進行自動化測試。儘管聽起來很令人愉悅，但這是不可能的。您不能進行100％的自動化測試，因爲在少數幾個領域必須進行人工檢查。這些領域之一可能與您的Web應用程序的可訪問性有關。
例如，如果您正在執行自動跨瀏覽器測試，則用於Selenium測試的自動化腳本將在不同的瀏覽器或操作系統上呈現網頁的顯示。但是，要確定網站是否按照設計進行渲染，版式是否合適，文字是否合適，最好手動評估
自動化什麼以及自動化多少？
許多組織確實意識到期望進行100％自動化測試的問題陳述，但通常會遇到以下問題。我們可以實現什麼自動化，如果不是100％，那麼我們可以爲Web產品實際實現多少自動化？
沒有適用於每個企業的自動化測試覆蓋率的完美百分比或近似值。這完全取決於您所提供的Web應用程序，並且由於不同的企業正在滿足不同的需求。自然而然地，人們會對圍繞自動化測試實際能實現的自動化測試百分比抱有獨特的期望？自動化測試的範圍將從電子商務Web應用程序到靜態，動態或動畫Web應用程序有所不同。因此，如果您想知道爲什麼自動化測試對您的組織失敗？然後，我建議您根據所提供的Web應用程序的類型來評估所需的自動化測試量。
管理不當導致測試自動化缺乏可見性
在我作爲自動化測試員開始IT生涯時，我就一直是管理不當的受害者。我當時在一家基於Service的公司工作，他們爲我分配了我的第一個項目。這個項目已經運行了兩年，當我加入後，我被交給了一系列測試自動化腳本。項目的高層將要離開組織，管理層對即將到來的衝刺太忙了，無法考慮將要離開的高級自動化測試人員進行的全面知識轉移課程。他們離開後發生的景象不佳？我的經理在聽證會的結尾說，我們因停電而大吃一驚，而我剛起步，對各種出站和入站流程如何受到衆多自動化腳本的影響的瞭解最少。然而，
我見過一些由少數成員負責實現自動化的團隊，而其他成員則對正在發生的事情一無所知。
您是否認爲當一半的團隊缺乏可見性時，從自動化測試中獲得魔術效果是不現實的嗎？由於自動化必須是一個協作的工作，因此對每個團隊成員進行相關工具和流程的教育非常重要，尤其是對新手而言。您可以通過舉行團隊會議和會議來討論與自動化有關的工具，趨勢和實踐，從而實現這一目標。
對手動測試或探索性測試不瞭解
這可能會讓您有些驚訝，測試自動化失敗的另一個原因可能是缺少手動測試技能或探索性測試技能。自動化測試腳本並不意味着團隊成員可以減少一些懈怠。到目前爲止，我們已經知道，自動化方法不能涵蓋所有內容，而這正是挑戰所在。因爲現在您必須更深入地研究Web應用程序，並找到隊友尚未發現的關鍵測試方案。
自動化是節省測試工作的一種方式。軟件公司應該使用它來最大程度地減少重複，並僅使那些不易更改的元素自動化。一旦完成，公司應該分配他們的資源來執行廣泛的手動測試或探索性測試，以找到獨特的測試用例。
不仔細考慮並編寫腳本
自動化似乎是減少工作量的一站式目標。但是在開發測試自動化腳本之前，必須考慮周全。此外，這可能會花費大量的自動化測試執行時間。框架和測試自動化工具的靈活性在開發腳本場景所需的時間中起着至關重要的作用。
由於每種情況都不同，因此必須編寫腳本。即使您仔細考慮，如果不編寫腳本腳本，這都是浪費。確保測試工程師的編碼技能與測試的複雜性保持一致。複雜的測試需要大量時間才能實現自動化。因此，隨着全新功能的發展，他們通常沒有機會發現迴歸錯誤。在寫下測試方案之前，請確保牢記這些注意事項。
對何時使用自動化以及何時不使用自動化缺乏理解！
“ 爲什麼測試自動化對您的公司失敗？ ”背後的最常見原因？”是人們不知道什麼時候應該自動化，什麼時候不知道。例如，可以自動化不同的網頁功能。但是通過測試自動化評估填充，圖像等渲染問題不是一個好主意。如果使用座標來確定元素位置，則在以不同的屏幕分辨率和大小運行時，可能會導致差異。
在測試易於進行大量更改的項目時，使用自動化是不可行的。如果您要測試穩定的實體，那麼自動化是必經之路。基本上，需要重複執行某些操作的普通任務最適合自動化測試。因此，測試自動化可以簡化您的迴歸測試過程。
人員和資源計劃選擇不當
我看到IT行業普遍存在錯誤觀念。人們認爲任何開發人員或測試人員都可以執行測試自動化。測試自動化的設計，配置和實施需要特定的技能。執行自動化的測試人員應該知道如何在經理，開發人員和客戶之間闡明想法。他/她還應該對開發趨勢有清晰的瞭解，並且應該知道開發團隊要去的方向。
自動化測試工程師是最困難但重要的一些人。爲了啓動各種自動化項目，聘請具有廣泛技術知識的測試人員至關重要。整個團隊應該知道發生了什麼，而不是由一個或幾個人進行自動化測試。即使在僱用技術精湛的員工方面投入很高，但回報還是值得的。
沒有足夠注意測試報告
由於自動化測試是一個相對較新的現象，因此失敗的可能性很高。測試團隊進行的新實驗太多，因此準確分析結果變得很重要。進行測試後，測試人員必須做出詳盡的測試報告。但是，這就是測試自動化對您而言失敗的原因！您的團隊沒有對測試報告分析給予足夠的重視。如果執行不當，分析可能會導致無人看管的故障，並浪費時間，資源和精力。
在自動測試中，有些測試成功，有些失敗。因此，必須檢查測試報告是否有故障並分析某些測試失敗的原因。最好手動進行分析，以發現真正的故障。揭露隱藏的問題並確保它們不會被其他問題掩蓋而被忽略是至關重要的。
自下而上的方法來定義您的自動化目標
設置太高而不能成爲自動化的真正目標，在紙面上似乎很完美。但是，在執行步驟時，團隊成員之間嚴重缺乏清晰度。最大的問題是目標不明確。他們缺乏從自動化中獲得真正價值的準確性和準確性。大多數公司所做的是，他們開始將非常複雜的事情自動化，並最終重構整個框架。結果，團隊最終會浪費大量時間，金錢和精力。
您可以通過從小處着手並逐步提高複雜性來消除不確定性。選擇穩定的功能，並從其自動化開始。之後，收集反饋以確定出了什麼問題。一旦您的測試達到一致性，就可以繼續使用其他功能。對於不同的項目環境，需求可能會有所不同，因此請使用自定義方法進行測試自動化。
選擇合適的工具進行高效有效的測試
在擁有大量自動化工具的情況下，有時候選擇最佳工具變得充滿挑戰。最終目標是改善整體測試程序並滿足實際要求。但是大多數團隊都無法從頭再來，也沒有挑選出最適合其測試需求的工具。毫無疑問，自動化測試高度依賴於您決定繼續使用的工具。每個工具都有特定的功能。但是，團隊缺乏充分利用這些功能所需的專業知識水平。
此外，公司陷入了對特定工具的炒作。但是在選擇它之後，他們意識到它並沒有提供他們希望獲得的一切。另外，每個團隊都有預算，有時該工具的成本超出了預算。在繼續選擇炒作工具之前，請仔細列出要求。之後，確定您對該工具的期望。在設定目標時要非常具體，並檢查與產品用戶接受標準的對應關係。您也可以諮詢有使用這些工具經驗的專家。
忽略假陰性和假陽性
幾乎每個組織都經常觀察到這一點。一旦自動化測試套件準備就緒並且工作正常，管理就開始放鬆。他們開始放寬對測試執行的深入分析，因爲他們認爲只有通過/失敗檢查才足夠。但是，這就是測試自動化對他們失敗的原因！
有時，系統從根本上可以正常運行。但是，自動化腳本不能反映出相同的情況。他們以其他方式陳述並導致假陽性方案。因此，這造成了混亂的局面，浪費了時間，精力和資源。我已經看到測試團隊試圖找到不存在的東西是多麼令人沮喪！
另一種情況是，自動化腳本發出綠色信號時，出現了問題。系統無法正常運行，但腳本另有聲明。網絡問題可能會導致測試環境設置出現差異。這是由於數據庫開始階段缺乏準確性而導致的。從長遠來看，讓系統處於受損狀態可能會導致災難性後果。
具有未定義ID的Web元素
每個Web元素都必須有一個ID才能執行有效的測試。但是有時，開發人員無法將ID分配給所有Web元素，這就是測試自動化失敗的原因。在這種情況下，自動腳本必須查找這些Web元素，這會花費大量時間。此外，如果腳本無法在規定的時間內找到這些元素，則測試將失敗。因此，爲了確保腳本的正確同步，團隊必須爲所有Web元素分配唯一的ID。
不利用並行執行
因此，您最終使所有想要自動化的東西都自動化了。您最終獲得了龐大的測試套件，直到現在，您纔開始碰壁。這些複雜的測試套件執行時間比您預期的要長。這開始與您各自的IDE測試自動化框架中的測試隊列質量相牴觸。結果，由於隊列超時問題，測試用例突然停止，這都是因爲您要按順序執行它們。測試用例的順序執行是Web應用程序測試自動化失敗的另一個原因。
與順序運行測試不同，並行執行使您可以在不同的環境中同時執行多個測試。但是自動化測試可能會導致意外的代碼交互。調試失敗原因非常困難，因此您需要透徹的報告機制，提供有關測試執行的詳細見解。
通過測試自動化對ROI的錯誤估計
無論您在線經營什麼業務，ROI都將成爲每次董事會會議的議程。股東要求更高的回報。而且，無論您準備測試自動化套件花費了多少時間和精力，如果它們產生的ROI均達不到預期，那麼它們的重要性將比您預期的要輕得多。
在計算測試自動化的投資回報率時，可能需要考慮許多指標，例如測試維護，購買必要的測試自動化工具所涉及的成本，板載資源等等。計劃不切實際的ROI對於許多組織而言可能是成問題的，並且可能是測試自動化失敗的原因。
無法評估漣漪效應
許多組織給人以自動化測試容易的印象。您所需要做的只是編寫幾行代碼以自動化您的Web應用程序的測試工作流程。就是這樣！您完全不必擔心測試自動化腳本的計劃和輸入。但這不是！
您需要評估波紋效應。您的Web應用程序將包含許多旨在測試不同模塊和流程的測試自動化腳本。如果一個測試腳本無法正確執行，則其他腳本也可能觸發測試自動化失敗。不僅如此，在計劃資源時還應該計算出連鎖反應。
假設您有一個高級資源，他曾經寫過腳本，現在已經離開了公司。您可能沒有想到辭職可能會在自動化項目的未來時間表中產生連鎖反應。這就是爲什麼需要記錄有關係統中每個自動化測試腳本的每個細節的原因。該文檔應作爲萌芽的自動化測試人員以及經驗豐富的自動化測試人員的標準。
測試套件不是一成不變的東西–它應該隨着平臺的發展而發展/變化/不適應的測試套件
測試自動化對您的組織失敗的另一個原因可能是不合適的測試套件。許多自動化測試人員會創建靜態測試套件，這些套件在您擴展業務時並不那麼靈活。每當平臺發展時，它們最終都會重新編寫整個自動化測試腳本。這是一個壞習慣，因爲您在浪費時間，資源帶寬和金錢。另外，這是一個錯誤的過程。確保您編寫隨平臺擴展而發展和適應的測試套件。
自動化一個過程並跳到另一個過程而無需回頭
避免測試自動化失敗的另一種方法是即興測試套件。現在，這聽起來似乎很明顯，但是在許多組織中卻沒有實踐。原因是，一旦他們設計了測試套件，並發現它可以正常工作，便開始着手自動化新領域。我沒有批評沉迷或探索新領域以實現自動化的努力。但是，管理一個時間窗口並讓您和您的團隊回顧現有的代碼段，以找出進一步優化它的方法並沒有什麼壞處。始終嘗試使用您的測試套件，以使事情變得更好。
無法合作
隨着敏捷軟件，看板軟件等現代SDLC（軟件開發生命週期）方法在全球範圍內的採用，協作已成爲將Web應用程序更快部署到市場中的關鍵組成部分。
這是一個多維軟件開發過程，所有團隊都在同時開發Web應用程序。您有一組開發人員設計前端，另一個負責後端，還有一個負責中間件活動的團隊。作爲測試人員，您需要了解哪個團隊負責哪個模塊。您必須及時瞭解不同團隊所做的產品增強功能，並對自動化腳本進行相關更改，以確保測試自動化不會失敗。
執行每個測試自動化套件之前，手動設置測試環境
自動化測試的主要目的是最大程度地減少重複手動測試所涉及的壓力，以節省時間。從抽象的角度看，這聽起來不錯，但對於那些執行測試自動化的人來說，要意識到爲執行內部測試自動化而配置正確的基礎結構的艱辛。我經常觀察到測試人員在執行新腳本之前會刷新整個測試自動化套件，以避免與腳本產生任何歧義。但這不能使自動化測試的整個過程都失敗，不是嗎？
例如，如果您正在使用內部Selenium Grid執行自動跨瀏覽器測試，以測試適用於Google Chrome和Safari瀏覽器的macOS和Windows操作系統的網站。現在，您可能每次都要運行Selenium腳本之前就不得不面對設置新操作系統的麻煩。
在靜態測試環境中重複運行多個測試套件，而無需進行清理
這是組織自動化測試失敗的非常普遍的原因。特別是在臨近最後期限時。您的測試部門將繼續在同一測試環境上運行大量測試套件，而不會清除先前執行的測試自動化腳本的緩存。這可能會導致錯誤的測試評估，當您遇到更多的假陰性和假陽性時，您的測試報告可能會受到影響。
例如，假設您需要針對不同的地理位置測試您的Web應用程序。在靜態測試環境中執行地理位置定位時。您的腳本可能會遭到Google的測試，要求您證明自己不是機器人。這將導致測試自動化腳本失敗。
這就是需要使用清除的緩存的新虛擬機的原因，因此您可以獲得自動化跨瀏覽器測試腳本的準確結果。
測試環境本身很麻煩
爲了使自動化能夠在不同的測試環境中工作，需要進行大量的計劃。您需要在暫存環境上進行測試，以確保將代碼移入生產管道時，它們可以完美地工作。但是，經常會發生這樣的情況：在舞臺環境中進行測試時，用於代碼更改的測試自動化腳本可以無縫運行，但是當移至生產環境時，它就會崩潰。此類問題背後可能有許多原因，例如缺乏持續的監控，登臺環境無法使生產環境成對增長，缺少實時流量等等。
測試代碼本身有錯誤
最後但並非最不重要的。如果到目前爲止我們已經講完所有要點，並且您的測試自動化仍然失敗，那麼您唯一需要反思的地方就是您自己的測試自動化腳本。確保您沒有爲整個項目中涉及的任何測試腳本提交任何編譯時以及運行時錯誤。
總結一下
如果您的組織需要提高生產力，那麼自動化測試就是必經之路。這是提高最終產品質量所需的最有效的過程之一。測試自動化還提高了軟件的健壯性。但是要謹慎執行和拖延。您不能在沒有障礙的情況下匆匆忙忙，因爲沒有一家公司可以承受損失鉅額資金的麻煩。另一方面，過多的恐懼會阻止您獲得自動化測試所提供的顯着優勢。
理論雞湯
- 圖解HTTP腦圖
- 測試之JVM命令腦圖
- 如何優雅地屏蔽掉Google搜索結果中視頻、新聞、圖片等結果
- 寫給所有人的編程思維
- 成爲傑出Java開發人員的10個步驟
- 測試之《代碼不朽》腦圖
- 爲什麼選擇軟件測試作爲職業道路？
- 自動化測試的障礙
- 自動化測試的問題所在
- 成爲優秀自動化測試工程師的7個步驟
- 優秀軟件開發人員的態度
- 如何正確執行功能API測試
- 未來10年軟件測試的新趨勢-上
- 未來10年軟件測試的新趨勢-下
- 自動化測試解決了什麼問題
- 17種軟件測試人員常用的高效技能-上
- 17種軟件測試人員常用的高效技能-下
- 手動測試存在的重要原因
- 編寫測試用例的17個技巧
- 成爲自動化測試的7種技能
- 功能測試與非功能測試
- 自動化和手動測試，保持平衡！
- 43種常見軟件測試分類
- 自動化測試生命週期
- 代碼審查如何保證軟件質量
- TDD測試驅動開發的基礎
- 如何在DevOps引入自動化測試
