譯?者 | 李睿

審校 | 孫淑娟

微小的變化可能會產(chǎn)生巨大的后果。由于客戶和市場的需求和選擇是動態(tài)的，因此預(yù)計軟件將與變化的趨勢同步發(fā)展。在少數(shù)情況下，后端的更改甚至輕微修改通常會導(dǎo)致偏離預(yù)期的用途和功能。為了避免軟件中出現(xiàn)此類異常，質(zhì)量保證（QA）專家團(tuán)隊在回歸測試工具的幫助下執(zhí)行回歸測試。

測試人員團(tuán)隊?wèi)?yīng)該確保新代碼不會與舊代碼沖突，并且未更改的代碼繼續(xù)按預(yù)期運行。軟件產(chǎn)品一經(jīng)設(shè)計，就會經(jīng)常更改，以確保正確結(jié)合復(fù)雜和獨特的功能。測試需要確保應(yīng)用程序的早期功能仍然有效，并且其最新的更改沒有引入新的錯誤。  

什么是回歸測試？  

回歸測試是一種應(yīng)用程序測試，用于檢測軟件在當(dāng)前代碼被修改或更改之后是否仍然可以運行。它是軟件開發(fā)和測試生命周期的重要組成部分，允許開發(fā)人員不斷改進(jìn)軟件而不會對其功能產(chǎn)生不利影響。執(zhí)行這種形式的測試是為了確保不會通過錯誤修復(fù)引入最新的問題。  

例如，假設(shè)開發(fā)人員在某處修改了一些代碼，而現(xiàn)在早期的工作特征不再起作用。以下是其背后的原因：  

（1）開發(fā)的代碼包含導(dǎo)致行為變化的缺陷。

（2）無意中讓代碼中的兩個不同區(qū)域以從前沒有的方式相互依賴。

（3）修改的代碼依賴于另一個“特征”的一部分，該部分也被破壞（這就是檢查工作很重要的原因）。  

回歸測試的最終目標(biāo)是揭示可能影響軟件功能的任何更改所導(dǎo)致的問題。  

為什么需要回歸測試？  

回歸測試保證了這些改動不會在當(dāng)前功能中引入新的錯誤，這些功能以前運行得很好。在很多時候，當(dāng)前特征本身的必要性會發(fā)生修改，這可能會影響其他應(yīng)用程序的功能。在這種情況下，會針對其他功能執(zhí)行此類測試。由于舊庫被棄用而升級或更改底層技術(shù)的情況下，也需要進(jìn)行回歸測試。為了確保這不會對功能產(chǎn)生任何影響，軟件測試人員將執(zhí)行端到端的回歸測試。  

簡而言之，回歸測測試是在以下幾種情況下進(jìn)行的：  

（1）新增最新功能.  

（2）修改當(dāng)前功能的必要性。  

（3）性能修復(fù)。  

（4）代碼優(yōu)化。  

（5）錯誤修復(fù)。  

（6）技術(shù)升級/變革。  

例如，如果修復(fù)或修改了一些導(dǎo)致用戶配置文件出現(xiàn)問題的代碼，則可能是以前運行良好網(wǎng)站的另一部分，現(xiàn)在無法正常運行，因為修復(fù)反而造成破壞。回歸測試可以幫助避免這種情況。  

回歸測試的意義

回歸測試對于在新添加特征、變更、更改或與新軟件集成之后檢查整個軟件功能非常重要。這種軟件測試在將軟件交付給最終用戶之前驗證軟件是否按預(yù)期執(zhí)行，它有助于增強(qiáng)用戶體驗并獲得用戶信任。  

它既可以自動執(zhí)行，也可以人工執(zhí)行。自動化測試用例有助于最大限度地減少整個項目的時間、費用和資源?；貧w測試還有助于減少項目在將來的測試用例。通過自動化回歸測試，團(tuán)隊可以專注于軟件開發(fā)的其他部分，從而按時發(fā)布產(chǎn)品。簡而言之，這種形式的測試提供了敏捷方法中工作流的穩(wěn)定性和完美的連續(xù)性。它有助于在每個階段及早發(fā)現(xiàn)錯誤或缺陷，從而管理時間和費用。  

回歸測試的挑戰(zhàn)是什么？  

盡管這種類型的測試帶來了巨大的好處，但也存在一些挑戰(zhàn)：  

• 復(fù)雜性——由于其極端的重復(fù)行為，當(dāng)產(chǎn)品從初級階段構(gòu)建到下一個階段時，測試用例變得非常復(fù)雜。它需要一直測試舊的測試用例和新的測試用例。  
• 時間——回歸測試是重復(fù)的，因此冗長且耗時。這就使得在交付期限之前執(zhí)行和交付產(chǎn)品成為一項巨大挑戰(zhàn)的原因。  
• 選擇合適的工具——為了成功進(jìn)行這種形式的測試，選擇最合適的工具至關(guān)重要。否則，將導(dǎo)致花費費用、時間和資源。  

為什么自動化回歸測試在敏捷軟件開發(fā)方法中至關(guān)重要？  

敏捷方法專注于構(gòu)建優(yōu)質(zhì)產(chǎn)品，從而最大限度地減少與開發(fā)相關(guān)的威脅。由于敏捷方法包括反復(fù)發(fā)生的變化，因此擁有一個回歸自動化測試程序是至關(guān)重要的。  

應(yīng)該在回歸測試工具中尋找哪些關(guān)鍵特性？  

以下列出了良好的測試工具必須具備的一些關(guān)鍵特性。  

• 無故障的腳本生成和維護(hù)  

無需額外努力就相對容易地構(gòu)建測試自動化腳本，尤其是在實踐要求高速度的敏捷交付實踐時。在每個sprint中，都需要新的回歸測試；但是，如果沒有完美的回歸測試工具提供支持，那么隨著被測應(yīng)用程序的更新，將會浪費大量時間來升級其測試。開發(fā)人員將不得不快速執(zhí)行自動化測試，并且其測試需要適應(yīng)較小的修改，這樣就不必花費額外的時間來修改其自動化回歸測試。  

• 可擴(kuò)展性和可重用性  

如果代碼修改影響了正在測試的應(yīng)用程序，則必須毫不費力地處理每個受影響的測試，而無需重寫每個測試腳本。而首選的功能測試工具應(yīng)該允許將測試實現(xiàn)模塊化。此外，應(yīng)該構(gòu)建可重用的測試片段或腳本庫，以便可以快速生成新的測試。此外，必須使用數(shù)據(jù)驅(qū)動的測試策略，允許在無限數(shù)量的場景中使用單個測試。  

• 每次構(gòu)建后運行回歸測試  

測試軟件必須與持續(xù)集成/持續(xù)交付的管道集成，以使功能回歸測試成為構(gòu)建過程的一部分。選擇的回歸測試工具必須毫不費力地插入首選的持續(xù)集成（CI）/持續(xù)交付（CD）中，并且足夠活躍以支持智能管道，根據(jù)測試結(jié)果觸發(fā)活動。  

• 描述性和快速報告  

豐富的錯誤消息（在“通過/失敗”之前）對于幫助識別出現(xiàn)錯誤的原因非常重要，在理想情況下，這必須包括診斷信息和屏幕截圖。報告必須包含有關(guān)先前進(jìn)行的測試的關(guān)鍵信息，以便在正在測試的用戶故事附近發(fā)現(xiàn)重要的回歸，例如網(wǎng)絡(luò)和性能問題，以及視覺回歸。首選的功能回歸測試工具必須幫助識別需要額外測試覆蓋的地方，以便能夠更加主動。  

• 無限并行執(zhí)行  

憑借當(dāng)前交付實踐的敏捷性，測試必須快速執(zhí)行并快速給出結(jié)果。當(dāng)針對不同的瀏覽器版本、場景和屏幕尺寸運行如此多的測試用例時，需要的資源數(shù)量會呈指數(shù)級增長。完美的回歸測試工具將無限制地按需提供這些資源，因此可以在完成一個測試所消耗的時間內(nèi)執(zhí)行完整的測試套件。  

• 并行執(zhí)行  

回歸自動化測試工具必須能夠計劃和安排自動化測試，以便在各種環(huán)境中并行執(zhí)行任意多次，從而節(jié)省在實施過程中的時間。使用其他數(shù)據(jù)集識別對不同執(zhí)行環(huán)境敏感的變量至關(guān)重要，這些數(shù)據(jù)集在每個階段（例如開發(fā)、分段、測試和生產(chǎn)）的不同執(zhí)行環(huán)境中都會發(fā)生變化。  

• 可擴(kuò)展性和可重用性  

如果代碼修改影響了正在測試的應(yīng)用程序，必須能夠毫不費力地處理所有受影響的測試，而無需重寫每個測試腳本。首選的回歸測試工具應(yīng)該能夠使測試實現(xiàn)模塊化。必須足夠活躍以生成腳本庫或可重用的測試片段，以便可以快速構(gòu)建最新的測試。開發(fā)人員應(yīng)該明智地采用數(shù)據(jù)驅(qū)動的測試策略，這樣就可以在無限的場景中使用單個測試。  

• 合作  

對于從開發(fā)人員到質(zhì)量保證（QA）的各種團(tuán)隊成員來說，訪問測試和測試結(jié)果必須沒有問題，以便可以盡快解決和緩解任何公認(rèn)的回歸問題。無論在哪里進(jìn)行團(tuán)隊合作，還是在Jira、Slack還是儀表板中，都必須能夠訪問所報告的附帶日志的并發(fā)情況。  

2022年智能回歸測試工具  

回歸測試如果執(zhí)行得當(dāng)，可以讓軟件開發(fā)團(tuán)隊相信他們的完整應(yīng)用程序在代碼修改后可以有效和智能地運行。但是，人工執(zhí)行回歸測試成本高、耗時長，并且難以擴(kuò)展。隨著一些應(yīng)用程序變得越來越復(fù)雜，各個團(tuán)隊最終不得不在回歸測試中加入額外的資源，雇傭更多的質(zhì)量保證（QA）專家，并選擇能夠在每個發(fā)布周期完成測試的有效工具。

然而，選擇合適的回歸測試工具是很棘手的。本文將分享一些智能回歸測試工具來解決這些問題：  

• Rainforest QA——這是一種無代碼自動化用戶界面（UI）測試工具，用于生成模擬用戶與應(yīng)用程序或站點的最終可視層交互方式的回歸測試。  
• Selenium——Selenium是自動化瀏覽器的最智能和最古老的平臺之一。集成開發(fā)環(huán)境是記錄和回放功能。Selenium HQ允許開發(fā)人員使用其希望使用的任何語言創(chuàng)建自定義函數(shù)，例如.NET、Java、Python、Java等，可以將其與Selenium合并并編寫。  
• Appium——由于Selenium只將桌面瀏覽器實現(xiàn)自動化，另一方面，Appium改變Selenium以測試移動設(shè)備上的瀏覽器。一般來說，Appium和Selenium有類似的限制。  
• Watir——Ruby中的Web應(yīng)用程序測試(Watir)是一個基于Ruby（鏈接到SeleniumWeb Driver的庫）的免費平臺，但用戶界面比Selenium更友好。就像Appium這樣的一些工具一樣，Watir也遇到了與Selenium類似的幾個缺點。  
• Micro Focus UFT One——UFT停止自動化是一項巨大的功能。對于新手和非技術(shù)人員來說，它使用起來很簡單。
• IBM Rational Functional Tester——它是一種在Linux和Windows OS（操作系統(tǒng)）上運行的記錄和回放工具。如果以前使用的是IBM公司的其他幾種業(yè)務(wù)解決方案之一，那么將其服務(wù)保存在一個地方可能會有所幫助。
• TestComplete——SmartBear出品的這款令人難以置信的工具提供了記錄和回放以及對象識別特征，用于在Python、JavaScript和VBScript中編寫測試腳本。它們支持在多個Web、桌面和移動平臺（包括Android和iOS操作系統(tǒng)）上進(jìn)行測試。  
• RanorexStudio——它結(jié)合了記錄的活動以及來自預(yù)設(shè)列表或存儲庫的拖放操作來形成測試。  
• Subject7——Subject7是一個基于云的“真正的無代碼”自動化測試解決方案，它將各種測試集成在一個平臺上，使任何人都可以成為自動化專家。易于使用的軟件允許簡單、快速、復(fù)雜的回歸測試創(chuàng)作，而無需編寫單個代碼和執(zhí)行數(shù)千個夜間測試的大規(guī)模執(zhí)行。  
• SoapUI Pro——這種類型的工具，用戶友好且簡單。SoapUI Pro在應(yīng)用程序編程接口設(shè)計和編排方面是一個很棒的工具。此外，它對于性能和功能測試至關(guān)重要。  
• SahiPro——這是另一種基于代碼的工具，經(jīng)過完美設(shè)計，可使較少或沒有編碼經(jīng)驗的質(zhì)量保證初學(xué)者更容易獲得編碼。
• Eggplant's——這是一個人工智能驅(qū)動的自動化測試，通過最小化測試維護(hù)和測試用例的優(yōu)先級來簡化回歸測試。  
• QA Madness——它是測試自動化工具和人工測試服務(wù)之一，這意味著它們會接管全部或部分測試。  
• SilkTest——SilkTest是一個很好的自動化測試工具，支持SAP功能測試。基腳本非常有價值，可以輕松記錄，然后進(jìn)入并更改它生成的腳本。它有幾個生成腳本。  
• Qualibrate——利用解決方案的測試計劃和測試執(zhí)行調(diào)度特征，它們非常重要和容易使用。利用SAP解決方案管理器以及它的Qualibrate功能，允許處理每個測試，直接從Solution Manager將其帶入Qualibrate。
• PerformanceLab——這種形式的工具專門用于性能測試，盡管它們也采用著名的工具和編程語言——即Selenium、TestComplete、SoapUI、Appium、RFT、SAPTAO、UIAutomator和QTP/UFT，并開發(fā)工具來使它們使用起來毫無問題。  
• Telerik Test Studio——Telerik Test Studio是一個用于桌面、Web和響應(yīng)式應(yīng)用程序的測試自動化平臺，支持功能性用戶界面、負(fù)載和RESTful API測試。它可以幫助團(tuán)隊消除回歸，并確保他們的應(yīng)用程序仍然按照他們在引入任何修改之前的方式運行。它帶有獨立的集成開發(fā)環(huán)境和Visual Studio集成。  
• Katalon Studio——它使用Selenium Web Driver編寫測試，但旨在支持非開發(fā)人員和開發(fā)人員之間的協(xié)作。  
• Avo Assure——Avo Assure是一種與技術(shù)無關(guān)的無代碼自動化測試解決方案，它可以幫助開發(fā)人員通過單擊一些按鈕來測試全面的業(yè)務(wù)程序，這使得回歸測試更快、更直接。

以上總結(jié)了一些頂級的自動化和人工回歸測試工具表。選擇可靠且高效的回歸測試工具可能會讓人望而生畏。由于市場上存在多種選擇，人們很容易對工具的服務(wù)、功能和便利性感到困惑和不知所措。建議始終根據(jù)團(tuán)隊的舒適度、打算用于測試的軟件產(chǎn)品、正在使用的框架和編程語言、其預(yù)算等選擇正確的回歸測試工具。  

敏捷環(huán)境中回歸測試的最佳實踐  

• 不要追求100%自動化

無論測試基礎(chǔ)設(shè)施有多先進(jìn)，都不可能實現(xiàn)100%的自動化。至少需要編寫測試腳本，并且測試人員必須驗證結(jié)果。在最好的情況下，可以實現(xiàn)70%～90%的自動化，因為一定數(shù)量的測試用例會導(dǎo)致假陰性/陽性，因此不適合回歸測試。  

• 關(guān)注軟件最脆弱的領(lǐng)域  

大多數(shù)質(zhì)量保證（QA）測試人員和開發(fā)人員對他們的軟件足夠熟悉，可以發(fā)現(xiàn)最容易受到每個sprint修改影響的功能/區(qū)域的特性。此外，必須經(jīng)常測試面向用戶的功能和重要的后端問題。如上所述，敏捷開發(fā)中回歸測試的協(xié)作方法有助于實現(xiàn)這一點，因為包括開發(fā)人員。  

• 選擇自動化  

自動化是加速敏捷sprint回歸測試的必要條件。從回歸自動化回歸測試腳本開始，然后使用每個新功能對其進(jìn)行更改。因此，質(zhì)量保證（QA）應(yīng)該專注于在每個sprint中進(jìn)行增量修改，而不是運行測試。  

• 了解測試人員的要求  

需要記住的是，質(zhì)量保證（QA）專家將不得不在早期階段投入一些人工測試工作——研究用戶界面（UI）更改、軟件邏輯、產(chǎn)品流程等。一旦設(shè)計了軟件并且已經(jīng)執(zhí)行了一些重要的更改，最好引入自動回歸測試。回歸測試必須穿插人工驗證，以檢查假陰性或陽性。  

注：根據(jù)對銀行業(yè)的一項案例研究，回歸控制了高達(dá)60%的錯誤修復(fù)時間（這將被回歸測試捕獲）和40%的費用。  

回歸測試的優(yōu)點  

回歸測試不僅可以提高軟件質(zhì)量，還可以降低緩解缺陷的成本和時間。還包括以下優(yōu)點：  

• 增強(qiáng)用戶體驗，而不會引入意外的不利影響。  
• 在重大更新期間提前暴露和發(fā)現(xiàn)缺陷/錯誤有助于減少對用戶和客戶的影響。  
• 允許軟件開發(fā)人員專注于最新的功能，而不是重新處理原有的錯誤。  
• 更少的意外威脅?；貧w測試可以成為風(fēng)險緩解策略的有效組成部分，可以幫助企業(yè)和開發(fā)人員在問題和變化成為主要問題之前掌握它們。  
• 更好的整體系統(tǒng)性能  

總體而言，回歸測試是任何軟件開發(fā)生命周期（SDLC）中的關(guān)鍵步驟?；貧w測試無疑具有重要意義，主要是在引入最新特征或?qū)浖a進(jìn)行修改之后。它保證了最少的停機(jī)時間，并保持低成本。回歸測試套件提供應(yīng)用程序的新增強(qiáng)代碼或功能不會對應(yīng)用程序的現(xiàn)有質(zhì)量造成意外損失。它可以通過運行代碼更改并嘗試破壞某些應(yīng)用程序來人工完成，如果需要進(jìn)行大量代碼修改，這可能會延長操作時間。但是，它也可以有效地發(fā)現(xiàn)測試自動化可能無法捕獲的問題。  

即使是回歸自動化測試也有一系列好處，因為它允許輕松和快速的測試，并具有各種好處——包括能夠快速找到錯誤/缺陷而無需人工完成大量工作。然而，由于在虛擬機(jī)上使用不同的瀏覽器代替本地機(jī)器或其他開發(fā)人員的機(jī)器，因此存在一些缺點，例如具有復(fù)雜的測試代碼或發(fā)現(xiàn)假陰性。簡而言之，功能回歸測試的主要目標(biāo)是識別新舊代碼之間的差異，并確保執(zhí)行的修改是否按預(yù)期工作。

原文標(biāo)題：??Regression Testing: Significance, Challenges, Best Practices and Tools???，作者：Niranjan Limbachiya?