測(cè)試自動(dòng)化為企業(yè)節(jié)省了大量時(shí)間——除非您選擇了錯(cuò)誤的測(cè)試用例。這篇文章指出了您應(yīng)該注意的事項(xiàng)。

根據(jù)2021年測(cè)試自動(dòng)化報(bào)告，超過(guò)40%的公司正在尋求擴(kuò)展和投資于測(cè)試自動(dòng)化的資源。雖然這并不意味著手動(dòng)測(cè)試會(huì)消失，但從ROI的角度來(lái)看，人們對(duì)自動(dòng)化的興趣越來(lái)越大——無(wú)論是在金錢還是時(shí)間方面。

畢竟，我們可以同意編寫(xiě)和運(yùn)行這些單元測(cè)試用例很無(wú)聊。一個(gè)好的自動(dòng)化策略可以騰出測(cè)試人員的時(shí)間來(lái)解決一些更復(fù)雜的問(wèn)題，并有助于及早發(fā)現(xiàn)錯(cuò)誤。

然而，團(tuán)隊(duì)經(jīng)常在沒(méi)有適當(dāng)測(cè)試策略的情況下急于自動(dòng)化測(cè)試，這會(huì)導(dǎo)致在進(jìn)行大修時(shí)出現(xiàn)問(wèn)題。通過(guò)選擇正確的自動(dòng)化測(cè)試，最大限度地提高您的精力和投資回報(bào)。

在自動(dòng)化任何測(cè)試用例之前應(yīng)該考慮什么?

1.測(cè)試頻率

為邊緣情況組件編寫(xiě)一個(gè)手動(dòng)測(cè)試通常更有效。事實(shí)上，測(cè)試新功能可以讓您快速了解有關(guān)應(yīng)用程序的更多信息。但是，隨著功能數(shù)量的增加，這并不有效。

將您的測(cè)試場(chǎng)景分為兩部分：重復(fù)部分和一次性或非常復(fù)雜的部分。

自動(dòng)化重復(fù)次數(shù)最多的那些。您甚至可以設(shè)置測(cè)試頻率的閾值，高于該閾值您將考慮自動(dòng)化。

例如，應(yīng)用程序登錄或警報(bào)系統(tǒng)測(cè)試是測(cè)試自動(dòng)化的理想候選者，因?yàn)樗鼈冃枰诿看螒?yīng)用程序構(gòu)建后運(yùn)行。

這個(gè)規(guī)則也有幾個(gè)例外——比如，單個(gè)測(cè)試需要執(zhí)行的數(shù)據(jù)輸入量非常大。在這種情況下，自動(dòng)化該特定測(cè)試是有意義的，因?yàn)樗鼤?huì)節(jié)省大量時(shí)間。

這里唯一的警告是自動(dòng)化一系列相互依賴的重復(fù)測(cè)試。如果出現(xiàn)故障，可能很難確定是主要罪魁禍?zhǔn)椎拇_切測(cè)試。這就是日志派上用場(chǎng)的地方，它可以幫助您有效地檢測(cè)這些長(zhǎng)期模式故障。

2.測(cè)試覆蓋率

測(cè)試覆蓋率對(duì)于軟件質(zhì)量和確保軟件構(gòu)建的穩(wěn)定性至關(guān)重要。自動(dòng)化正確類型的測(cè)試可以幫助您以幾乎相同的時(shí)間投入實(shí)現(xiàn)高測(cè)試覆蓋率的目標(biāo)。

例如，如果您的應(yīng)用程序有很多組件，那么運(yùn)行自動(dòng)化測(cè)試是個(gè)好主意。這繞過(guò)了錯(cuò)過(guò)特定測(cè)試的手動(dòng)錯(cuò)誤的可能性，并確保應(yīng)用程序中最關(guān)鍵的部分順利運(yùn)行。您還可以在無(wú)人看管的情況下運(yùn)行那些冗長(zhǎng)的夜間測(cè)試，并在醒來(lái)時(shí)查看測(cè)試失敗(或成功!)原因的詳細(xì)日志。

3.結(jié)果

結(jié)果的可預(yù)測(cè)性如何?自動(dòng)化需要預(yù)先定義的輸入和輸出來(lái)產(chǎn)生通過(guò)和失敗條件，否則它們可能會(huì)導(dǎo)致錯(cuò)誤的結(jié)果。

如果您處于測(cè)試的探索階段，并且您的測(cè)試是臨時(shí)的或需要非常具體的領(lǐng)域知識(shí)，那么將它們自動(dòng)化并不是最好的主意。

4.特征重要性

如果一個(gè)項(xiàng)目是一個(gè)重要的功能，如果失敗可能會(huì)導(dǎo)致用戶體驗(yàn)中斷，你應(yīng)該編寫(xiě)一個(gè)自動(dòng)化測(cè)試套件。這樣，您就可以防止任何人為錯(cuò)誤擾亂您的發(fā)布。

理想情況下，測(cè)試應(yīng)該連續(xù)運(yùn)行，以便盡快通知相關(guān)團(tuán)隊(duì)。

5.時(shí)間回報(bào)比

雖然自動(dòng)化可以騰出測(cè)試人員的時(shí)間，但組織和個(gè)人經(jīng)常忽略測(cè)試的一個(gè)關(guān)鍵方面——維護(hù)自動(dòng)化測(cè)試所需的成本和時(shí)間。如果您的應(yīng)用程序的后端發(fā)生重大變化，通常為自動(dòng)化測(cè)試編寫(xiě)和重寫(xiě)代碼就像手動(dòng)測(cè)試一樣麻煩。

解決這個(gè)問(wèn)題的一種有趣方法是讓測(cè)試工程師自動(dòng)化，以了解程序的哪一部分失敗。您可以通過(guò)自動(dòng)化更廣泛的應(yīng)用程序測(cè)試來(lái)做到這一點(diǎn)，這樣如果出現(xiàn)問(wèn)題，您就可以確切地知道去哪里尋找。智能測(cè)試執(zhí)行是測(cè)試自動(dòng)化領(lǐng)域的主要趨勢(shì)之一，它通過(guò)識(shí)別需要執(zhí)行的特定測(cè)試來(lái)做到這一點(diǎn)。

6.人的參與

您嘗試自動(dòng)化的測(cè)試套件有多復(fù)雜?如果需要用人眼重新檢查測(cè)試結(jié)果或需要進(jìn)行實(shí)際的用戶交互，那么自動(dòng)化可能不會(huì)有太大幫助。

例如，用戶體驗(yàn)測(cè)試最好不要自動(dòng)化，因?yàn)闇y(cè)試軟件在使用產(chǎn)品時(shí)永遠(yuǎn)無(wú)法模仿人類的情緒。但是，如果您需要對(duì)測(cè)試輸出進(jìn)行視覺(jué)確認(rèn)，則可以運(yùn)行自動(dòng)截屏測(cè)試，然后進(jìn)行手動(dòng)驗(yàn)證。

7.優(yōu)先權(quán)

什么時(shí)候需要測(cè)試結(jié)果?如果自動(dòng)化測(cè)試有助于您更快地將產(chǎn)品推向市場(chǎng)，那么您應(yīng)該繼續(xù)使用它。但是，當(dāng)您需要立即獲得結(jié)果時(shí)，不要讓編寫(xiě)和運(yùn)行自動(dòng)化測(cè)試成為瓶頸。

此外，您應(yīng)該記住，“測(cè)試”并不是唯一可以自動(dòng)化以提高應(yīng)用程序效率的東西。手動(dòng)數(shù)據(jù)收集或設(shè)置數(shù)據(jù)輸入等任務(wù)也非常適合自動(dòng)化。因此，如果有一個(gè)大型數(shù)據(jù)集但您的時(shí)間不夠用，那么自動(dòng)化它可能是您的救星!

經(jīng)常自動(dòng)化的測(cè)試用例

1.性能測(cè)試(負(fù)載、壓力測(cè)試)

負(fù)載測(cè)試幾乎因“隔夜”測(cè)試而臭名昭著。根據(jù)定義，負(fù)載測(cè)試需要大量資源，因?yàn)樗鼈兛梢宰R(shí)別公司擴(kuò)展時(shí)出現(xiàn)的系統(tǒng)滯后和性能問(wèn)題。

這就是為什么進(jìn)行自動(dòng)化測(cè)試的工具很有意義的原因——因?yàn)樗鼈兛梢砸院苌俚某杀居行У啬M用戶和資源。我的意思是，嘗試找1000名用戶對(duì)尚未發(fā)布的產(chǎn)品進(jìn)行錯(cuò)誤測(cè)試-哎呀!

雖然您絕對(duì)不能聘請(qǐng)1000名QA專家來(lái)進(jìn)行自動(dòng)化測(cè)試，但測(cè)試自動(dòng)化框架可以設(shè)置虛擬用戶并讓他們像真實(shí)用戶一樣與您的產(chǎn)品進(jìn)行交互。這將使您能夠通過(guò)在流程早期識(shí)別它們來(lái)擴(kuò)展和避免中斷。然后，您的團(tuán)隊(duì)可以查看性能指標(biāo)并確定速度下降或中斷的確切原因。

同樣，如果您需要進(jìn)行跨瀏覽器測(cè)試，自動(dòng)化測(cè)試可以幫助您通過(guò)幾個(gè)步驟收集應(yīng)用程序跨多個(gè)配置的性能。

自動(dòng)化您的性能測(cè)試以查看哪里出現(xiàn)問(wèn)題，以及您的應(yīng)用程序是否可以處理這些問(wèn)題。

2.單元測(cè)試

如果您正在開(kāi)發(fā)大型應(yīng)用程序的代碼庫(kù)，自動(dòng)化單元測(cè)試將節(jié)省您的時(shí)間。單元測(cè)試的自動(dòng)化測(cè)試將幫助您實(shí)時(shí)發(fā)現(xiàn)錯(cuò)誤，讓您持續(xù)了解各個(gè)組件是否正常工作。

自動(dòng)化在重構(gòu)代碼時(shí)特別有用，因?yàn)橹灰獑卧獪y(cè)試是綠色的，您就可以放心地假設(shè)單個(gè)代碼單元的行為沒(méi)有改變。此外，這些測(cè)試的報(bào)告可以立即提供給整個(gè)團(tuán)隊(duì)。

3.回歸測(cè)試(煙霧、健全性測(cè)試)

回歸測(cè)試可確保即使進(jìn)行了大量更改，應(yīng)用程序也能順利運(yùn)行。這意味著需要反復(fù)重新測(cè)試多個(gè)應(yīng)用程序組件。由于這種重復(fù)，回歸測(cè)試是測(cè)試自動(dòng)化的理想候選者。

自動(dòng)化回歸測(cè)試將幫助您節(jié)省手動(dòng)資源和時(shí)間，并更快地?cái)U(kuò)展。雖然回歸測(cè)試通常在軟件發(fā)布結(jié)束時(shí)執(zhí)行，但自動(dòng)化它們也為您提供了一個(gè)迭代和連續(xù)運(yùn)行它們的選項(xiàng)。這有助于更快地識(shí)別程序中的錯(cuò)誤并創(chuàng)建快速反饋循環(huán)，從而更快地解決問(wèn)題。

4.功能測(cè)試

功能測(cè)試本質(zhì)上是驗(yàn)證應(yīng)用程序是否在前端以應(yīng)有的方式運(yùn)行。雖然功能測(cè)試的某些方面是手動(dòng)的，但很多方面應(yīng)該是自動(dòng)化的，以確保無(wú)錯(cuò)誤的產(chǎn)品交付。

例如，端到端測(cè)試自動(dòng)化可確保關(guān)鍵的預(yù)定義用戶體驗(yàn)流程對(duì)于每日發(fā)布的產(chǎn)品順利運(yùn)行。

使用selenium自動(dòng)化功能測(cè)試是一種流行的選擇。您甚至可以使用稍微不同的數(shù)據(jù)集或用戶行為來(lái)調(diào)整測(cè)試，以涵蓋多個(gè)用例。

哪些測(cè)試絕對(duì)不應(yīng)該自動(dòng)化?

1.探索性測(cè)試

探索性測(cè)試包括更廣泛的非腳本測(cè)試，這些測(cè)試必不可少，但都是即時(shí)完成的。通常，這些測(cè)試需要一些領(lǐng)域知識(shí)和對(duì)應(yīng)用程序的熟悉才能找出意外行為。由于它們沒(méi)有很好地定義，它們不能被自動(dòng)化。

但是，一旦測(cè)試人員通過(guò)探索性測(cè)試發(fā)現(xiàn)缺陷，這些測(cè)試操作就可以記錄下來(lái)并自動(dòng)化以供將來(lái)構(gòu)建。

2.可用性測(cè)試

如前所述，可用性測(cè)試不應(yīng)該自動(dòng)化，因?yàn)楹茈y預(yù)測(cè)人類行為。這可能包括錯(cuò)誤的字體、顏色或使人們感到困惑的UI。只有在執(zhí)行Beta或QA測(cè)試時(shí)，您才會(huì)知道這些。盡管有一些工具可以嘗試自動(dòng)執(zhí)行此操作，但讓人工查看它更有效(且成本更低)。

自動(dòng)化還是不自動(dòng)化?

測(cè)試自動(dòng)化對(duì)于高效的CI/CD管道至關(guān)重要。測(cè)試自動(dòng)化領(lǐng)域正在進(jìn)行許多創(chuàng)新，例如并行測(cè)試執(zhí)行、DevTestOps、物聯(lián)網(wǎng)測(cè)試自動(dòng)化等。這些自動(dòng)化框架幫助大大縮短了產(chǎn)品的上市時(shí)間并提高了構(gòu)建質(zhì)量。

選擇正確的自動(dòng)化測(cè)試只是為您的組織實(shí)現(xiàn)這一目標(biāo)的第一步，因此更快地測(cè)試、更快地失敗和更快地修復(fù)!