測(cè)試工程師不懂AI，還有未來(lái)嗎？
近幾年人工智能、機(jī)器學(xué)習(xí)等詞漫天遍地，似乎有一種無(wú)AI，無(wú)研發(fā)，無(wú)AI，無(wú)測(cè)試的感覺(jué)。有人說(shuō)：不帶上“智能”二字，都不好意思說(shuō)自己是創(chuàng)新。我們先暫且不評(píng)論對(duì)錯(cuò)，只探討這背后值得我們思考的問(wèn)題。
在測(cè)試領(lǐng)域，人工智能和測(cè)試是什么關(guān)系?為什么測(cè)試領(lǐng)域會(huì)談及人工智能?如果測(cè)試工程師不懂AI，是否有未來(lái)，測(cè)試人員該如何看待“AI測(cè)試”?在軟件質(zhì)量保障中到底應(yīng)該如何循序漸進(jìn)的切入這一話題?業(yè)界在此領(lǐng)域目前現(xiàn)狀是怎樣?帶著這些問(wèn)題，阿里高級(jí)測(cè)試開(kāi)發(fā)專家汪維希望借此和大家做一些交流和探討。
測(cè)試發(fā)展變革史
借用一幅圖先讓我們快速來(lái)回溯一下測(cè)試變革所經(jīng)歷的幾個(gè)不同的時(shí)期，從最早期的純手工測(cè)試，隨著整個(gè)IT技術(shù)的發(fā)展，測(cè)試也歷經(jīng)了不少的變革，每一次變革我們不難發(fā)現(xiàn)側(cè)重點(diǎn)都有所不同。
從最初的驗(yàn)證軟件的可工作狀態(tài)，到強(qiáng)調(diào)釋放生產(chǎn)力的自動(dòng)化訴求，從封閉式的自動(dòng)化能力到基于社區(qū)模式的開(kāi)放式能力建設(shè)，再到從更加全面的研發(fā)流程體系來(lái)構(gòu)建的持續(xù)集成的自動(dòng)化能力，我們不難發(fā)現(xiàn)每次變革背后似乎都有一個(gè)核心詞在推動(dòng)，那就是“效率”。但這個(gè)效率又有所不同，就是不同階段對(duì)于效率在逐漸從單點(diǎn)效率往系統(tǒng)性效率邁進(jìn)。
如果我們認(rèn)為前邊四個(gè)階段都是基于規(guī)則為核心的測(cè)試，而未來(lái)則會(huì)打破這種模式，推動(dòng)這個(gè)核心改變的模式可能主要來(lái)源兩個(gè)方面，第一是研發(fā)技術(shù)的升級(jí)，第二是研發(fā)模式的更加敏捷和分布式開(kāi)發(fā)，這兩者都打破了以規(guī)則為核心的測(cè)試?yán)砟睢?/p>
因?yàn)槲覀兛赡苊鎸?duì)更多的研發(fā)人員，更復(fù)雜的研發(fā)場(chǎng)景，更復(fù)雜多變的應(yīng)用系統(tǒng)，在此基礎(chǔ)上便催生了對(duì)于軟件測(cè)試新的思考，那便是如何讓軟件測(cè)試變得更加的“Smart”，這便是我們正在經(jīng)歷的時(shí)代，不過(guò)很不幸的是，我們可能大多數(shù)情況下測(cè)試還不夠“Smart”，很有可能我們?cè)谀承┣闆r下我們還處于“1980-1990”的時(shí)代，我想這也是測(cè)試人員之痛。
?? 
圖片來(lái)源：https://becominghuman.ai/ai-in-testing-the-third-wave-of-automation-cfdd43f55d9c
如今測(cè)試發(fā)展面臨的主要挑戰(zhàn)
對(duì)于軟件測(cè)試而言，其實(shí)互聯(lián)網(wǎng)的發(fā)展和興起對(duì)軟件測(cè)試的發(fā)展帶來(lái)了巨大的挑戰(zhàn)，這不得不從本質(zhì)問(wèn)題說(shuō)起，相對(duì)互聯(lián)網(wǎng)時(shí)代之前的傳統(tǒng)IT時(shí)代，軟件通常研發(fā)周期較長(zhǎng)，軟件功能龐大，軟件更新頻率較低，軟件是作為支撐企業(yè)業(yè)務(wù)發(fā)展的配套設(shè)施，之所以叫配套設(shè)施，也就是對(duì)于企業(yè)而言及時(shí)沒(méi)有這個(gè)配套設(shè)施，業(yè)務(wù)發(fā)展依然可以進(jìn)行，無(wú)非是管理效率可能會(huì)受到一些影響，而互聯(lián)網(wǎng)時(shí)代，其本質(zhì)上軟件本身就是企業(yè)的商業(yè)模式的核心能力，不再僅僅是一個(gè)配套設(shè)施，而是核心設(shè)施，核心能力，其直接決定了在復(fù)雜多變的商業(yè)環(huán)境中是否具備核心競(jìng)爭(zhēng)力。
因此對(duì)于軟件無(wú)論是在研發(fā)模式、交付模式上都提出了更高、更快的要求，“敏捷”研發(fā)思想和模式應(yīng)運(yùn)而生，敏捷的本質(zhì)是為了獲得更快的Go To Market的能力，從而讓企業(yè)能獲得更快的商機(jī)，在敏捷模式下，本身是一種好事，這種模式下需要軟件更快的交付能力，而不是等著專業(yè)的軟件測(cè)試人員慢吞吞的進(jìn)行功能驗(yàn)證。
如果不是等著專業(yè)的軟件測(cè)試人員進(jìn)行測(cè)試，那還能誰(shuí)來(lái)參與測(cè)試?開(kāi)發(fā)人員?但是開(kāi)發(fā)人員測(cè)試自己的軟件還并沒(méi)有成為主流，大多數(shù)開(kāi)發(fā)人員不會(huì)寫(xiě)測(cè)試來(lái)測(cè)試自己的代碼，他們選擇手工測(cè)試或者等待專業(yè)的測(cè)試人員來(lái)測(cè)試他們的軟件，從而保證軟件可正確運(yùn)行。
這正是測(cè)試面臨的挑戰(zhàn)，如何能讓研發(fā)能參與測(cè)試?很不幸的是，目前AI在此領(lǐng)域還不能幫助太多，但也并非完全不能做什么，在理解這個(gè)問(wèn)題之前，我覺(jué)得有一個(gè)很好的問(wèn)題，就是我們不妨來(lái)思考一下自動(dòng)化測(cè)試的6個(gè)層次與人工智能的關(guān)系。
人工智能測(cè)試的六個(gè)層次
什么是自動(dòng)化測(cè)試的6個(gè)層次?這6個(gè)層次是我目前看到的對(duì)于AI和自動(dòng)化測(cè)試相對(duì)清晰的一個(gè)抽象，先簡(jiǎn)單介紹一下這6個(gè)層次的來(lái)源，這是由Applitools 的高級(jí)架構(gòu)師 Gil Tayar在 Craft Conference 2018上介紹他們?nèi)绾螌?AI 技術(shù)應(yīng)用到自動(dòng)化測(cè)試的內(nèi)容中提到的6個(gè)層次，分別為：
層次一
完全沒(méi)有自動(dòng)，你需要自己寫(xiě)測(cè)試!
層次二
駕駛輔助——AI 可以查看到頁(yè)面，幫助你寫(xiě)出斷言。你還是要自己寫(xiě)“驅(qū)動(dòng)”應(yīng)用程序的代碼，但是 AI 可以檢查頁(yè)面，并確保頁(yè)面中的期望值是正確的。在這種模式下，軟件測(cè)試工程師需要自己用傳統(tǒng)技術(shù)解決流程驅(qū)動(dòng)的問(wèn)題，但無(wú)需在腳本中做Expectation的校驗(yàn)或者無(wú)需用腳本方式寫(xiě)Check Point，而把校驗(yàn)的工作交由AI來(lái)完成，AI技術(shù)在此過(guò)程中核心起到輔助的作用。
層次三
部分自動(dòng)化——雖然能分辨實(shí)際頁(yè)面和期望值的區(qū)別這一點(diǎn)已經(jīng)很好了，但是第二層次的 AI 需要有更深層的理解。比如說(shuō)，如果所有頁(yè)面都有相同的變更，AI 需要認(rèn)識(shí)到這是相同的頁(yè)面，并向我們展示出這些變更。
進(jìn)一步來(lái)說(shuō)，AI 需要查看頁(yè)面的布局和內(nèi)容，將每個(gè)變更分類為內(nèi)容變更或是布局變更。如果我們要測(cè)試響應(yīng)式 web 網(wǎng)站，這會(huì)非常有幫助，即使布局有細(xì)微變更，內(nèi)容也應(yīng)該是相同的。這是 Applitools Eyes 這樣的工具所處的層次。在這種模式下，AI逐漸具備了貫穿上下文的能力，如果相對(duì)層次二而言，層次二停留在”點(diǎn)“上，層次三模式下的AI已經(jīng)具備了”線“的輔助能力。
層次四
條件自動(dòng)化——在第三層，軟件中檢測(cè)的問(wèn)題和變更仍然需要人來(lái)審查。第三層的 AI 可以幫助我們分析變更，但不能僅僅通過(guò)查看頁(yè)面判斷頁(yè)面是否正確，需要和期望值進(jìn)行對(duì)比才能判斷。但是第四層的 AI 可以做到這一方面，甚至更多其他方面，因?yàn)樗鼤?huì)使用到機(jī)器學(xué)習(xí)的技術(shù)。
比如說(shuō)，第四層的 AI 可以從可視化角度查看頁(yè)面，根據(jù)標(biāo)準(zhǔn)設(shè)計(jì)規(guī)則，例如對(duì)齊、空格、顏色和字體使用以及布局規(guī)則，判斷設(shè)計(jì)是否過(guò)關(guān)。AI 也能查看頁(yè)面的內(nèi)容，基于相同頁(yè)面之前的視圖，在沒(méi)有人工干預(yù)的情況下，判斷內(nèi)容是否合理。在這種模式下，AI逐漸具備了自我學(xué)習(xí)的能力，能從”面“上進(jìn)行輔助自動(dòng)化，但這實(shí)現(xiàn)起來(lái)非常的困難，目前相對(duì)不夠成熟。
層次五
高度自動(dòng)化——直到現(xiàn)在，所有 AI 都只是在自動(dòng)化地進(jìn)行檢查。盡管使用自動(dòng)化軟件，還是需要手動(dòng)啟動(dòng)測(cè)試，需要點(diǎn)擊鏈接，而第五層的 AI 可以自動(dòng)啟動(dòng)測(cè)試本身。AI 將通過(guò)觀察啟動(dòng)應(yīng)用程序的真實(shí)用戶的行為，理解如何自己?jiǎn)?dòng)測(cè)試。這層的 AI 可以編寫(xiě)測(cè)試，可以通過(guò)檢查點(diǎn)來(lái)測(cè)試頁(yè)面。
但這不是終點(diǎn)，它還需觀察人的行為，偶爾需要聽(tīng)從測(cè)試人員的指令。在這種模式下，相對(duì)前邊的幾種層次，這個(gè)層次的AI已經(jīng)擺脫了人工”驅(qū)動(dòng)“的模式，核心改變就是從人工”驅(qū)動(dòng)“發(fā)展為”AI“驅(qū)動(dòng)，如果說(shuō)前邊幾種模式還需要測(cè)試人員編寫(xiě)流程驅(qū)動(dòng)腳本，而在這種模式下，測(cè)試人員將擺脫這一束縛。
層次六
完全自動(dòng)化——我必須承認(rèn)，這個(gè)層次有點(diǎn)恐怖。這個(gè)層次的 AI 可以和產(chǎn)品經(jīng)理“交流”，理解產(chǎn)品的標(biāo)準(zhǔn)，自己寫(xiě)測(cè)試，不需要人的幫助。這種模式可能是我們所希望追求的最高境界，或許發(fā)展到這個(gè)階段，測(cè)試這個(gè)崗位需要重新被定義。
?? 
運(yùn)用場(chǎng)景
AI技術(shù)在測(cè)試領(lǐng)域的運(yùn)用并非新鮮話題，但業(yè)界對(duì)此討論的一些方向也值得我們思考和探索AI和ML(機(jī)器學(xué)習(xí))技術(shù)能如何被運(yùn)用到測(cè)試場(chǎng)景，常見(jiàn)的三種運(yùn)用場(chǎng)景包括：
Unit Tests
單元測(cè)試對(duì)于確保每一次Build都能構(gòu)建出穩(wěn)定和具備可測(cè)性的軟件非常重要，但單元測(cè)試的構(gòu)建和維護(hù)本身也面臨很大的挑戰(zhàn)，在業(yè)界例如像RPA這樣的AI-Powered Unit Test工具，試圖幫助開(kāi)發(fā)人員來(lái)更加有效的維護(hù)單元測(cè)試用例，利用AI技術(shù)對(duì)代碼進(jìn)行分析和學(xué)習(xí)，從而有效的減少那些無(wú)用的用例集，從而維護(hù)一個(gè)更加可靠和穩(wěn)定的單元測(cè)試用例庫(kù)。
API Testing
在敏捷開(kāi)發(fā)模式下，測(cè)試人員會(huì)面臨常態(tài)化多變的UI界面，此時(shí)針對(duì)系統(tǒng)API(接口)的測(cè)試其有效性和效率可能會(huì)大于UI自動(dòng)化測(cè)試，在此領(lǐng)域有非常多的一些使用AI技術(shù)的工具能幫助測(cè)試人員對(duì)手工UI測(cè)試自動(dòng)轉(zhuǎn)換為API測(cè)試，從而幫助組織更加高效的構(gòu)建起復(fù)雜和完善的API測(cè)試策略。
UI Testing
目前對(duì)于UI自動(dòng)化測(cè)試主要思想主要還是如何把手工測(cè)試用例轉(zhuǎn)換為自動(dòng)化測(cè)試用例，AI技術(shù)在此場(chǎng)景下目前大多被運(yùn)用在結(jié)果識(shí)別以及多場(chǎng)景的適配測(cè)試領(lǐng)域，從而降低對(duì)UI自動(dòng)化的維護(hù)和運(yùn)行成本。
業(yè)界在AI測(cè)試領(lǐng)域的解決方案
針對(duì)上述提到的運(yùn)用場(chǎng)景和不同的六個(gè)層次，目前業(yè)界在此領(lǐng)域也有非常多的AI Powered Testing Tools，我們可以快速做一個(gè)了解(工具排名不分先后)。
Applitools
這是一個(gè)運(yùn)用了AI技術(shù)的Visual Testing解決方案，他運(yùn)用AI技術(shù)智能化識(shí)別UI界面上那些有價(jià)值性的改動(dòng)，并主動(dòng)識(shí)別其是否是潛在的BUG或者是有意義的改動(dòng)而并非BUG，從而讓自動(dòng)化腳本的維護(hù)從規(guī)則化升級(jí)為智能化，例如下圖中我們可以看到應(yīng)用的圖標(biāo)位置發(fā)生了改變，該工具能自動(dòng)識(shí)別這種變化，其主要主打方向是軟件測(cè)試的Look & Feel領(lǐng)域，或者我們可以叫用戶體驗(yàn)領(lǐng)域。
用該公司自己的話來(lái)說(shuō)其核心價(jià)值如下，從其官方價(jià)值不難看出，其主要解決的問(wèn)題是在軟件UI影響用戶體驗(yàn)的領(lǐng)域，比如像視窗存在遮擋，界面元素顏色、大小、位置可能存在問(wèn)題等，這對(duì)于一些非常重視用戶對(duì)軟件產(chǎn)品體驗(yàn)方面的領(lǐng)域還是具有一定的價(jià)值，而這些領(lǐng)域的測(cè)試如果用傳統(tǒng)的基于規(guī)則的自動(dòng)化，實(shí)現(xiàn)成本和維護(hù)成本會(huì)非常巨大。
Appvance IQ
Appvance公司出品的解決方案，官方宣傳口號(hào)“The Only True AI-Driven Software Test Automation Technology Create 1000's of regression tests in minutes”，翻譯過(guò)來(lái)大致的意思是這是一個(gè)真正的AI驅(qū)動(dòng)的自動(dòng)化測(cè)試解決方案技術(shù)，該技術(shù)能在1分鐘內(nèi)瞬間產(chǎn)生1000個(gè)左右的回歸測(cè)試用例，從官宣口號(hào)中不難可以看出，其主打的是“效率”二字，核心希望解決回歸測(cè)試的痛點(diǎn)，該公司也提出了一個(gè)5層自動(dòng)化模型，這5層模型和前邊提到的6層模型其實(shí)有異曲同工之處。
Eggplant
該工具獲得2019 SIIA CODiE WINNNER(Best DevOps Tool Digital Automation Intelligence Suite)，該工具的Eggplant AI功能號(hào)稱能自動(dòng)創(chuàng)建Test Case，并優(yōu)化測(cè)試執(zhí)行來(lái)發(fā)現(xiàn)更多的BUG，其提出的測(cè)試覆蓋率思想提出了一個(gè)“User Journeys”的思想相對(duì)有些有趣，官方有這么一段介紹“Eggplant AI automatically generates test cases and optimizes test execution to find defects and maximize coverage of user journeys”，其實(shí)這里的Customer Journey也即是我們常常說(shuō)的不同的測(cè)試場(chǎng)景，為了達(dá)到對(duì)于Customer Journey的覆蓋，其核心實(shí)現(xiàn)邏輯抽取出了Model和Tag的概念，前者是Journey建模，后者實(shí)際是數(shù)據(jù)驅(qū)動(dòng)。
?? 
Customer Journey圖片來(lái)源：http://docs.testplant.com/
?? 
Journey建模
圖片來(lái)源：http://docs.testplant.com/
Test.AI
這是業(yè)界比較知名的兩本書(shū)籍(《How Google Tests Software》、《App Quality: Secrets for Agile App Teams》)編寫(xiě)團(tuán)隊(duì)所創(chuàng)建的一個(gè)AI自動(dòng)化測(cè)試平臺(tái)，其核心能力是將AI大腦添加到Selenium和Appium的工具來(lái)提升其智能化能力。
MABL
一幫前Google工程師創(chuàng)辦的企業(yè)，主攻領(lǐng)域就是提供End-To-End的端到端測(cè)試解決方案，AI也是其中很重要的方向，MABL具備自動(dòng)檢測(cè)測(cè)試對(duì)象的變化并動(dòng)態(tài)更新測(cè)試腳本的能力。在傳統(tǒng)的自動(dòng)化測(cè)試中，可能UI界面的類型變化可能會(huì)阻塞腳本執(zhí)行，而MABL具備自動(dòng)識(shí)別的機(jī)制和能力來(lái)緩解這類問(wèn)題。
Sealights
從官方的宣傳口號(hào)來(lái)看，不難看出，其核心定位是利用AI技術(shù)做質(zhì)量管理和質(zhì)量分析和其他幾個(gè)的定位略有不同，主要用戶主要針對(duì)R&D Manager，所以我們可以理解為其核心解決的不是測(cè)試自身的問(wèn)題，而是偏管理方面的問(wèn)題，利用智能化技術(shù)針對(duì)此領(lǐng)域希望能更加智能的給予決策人員更加準(zhǔn)確的決策信息，提高決策效率。
?? 
Sealights圖片來(lái)源：https://www.sealights.io/
?? 
Sealights質(zhì)量趨勢(shì)智能分析圖片來(lái)源：https://www.sealights.io/
ReportPortal
從名字上不難看出，這款工具主要是聚焦在測(cè)試結(jié)果分析和管理方面，這一點(diǎn)和Sealights有些類似，主要基于測(cè)試執(zhí)行的數(shù)據(jù)利用AI和ML技術(shù)進(jìn)行挖掘，來(lái)快速評(píng)估新的風(fēng)險(xiǎn)。
?? 
ReportPortal產(chǎn)品圖片來(lái)源：https://reportportal.io/
Functionlize
該解決方案主打AI自動(dòng)化領(lǐng)域，其核心能力是其所為的AEA(Adaptive Event Analysis)技術(shù)，該技術(shù)能自動(dòng)發(fā)現(xiàn)case執(zhí)行過(guò)程中的Broken問(wèn)題，并自動(dòng)修復(fù)，從而讓你的用例Never Break And NO More Test Maintenance，其利用ML技術(shù)的智能識(shí)別號(hào)稱覆蓋以下一些UI場(chǎng)景，如果在你的測(cè)試中有涉及下邊這些的Change，利用AEA技術(shù)可以自動(dòng)識(shí)別更自動(dòng)更新測(cè)試腳本，無(wú)需人工干預(yù)：
- Size of Element
- Locaiton on Page
- Previous sizes and locations
- Visual configurations
- Xpaths
- CSS Selectors
- Parent and child elements
- Visibility
?? 
除了上述提到的這些目前業(yè)界已有的解決方案以外，還有很多廠商也在自己現(xiàn)有的工具能力中注入了AI和ML的能力，不過(guò)從上述幾個(gè)中我們不難發(fā)現(xiàn)，目前業(yè)界在測(cè)試領(lǐng)域使用AI和ML技術(shù)大致可以分為幾類：
利用Computer Vision(計(jì)算機(jī)視覺(jué))技術(shù)對(duì)測(cè)試結(jié)果進(jìn)行輔助檢測(cè)，對(duì)于檢測(cè)的結(jié)果要么用于結(jié)果判斷，要么用于更新腳本。
利用Natural Language Porcessing(自然語(yǔ)言處理)技術(shù)對(duì)測(cè)試對(duì)象進(jìn)行分析，或者對(duì)測(cè)試數(shù)據(jù)進(jìn)行分析，從而進(jìn)行測(cè)試決策輔助和腳本優(yōu)化。
利用ML(機(jī)器學(xué)習(xí))技術(shù)或者深度學(xué)習(xí)技術(shù)，對(duì)采用CV和NLP技術(shù)所獲得的數(shù)據(jù)進(jìn)行深度加工，從而來(lái)解決自動(dòng)化腳本Break，或者快速創(chuàng)建大量自動(dòng)化腳本的目的。
小結(jié)
在我看來(lái)AI技術(shù)的發(fā)展應(yīng)該是測(cè)試人員需要重點(diǎn)關(guān)注的領(lǐng)域，我們往往會(huì)因?yàn)橛行┘夹g(shù)可能當(dāng)下并不成熟，或者當(dāng)下并沒(méi)有很好的落地場(chǎng)景，從而忽略對(duì)未來(lái)技術(shù)的關(guān)注度，在測(cè)試領(lǐng)域?qū)τ贏I的探索也是如此，同時(shí)不難發(fā)現(xiàn)在業(yè)界其實(shí)已經(jīng)有非常多的公司已經(jīng)在自己的商業(yè)化解決方案中注入了AI能力，這種趨勢(shì)也是值得我們持續(xù)關(guān)注，最后我個(gè)人比較推薦在AI領(lǐng)域的落地和時(shí)間可以嘗試從本文提到的6個(gè)層次模型中去由淺入深的探索，這有利于在AI和測(cè)試的道路上有層次的循序漸進(jìn)。
【本文為51CTO專欄作者“阿里巴巴官方技術(shù)”原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)聯(lián)系原作者】
