一、測(cè)試策略是什么？

引自查字典：

策略：

基本含義：指為達(dá)到某種目的而制定的行動(dòng)方案或計(jì)劃。

詳細(xì)解釋：策略是指在特定情況下為達(dá)到某種目的而采取的有系統(tǒng)性的行動(dòng)方案或計(jì)劃。它通常包括分析、決策和執(zhí)行三個(gè)階段。策略的制定需要綜合考慮各種因素，包括目標(biāo)、資源、環(huán)境和競(jìng)爭(zhēng)等。策略的好壞直接關(guān)系到目標(biāo)的實(shí)現(xiàn)效果。

策略是為目的/目標(biāo)服務(wù)的，且策略是自帶背景/特定情況的，一定要識(shí)別到背景形勢(shì)的發(fā)展和變化，然后才能制定針對(duì)性的謀略、計(jì)策。

測(cè)試策略有兩層背景疊加：業(yè)務(wù)大背景和項(xiàng)目小背景。下文提到的測(cè)試策略有時(shí)指代業(yè)務(wù)級(jí)測(cè)試策略，有時(shí)指代項(xiàng)目級(jí)測(cè)試策略，如果無特指強(qiáng)調(diào)，則是在探討兩類測(cè)試策略的共同特點(diǎn)。

1.1 什么前提下開始探討測(cè)試策略呢？

當(dāng)你有多種測(cè)試方案時(shí)。如果你只有一個(gè)測(cè)試方案一條路，那就沒什么選擇余地；只有當(dāng)多種測(cè)試方案都滿足基本要求，但又各有優(yōu)劣時(shí)，才會(huì)涉及到如何選擇、取舍。每一次的選擇取舍，抽象出的方法論，就是策略。就像棋類大師在每一步棋的選擇上各有理由，但背后都有著同一套分析和決策思路，那套思路就是策略。

1.2 什么時(shí)候迫切需要測(cè)試策略呢？

當(dāng)你的測(cè)試方案差異比較大的時(shí)候。測(cè)試方案有三個(gè)方向的指標(biāo)：質(zhì)量、效率、成本，這三者同時(shí)也是一個(gè)不可能三角：

質(zhì)量，先結(jié)合業(yè)務(wù)發(fā)展和研發(fā)模式綜合制定質(zhì)量標(biāo)準(zhǔn)，再以多維度指標(biāo)衡量質(zhì)量結(jié)果。（敲黑板：質(zhì)量是被定義出來的。）

效率和成本，要放在人工和機(jī)器兩個(gè)視角下同時(shí)看：

效率通常以項(xiàng)目為衡量單位，即人工效率和機(jī)器執(zhí)行效率雙重影響下的項(xiàng)目交付/發(fā)布效率。除此之外，效率也包括了自動(dòng)化研發(fā)效率、自動(dòng)化運(yùn)行效率、協(xié)同效率等局部效率。

成本則包括了項(xiàng)目?jī)?nèi)成本和項(xiàng)目外成本，效率驅(qū)動(dòng)下，質(zhì)量同學(xué)大多會(huì)追求自動(dòng)化率，自動(dòng)化率就體現(xiàn)了項(xiàng)目?jī)?nèi)成本從人工轉(zhuǎn)化到機(jī)器的程度。從人成本看，項(xiàng)目外的成本主要是平臺(tái)工具的開發(fā)運(yùn)維投入，這部分成本會(huì)大幅高于單次項(xiàng)目使用時(shí)的人力成本，從機(jī)器成本看，則涉及多次多方使用的平攤，追求環(huán)境利用率也就是盡可能攤薄單次使用成本。另外，成本還有時(shí)間因素，初期建設(shè)成本要在后面多次使用中逐步攤平。大家吐槽的重復(fù)造輪子，問題不是輪子不好用，而是反復(fù)付出的建設(shè)成本和使用者的學(xué)習(xí)成本太多。

圖片

不可能三角的相互影響舉例：

1)提升質(zhì)量=>提高測(cè)試覆蓋率=>增加測(cè)試點(diǎn)，其他條件相同情況下，會(huì)導(dǎo)致效率降低，增加成本

2)提升效率=>提升執(zhí)行效率=>提升自動(dòng)化程度，其他條件相同情況下，會(huì)導(dǎo)致項(xiàng)目外的自動(dòng)化建設(shè)成本增加。

3)降低成本=>降低人成本或降低機(jī)器成本，兩種方式通常都會(huì)對(duì)質(zhì)量產(chǎn)生負(fù)向影響，效率有可能提升也可能下降。

以上例子可以看到，三角的任一角正向提升時(shí)，都對(duì)另外一角或兩角產(chǎn)生了負(fù)向影響，工作中，我們需要讓三角關(guān)系處于平衡狀態(tài)，每一角的表現(xiàn)都保持在可接受范圍。

綜上，當(dāng)你具備多種測(cè)試方案/路徑，且他們的質(zhì)量、效率、成本三角指標(biāo)表現(xiàn)差異明顯時(shí)，你需要分析并決策測(cè)試策略，使三角保持在適當(dāng)?shù)钠胶鈶B(tài)。

1.3 測(cè)試策略和測(cè)試方案的關(guān)系是怎樣的？

前文提到，測(cè)試策略是用來選擇測(cè)試方案的，那么是現(xiàn)有測(cè)試方案，再抽象出選擇原則作為測(cè)試策略？還是先有測(cè)試策略，再生成測(cè)試方案？

我們先把測(cè)試策略和測(cè)試方案拆分到業(yè)務(wù)級(jí)和項(xiàng)目級(jí)兩個(gè)語境之下，探討業(yè)務(wù)級(jí)測(cè)試策略、業(yè)務(wù)級(jí)測(cè)試方案（業(yè)務(wù)級(jí)測(cè)試方案這個(gè)概念不常用，可以等同于日常工作中講的業(yè)務(wù)質(zhì)量體系）、項(xiàng)目級(jí)測(cè)試策略、項(xiàng)目級(jí)測(cè)試方案四者的關(guān)系。

以我的個(gè)人經(jīng)驗(yàn)來看，在新業(yè)務(wù)（新產(chǎn)品或新技術(shù)棧）初始期、發(fā)展期、成熟期：這四者的關(guān)系分別對(duì)應(yīng)下面三張圖：

圖片

圖片

如果是成熟質(zhì)量團(tuán)隊(duì)承接新業(yè)務(wù)，就可以直接進(jìn)入下圖四象限循環(huán)、螺旋式上升狀態(tài)。這也是大公司在新開業(yè)務(wù)時(shí)，都會(huì)主動(dòng)調(diào)撥一些經(jīng)驗(yàn)豐富同學(xué)的原因，這時(shí)候，個(gè)體經(jīng)驗(yàn)需要從項(xiàng)目抽象到業(yè)務(wù)，從測(cè)試方案抽象到測(cè)試策略，才能更快的做遷移復(fù)用。

圖片

小結(jié)：測(cè)試策略是測(cè)試方案的抽象，測(cè)試策略又指導(dǎo)了測(cè)試方案的具象化。兩者就是雞生蛋，蛋生雞的關(guān)系。    

1.4 測(cè)試策略的要素包括哪些？

測(cè)試策略包括的維度很廣，核心要素是測(cè)什么：即測(cè)試范圍、測(cè)試目標(biāo)；向內(nèi)細(xì)分怎么測(cè)，即測(cè)試工作的時(shí)空分布，什么時(shí)候，以什么測(cè)試方法測(cè)；向外要求測(cè)試基礎(chǔ)設(shè)施支撐：環(huán)境、工具、數(shù)據(jù)；

測(cè)什么、怎么測(cè)、測(cè)試基礎(chǔ)設(shè)施支撐、這三個(gè)要素都和質(zhì)量、效率、成本三目標(biāo)有相關(guān)性，但側(cè)重點(diǎn)有所區(qū)分：測(cè)什么和質(zhì)量強(qiáng)相關(guān)，怎么測(cè)，目標(biāo)是為了質(zhì)量，同時(shí)也影響了效率成本的表現(xiàn)。測(cè)試基礎(chǔ)設(shè)施則同時(shí)關(guān)聯(lián)三個(gè)維度，能不能測(cè)（質(zhì)量），測(cè)的快不快（效率），測(cè)的費(fèi)不費(fèi)勁（成本）。

說到這，測(cè)試策略的全景就呼之欲出了:

先從質(zhì)量維度，定義測(cè)什么（測(cè)試范圍、測(cè)試目標(biāo)），同時(shí)也就定義了不測(cè)什么（極端異常測(cè)不測(cè)？用戶體驗(yàn)是不是目標(biāo)？）質(zhì)量維度要求越高，測(cè)試范圍越大，測(cè)試目標(biāo)越高。放在業(yè)務(wù)背景下：如金融業(yè)務(wù)和搜索業(yè)務(wù)相比，質(zhì)量要求高，測(cè)試覆蓋率要求高，測(cè)試精準(zhǔn)度要求也更高。

從質(zhì)量目標(biāo)和當(dāng)下能力確定怎么測(cè)（從多種方案中選擇）之后，再從效率成本角度，進(jìn)行平衡評(píng)估。同樣考慮到背景信息：如果當(dāng)下業(yè)務(wù)對(duì)效率要求更高，那么可以增大成本提高并發(fā)執(zhí)行效率，如果成本有上限，那么為了效率可以對(duì)質(zhì)量目標(biāo)打一點(diǎn)小折扣，或者為了質(zhì)量可以接受一定程度的低效率，把三者調(diào)整成符合業(yè)務(wù)需求的平衡狀態(tài)。

測(cè)試基礎(chǔ)設(shè)施呢？測(cè)試基礎(chǔ)設(shè)施為了同時(shí)支撐質(zhì)量效率成本三目標(biāo)，以技術(shù)的方式，綜合提升三目標(biāo)的整體表現(xiàn)，即用技術(shù)做到：質(zhì)量更好，效率更高，同時(shí)成本持平甚至更低。這也是為什么對(duì)測(cè)試團(tuán)隊(duì)考核時(shí)，測(cè)試工程能力的權(quán)重會(huì)日益增加。就是因?yàn)榭咳酥荒茏龅饺繕?biāo)的相對(duì)平衡，靠工程（測(cè)試基礎(chǔ)設(shè)施）才能做到三目標(biāo)絕對(duì)總分的提升。

細(xì)心的同學(xué)可能會(huì)看出，三角指標(biāo)中，我總是會(huì)把質(zhì)量放在最前面。因?yàn)橘|(zhì)量是測(cè)試的首要職責(zé)，是測(cè)試工作存在的基礎(chǔ)前提。也更因?yàn)橘|(zhì)量是業(yè)務(wù)存活以及發(fā)展的前提。大家日常可能會(huì)吐槽說某某團(tuán)隊(duì)不重視質(zhì)量，仔細(xì)回想下，這個(gè)團(tuán)隊(duì)能接受質(zhì)量極差，天天故障的狀態(tài)嗎？不可能的。換句話說，有什么業(yè)務(wù)會(huì)嫌棄質(zhì)量太好嗎？。。。如果你感知到你的主管或業(yè)務(wù)方對(duì)質(zhì)量的要求不高，和你標(biāo)準(zhǔn)不一致，可以細(xì)細(xì)分析下，是不是高質(zhì)量標(biāo)準(zhǔn)帶來的效率、成本，有點(diǎn)拖后腿了？如果我們能解決效率成本問題，高質(zhì)量絕對(duì)是我們的一貫追求。所以在三角指標(biāo)中，我會(huì)把質(zhì)量放在引領(lǐng)地位。

最后，測(cè)試策略還有一個(gè)非常重要的要素：組織協(xié)同：什么角色測(cè)，其他角色如何協(xié)作。

可能有讀者看到“什么角色測(cè)”，會(huì)覺得多此一問：不就是因?yàn)闇y(cè)試人員負(fù)責(zé)測(cè)試，我們才來探討測(cè)試策略么？這個(gè)問題的答案太顯而易見了吧。注意，如果有這種想法，可以把此處作為一個(gè)提醒，要先練習(xí)跳出測(cè)試角色看測(cè)試工作。

業(yè)務(wù)級(jí)測(cè)試策略是為業(yè)務(wù)服務(wù)的，項(xiàng)目級(jí)測(cè)試策略是為項(xiàng)目服務(wù)的。既然測(cè)試策略是服務(wù)于業(yè)務(wù)、項(xiàng)目的，那么所有業(yè)務(wù)、項(xiàng)目的干系人，都有責(zé)任和義務(wù)支持最優(yōu)的測(cè)試策略落地應(yīng)用，那么“什么角色測(cè)”，取決于各角色知識(shí)、技能、工作流程的最優(yōu)匹配，而不應(yīng)被已有分工所限定。

比如單元測(cè)試，為什么通常是開發(fā)在測(cè)？不是因?yàn)闇y(cè)試做不了單元測(cè)試，而是測(cè)試負(fù)責(zé)單元測(cè)試的信息成本太高（開發(fā)寫代碼自然知道代碼的設(shè)計(jì)細(xì)節(jié)，而測(cè)試需要額外付出了解成本）。

再比如為什么要有pd/業(yè)務(wù)驗(yàn)收環(huán)節(jié)？是因?yàn)轵?yàn)收過程不僅能驗(yàn)證產(chǎn)品實(shí)現(xiàn)是否符合prd設(shè)計(jì)，還能兼顧prd沒有覆蓋的用戶體驗(yàn)部分，pd/業(yè)務(wù)在這方面也比技術(shù)角色更擅長(zhǎng)。

最后還有開發(fā)自測(cè)項(xiàng)目這個(gè)經(jīng)典場(chǎng)景。我個(gè)人始終如一的支持部分項(xiàng)目由開發(fā)自測(cè)，原因是，對(duì)于改動(dòng)小，風(fēng)險(xiǎn)小的項(xiàng)目，開發(fā)、測(cè)試完全能夠達(dá)成一致的質(zhì)量結(jié)果，且如果測(cè)試方法明確，測(cè)試工具易用，開發(fā)也能夠做到和測(cè)試持平的效率表現(xiàn)，兩角表現(xiàn)相等情況下，開發(fā)還能夠節(jié)省一份溝通協(xié)作成本（類似單元測(cè)試，節(jié)省自我溝通成本），那么這部分協(xié)作成本就是開發(fā)自測(cè)在不可能三角的正向收益。那么什么樣的項(xiàng)目不適合開發(fā)自測(cè)？從上文可以看出，適合的項(xiàng)目前提是兩個(gè)角色在質(zhì)量、效率表現(xiàn)相同，如果這個(gè)前提被打破（由于崗位職責(zé)、專業(yè)能力差異，測(cè)試比開發(fā)表現(xiàn)更優(yōu)），這類項(xiàng)目就需要做取舍：成本的正向收益 Vs 質(zhì)量效率的負(fù)向收益。這也就是為什么：復(fù)雜、大體量業(yè)務(wù)中只有部分項(xiàng)目能夠開發(fā)自測(cè)，高風(fēng)險(xiǎn)項(xiàng)目一定需要專職測(cè)試團(tuán)隊(duì)承接。（有些外部公司據(jù)說是沒有專職測(cè)試團(tuán)隊(duì)的，那么需要確認(rèn)業(yè)務(wù)風(fēng)險(xiǎn)類型，以及是否有專職保障此類風(fēng)險(xiǎn)的團(tuán)隊(duì)。）

小結(jié)：測(cè)試策略的四大要素：測(cè)什么，怎么測(cè)，測(cè)試基礎(chǔ)設(shè)施支撐，組織協(xié)同，共同服務(wù)業(yè)務(wù)、項(xiàng)目的三角指標(biāo)（質(zhì)量、效率、成本）

二、測(cè)試策略背后的boss：三角指標(biāo)

2.1 測(cè)試策略如何保持三角平衡？

既然測(cè)試策略是服務(wù)于三角指標(biāo)，那么三角指標(biāo)的整體表現(xiàn)就是測(cè)試策略的評(píng)價(jià)標(biāo)準(zhǔn)。好的測(cè)試策略能做到三角表現(xiàn)平衡，特別是業(yè)務(wù)級(jí)測(cè)試策略，它能持續(xù)作用于業(yè)務(wù)發(fā)展各階段，跨越周期更長(zhǎng)。在這個(gè)過程中，外部壓力或內(nèi)部發(fā)展變化都會(huì)擾動(dòng)三角的平衡態(tài)。我們要做的是先感知到失衡，并且判斷具體失衡位置和程度，再通過測(cè)試策略進(jìn)行調(diào)整，回歸平衡。

質(zhì)量維度：如果線上出現(xiàn)重大質(zhì)量問題，即質(zhì)量表現(xiàn)嚴(yán)重偏離預(yù)期時(shí)，需要以質(zhì)量為牽引，先要讓質(zhì)量回歸到穩(wěn)定態(tài)，這時(shí)候通常組織會(huì)投入更多成本（包括不限于人、組織、機(jī)器資源），不論是手工測(cè)試還是自動(dòng)化測(cè)試，都以增加質(zhì)量覆蓋率為目的，同時(shí)容忍效率的降低。

效率維度：當(dāng)研發(fā)效率或業(yè)務(wù)發(fā)布效率被頻繁提及時(shí)，說明效率維度偏離了組織預(yù)期，可能是預(yù)期提高了，也可能是效率表現(xiàn)降低了，在重新明確效率預(yù)期后，不可能三角要圍繞效率做再平衡。這時(shí)候先通過增加成本，即增加人或機(jī)器的并發(fā)工作來提高執(zhí)行效率，如果還不能達(dá)到要求，則需慎重考慮質(zhì)量預(yù)期是否可調(diào)，以減少執(zhí)行時(shí)間，提高效率。注意，如果要下調(diào)質(zhì)量預(yù)期，一定要得在所有角色層面達(dá)成一致。

成本維度：如果質(zhì)量效率都表現(xiàn)ok，成本就是默認(rèn)的內(nèi)在驅(qū)動(dòng)力。由于成本可以細(xì)分為人、機(jī)器兩個(gè)視角，組織期望降低人成本或降低機(jī)器成本時(shí)，都需要調(diào)整測(cè)試策略，進(jìn)行再平衡。

總結(jié)來說，當(dāng)組織內(nèi)部的聲音開始在三角的某一角上逐步聚集時(shí)，特別是有一些badcase出現(xiàn)時(shí)，就說明三角開始失衡，需要我們主動(dòng)去做再平衡。而再平衡的策略也很簡(jiǎn)單：質(zhì)量?jī)?yōu)先，效率其次，最后由成本作為持續(xù)驅(qū)動(dòng)。

還有一個(gè)反向小技巧：如果在某一個(gè)角上頻繁獲獎(jiǎng)或獲得高度評(píng)價(jià)，說明此處表現(xiàn)已經(jīng)顯著超出預(yù)期，需要適當(dāng)多考慮一下其他兩個(gè)角。

2.2 不可能三角真的不可能嗎？

三角指標(biāo)真的不可能一起提升嗎？其實(shí)從前面分析已經(jīng)提供了線索：技術(shù)。只有通過技術(shù)創(chuàng)新，才有可能整體性提升質(zhì)量、效率、成本表現(xiàn)。技術(shù)的成本收益的規(guī)律如圖所示：

圖片

新技術(shù)在初期付出研發(fā)成本，在后期應(yīng)用時(shí)收回收益，質(zhì)量領(lǐng)域的技術(shù)不論是質(zhì)量收益（不可測(cè)變可測(cè)），還是效率收益（同等交付下效率更快），都遵循上述投入、回本、持續(xù)收益三大階段的規(guī)律，如果我們能到持續(xù)收益期，那么不可能三角就可以全局性提升。如何在長(zhǎng)周期變化情況下，選擇正確的技術(shù)方案，在未來的某日能夠通過質(zhì)量效率收益收回技術(shù)投入成本，進(jìn)入持續(xù)收益期，這就是測(cè)試負(fù)責(zé)人的終極考驗(yàn)。反之，如果技術(shù)無用或技術(shù)本身投入或維護(hù)成本過大，要么平白增加投入成本，要么回收期就會(huì)很長(zhǎng)，而且很可能碰到業(yè)務(wù)變化，等不到回本的那一天。

從上圖可以看出：成本相比質(zhì)量效率，需要更長(zhǎng)的周期才能全面衡量，同時(shí)成本有項(xiàng)目?jī)?nèi)和項(xiàng)目外兩種成本（類似表內(nèi)和表外），最典型的測(cè)試工具平臺(tái)開發(fā)、技術(shù)架構(gòu)改造，這類工作有時(shí)會(huì)包含在某一個(gè)業(yè)務(wù)項(xiàng)目?jī)?nèi)完成，有時(shí)獨(dú)立為技術(shù)項(xiàng)目自運(yùn)作，更多時(shí)候，這類成本會(huì)散落在項(xiàng)目間隙中，比如工具維護(hù)，排查，答疑等等。

對(duì)于測(cè)試負(fù)責(zé)人，除了關(guān)注項(xiàng)目?jī)?nèi)成本，更要關(guān)注整體性成本。一是長(zhǎng)周期下收益的變化，一些技術(shù)效果會(huì)逐步腐化削弱，是否還能提供足夠的收益沖抵成本，需要持續(xù)關(guān)注，二是成本積累效應(yīng)，散落成本會(huì)隨時(shí)間逐步積累到一定規(guī)模，要考慮歷史積累到現(xiàn)在的維護(hù)成本，組織是否還能支撐。

2.3 有沒有成本減少后，質(zhì)量效率降低的情況？

這種情況可接受嗎？

有。

舉兩個(gè)質(zhì)量表現(xiàn)降低的例子：一種情況是某種原因?qū)е聹y(cè)試投入被動(dòng)減少（比如出現(xiàn)測(cè)試人員離職轉(zhuǎn)崗），線上問題有增加，但沒有出嚴(yán)重故障。另一種情況是業(yè)務(wù)發(fā)生變化，如業(yè)務(wù)量下降，線上問題的嚴(yán)重程度下降，組織主動(dòng)減少了測(cè)試投入，線上問題有增加。這兩種情況都出現(xiàn)了投入成本的降低和質(zhì)量表現(xiàn)的下降，唯一區(qū)別是因果順序，主動(dòng)被動(dòng)之分），兩種情況的共同點(diǎn)是，質(zhì)量表現(xiàn)仍在業(yè)務(wù)允許范圍內(nèi)。請(qǐng)注意：質(zhì)量指標(biāo)是多維度指標(biāo)，問題數(shù)量、問題影響面（時(shí)長(zhǎng)、用戶量）、問題對(duì)客表現(xiàn)等質(zhì)量子指標(biāo)都是獨(dú)立變動(dòng)的。如果有某個(gè)質(zhì)量子指標(biāo)下降時(shí)，就需要考慮這個(gè)子指標(biāo)對(duì)全局質(zhì)量影響的權(quán)重，以及具體下降程度，來判斷質(zhì)量整體表現(xiàn)是否可接受。畢竟我們的質(zhì)量表現(xiàn)不是每天都在生死存亡線上勉強(qiáng)維持，所以總有一部分空間是可以接受波動(dòng)的。這個(gè)話題更適合總結(jié)為“業(yè)務(wù)質(zhì)量標(biāo)準(zhǔn)制定”, 本文不做過多展開。

成本降低時(shí)，如果原本資源就很緊張，那效率一定會(huì)體現(xiàn)出降低，而且更容易體現(xiàn)在主觀體感上：不論是投訴測(cè)試太慢的聲音變多，或是測(cè)試排期開始變得困難，或是大家感覺測(cè)試周期比預(yù)期長(zhǎng)了，這些都是短期效率下降的信號(hào)。注意：主觀體感和客觀指標(biāo)的差異在于，主觀體感對(duì)個(gè)別異常case會(huì)感受強(qiáng)烈，放大短期表現(xiàn)，而客觀指標(biāo)觀察的是一段時(shí)間周期內(nèi)的均值表現(xiàn)，通常不會(huì)劇烈變化，如發(fā)布周期、測(cè)試周期、回歸周期、測(cè)試開發(fā)周期比等指標(biāo)，也就更適合做中長(zhǎng)期評(píng)價(jià)。那么短期效率表現(xiàn)降低時(shí)，是否一定要解決呢？是否一定要補(bǔ)充資源（增加投入成本）來解決呢？我個(gè)人的思路是，先觀察分析當(dāng)下成本結(jié)構(gòu)（人、機(jī)器）和效率要求的沖突點(diǎn)在哪里，未來發(fā)展趨勢(shì)是什么，是短期波動(dòng)還是長(zhǎng)期影響，客觀效率指標(biāo)變化趨勢(shì)如何，整體效率表現(xiàn)（主觀+客觀）是否仍在大組織可接受范圍內(nèi)，再?zèng)Q策是否解決以及如何解決。對(duì)解決方法的探討更適合總結(jié)為“測(cè)試模式與測(cè)試梯隊(duì)能力建設(shè)”，本文也不做過多展開。

從以上的探討可以看出，對(duì)質(zhì)量、效率來說，都沒有絕對(duì)客觀的衡量標(biāo)準(zhǔn)，即使各個(gè)維度都有客觀指標(biāo)，最終也需要有一個(gè)主觀定義的目標(biāo)值。而目標(biāo)值的設(shè)定和業(yè)務(wù)發(fā)展、組織要求息息相關(guān)，有時(shí)還要參考同行表現(xiàn)，以保持團(tuán)隊(duì)競(jìng)爭(zhēng)力。

三、測(cè)試策略怎么落地？

就像把大象關(guān)進(jìn)冰箱一樣，三個(gè)步驟：

1.打開冰箱門=瞄準(zhǔn)目標(biāo)：確定三角指標(biāo)的具體衡量指標(biāo)和目標(biāo)值。這一步是在制定質(zhì)量標(biāo)準(zhǔn)、團(tuán)隊(duì)kpi/OKR時(shí)就應(yīng)該已經(jīng)完成的。重點(diǎn)是冰箱（業(yè)務(wù)）本身。

2.評(píng)估測(cè)試策略在三角指標(biāo)的表現(xiàn)。這個(gè)步驟就是“把大象放進(jìn)去”，即問題的本質(zhì)步驟。上文講了很多測(cè)試策略和三角指標(biāo)的聯(lián)動(dòng)關(guān)系、觀測(cè)信號(hào)、調(diào)優(yōu)方式等，但每個(gè)測(cè)試策略的實(shí)際表現(xiàn)必須放在具體的業(yè)務(wù)、技術(shù)、團(tuán)隊(duì)中衡量，即對(duì)應(yīng)到具體的大象、冰箱實(shí)例場(chǎng)景中。

3.選擇匹配度最高的測(cè)試策略。像關(guān)冰箱門一樣簡(jiǎn)單直接。如果這一步?jīng)]法對(duì)比匹配度，請(qǐng)回到上一步。

舉幾個(gè)場(chǎng)景：

1. 大體量業(yè)務(wù)上新啟動(dòng)了一個(gè)戰(zhàn)略項(xiàng)目，如何制定項(xiàng)目級(jí)測(cè)試策略？

先解題，幾個(gè)關(guān)鍵詞：大體量、新、戰(zhàn)略項(xiàng)目。

業(yè)務(wù)體量大=業(yè)務(wù)質(zhì)量要求高，并且一定已經(jīng)有了一些基礎(chǔ)測(cè)試體系，新啟動(dòng)，代表有新功能新特性甚至新產(chǎn)品新業(yè)務(wù)模式出現(xiàn)。戰(zhàn)略項(xiàng)目說明重要程度，也代表了對(duì)質(zhì)量、效率（交付進(jìn)度）的高標(biāo)準(zhǔn)要求。

接下來就是先明確項(xiàng)目質(zhì)量目標(biāo)和發(fā)布時(shí)間目標(biāo)，再參考目前團(tuán)隊(duì)人員，初步判斷是否能以現(xiàn)行業(yè)務(wù)級(jí)測(cè)試策略支撐。如果新功能部分所需要的人員技能是目前人員技能無法支撐的，那么招聘、借調(diào)、培訓(xùn)都需要盡快做起來，如果以現(xiàn)有人員配置能夠支撐質(zhì)量工作，但效率目標(biāo)和質(zhì)量目標(biāo)有沖突，那么一定要確認(rèn)成本、效率、質(zhì)量三角權(quán)重關(guān)系。對(duì)戰(zhàn)略項(xiàng)目而言，優(yōu)選增加成本投入，保障質(zhì)量效率目標(biāo)，其次選擇微調(diào)質(zhì)量或效率目標(biāo)。微調(diào)質(zhì)量效率目標(biāo)都需要以質(zhì)量為key：按照功能或按照質(zhì)量風(fēng)險(xiǎn)的表現(xiàn)型，區(qū)分出重大風(fēng)險(xiǎn)和小風(fēng)險(xiǎn)，優(yōu)先保障重大風(fēng)險(xiǎn)，小風(fēng)險(xiǎn)則可以進(jìn)行風(fēng)險(xiǎn)報(bào)備、風(fēng)險(xiǎn)緩釋（灰度觀察）、延后保障（發(fā)布后補(bǔ)測(cè)）等。

實(shí)際上，戰(zhàn)略項(xiàng)目的重要程度，通常值得團(tuán)隊(duì)做一些前置工作，比如在開發(fā)階段同步做自動(dòng)化測(cè)試用例開發(fā)，或提前開發(fā)測(cè)試工具，都可以提升測(cè)試階段的執(zhí)行效率。本質(zhì)是把一部分測(cè)試階段的工作量折疊到開發(fā)階段同步進(jìn)行，減小測(cè)試階段質(zhì)量效率目標(biāo)的沖突程度。

2. 新啟動(dòng)的業(yè)務(wù)，如何制定初始期業(yè)務(wù)級(jí)測(cè)試策略？

新啟動(dòng)業(yè)務(wù)，如果完全沒有可繼承的三角目標(biāo)、標(biāo)準(zhǔn)、質(zhì)量體系積累，甚至團(tuán)隊(duì)都還在組建過程，那么先恭喜你，這是一個(gè)沒有技術(shù)負(fù)債的場(chǎng)景。沒有歷史包袱，就大膽的追求完美吧！

首先基于業(yè)務(wù)形態(tài)，分析業(yè)務(wù)質(zhì)量表現(xiàn)維度，定義指標(biāo)和目標(biāo)值，可以參考同類業(yè)務(wù)的現(xiàn)行指標(biāo)和目標(biāo)值，然后和業(yè)務(wù)、研發(fā)團(tuán)隊(duì)探討業(yè)務(wù)研發(fā)模式，確定效率目標(biāo)，如項(xiàng)目制、班車制、獨(dú)立發(fā)布o(jì)r全局發(fā)布。最后參考技術(shù)棧和業(yè)務(wù)經(jīng)驗(yàn)兩類能力要求搭建測(cè)試梯隊(duì)。

定好了目標(biāo)，就在實(shí)踐中進(jìn)行迭代優(yōu)化。每一個(gè)項(xiàng)目的測(cè)試方案都是我們迭代的基礎(chǔ)，每一個(gè)bug都是我們優(yōu)化的線索。項(xiàng)目測(cè)試方案不僅是為了保障單個(gè)項(xiàng)目，還要在項(xiàng)目后復(fù)盤總結(jié)測(cè)試方案的優(yōu)劣，從質(zhì)量、效率、成本三個(gè)角度綜合評(píng)價(jià)。漏測(cè)指標(biāo)是質(zhì)量的抓手，重復(fù)性的工作量是效率的抓手，測(cè)試方案優(yōu)化后也不僅是用于當(dāng)下的項(xiàng)目測(cè)試，還可以用過往的項(xiàng)目做回溯分析，時(shí)刻記住，除了當(dāng)下的項(xiàng)目，更重要是面向未來交付業(yè)務(wù)級(jí)測(cè)試策略。參考業(yè)務(wù)復(fù)雜度和人員經(jīng)驗(yàn)，一般3-6個(gè)月內(nèi)就可以完成初版業(yè)務(wù)測(cè)試策略了。

3. 成熟業(yè)務(wù)順利運(yùn)轉(zhuǎn)中，如何定期刷新業(yè)務(wù)級(jí)測(cè)試策略？

既然是成熟業(yè)務(wù)，潛臺(tái)詞是目前三角表現(xiàn)平衡，那么此時(shí)需要分析未來半年、一年甚至三年期間，業(yè)務(wù)會(huì)面臨什么樣的變化，質(zhì)量效率目標(biāo)會(huì)有什么變化。比如市場(chǎng)中出現(xiàn)了新的強(qiáng)大競(jìng)對(duì)，競(jìng)爭(zhēng)態(tài)勢(shì)會(huì)對(duì)迭代效率提出更高要求；比如業(yè)務(wù)進(jìn)入高增長(zhǎng)期，用戶量業(yè)務(wù)量急遽增加，此時(shí)會(huì)對(duì)穩(wěn)定性、性能提出更高要求；再比如產(chǎn)品形態(tài)發(fā)生變化，從原本異步交互轉(zhuǎn)為實(shí)時(shí)交互，這也是對(duì)質(zhì)量的挑戰(zhàn)。識(shí)別到三角目標(biāo)的變化趨勢(shì)，才能提前布局，建設(shè)技術(shù)能力，在業(yè)務(wù)需要時(shí)就能直接落地應(yīng)用，產(chǎn)生收益。

在預(yù)判未來趨勢(shì)過程中，尤其要注意業(yè)務(wù)模式或產(chǎn)品形態(tài)的變化，它們通常會(huì)帶來風(fēng)險(xiǎn)類型的變化。如原本獨(dú)立經(jīng)營(yíng)的金融業(yè)務(wù)，引入了合作機(jī)構(gòu)，轉(zhuǎn)變?yōu)槠脚_(tái)生態(tài)型時(shí)，風(fēng)險(xiǎn)引入和風(fēng)險(xiǎn)表現(xiàn)都增加了機(jī)構(gòu)端，會(huì)對(duì)三角指標(biāo)都帶來顯著影響。再比如原本免費(fèi)的業(yè)務(wù)開始對(duì)某些場(chǎng)景進(jìn)行收費(fèi)，或營(yíng)銷活動(dòng)增加了現(xiàn)金類優(yōu)惠，這些業(yè)務(wù)變化都代表著業(yè)務(wù)有了資金屬性，那么相應(yīng)的資金類風(fēng)險(xiǎn)也應(yīng)全盤考慮。

除了分析未來變化趨勢(shì)，還需要對(duì)現(xiàn)狀有更全面細(xì)致的了解，雖然是三角平衡，但三角不可能都是完美表現(xiàn)，針對(duì)每一角的具體表現(xiàn)提出更高要求，分析現(xiàn)狀的差距，也能夠指明我們的提升方向：質(zhì)量?jī)?yōu)先、效率其次、成本持續(xù)驅(qū)動(dòng)。

這個(gè)場(chǎng)景說來簡(jiǎn)單，實(shí)操最難。因?yàn)槌墒鞓I(yè)務(wù)下，從業(yè)務(wù)團(tuán)隊(duì)、研發(fā)團(tuán)隊(duì)傳導(dǎo)到質(zhì)量團(tuán)隊(duì)的壓力相對(duì)可控，如果質(zhì)量負(fù)責(zé)人自驅(qū)力不足，很容易陷入戰(zhàn)術(shù)性的忙碌中，畢竟項(xiàng)目一個(gè)接一個(gè)，peer只關(guān)心我們交付的結(jié)果，對(duì)測(cè)試策略難以感知、也很少提出建議和要求。質(zhì)量負(fù)責(zé)人必須要持續(xù)跟蹤質(zhì)量、效率、成本表現(xiàn)，定期回溯分析質(zhì)量策略執(zhí)行情況，主動(dòng)刷新測(cè)試策略，調(diào)優(yōu)三角表現(xiàn)。

4. 再舉一個(gè)極端場(chǎng)景，有一個(gè)大項(xiàng)目（開發(fā)+測(cè)試工時(shí)>1000人日），因?yàn)榉N種原因需要倒排發(fā)布，倒排后只有正常周期的一半，怎樣保證發(fā)布質(zhì)量和發(fā)布時(shí)間？

這個(gè)場(chǎng)景的問題本質(zhì)是效率和質(zhì)量的明確沖突，最簡(jiǎn)單方案是調(diào)整第三角 -- 成本目標(biāo)，也就是加人/加班增加投入時(shí)間來解決。此處極端場(chǎng)景強(qiáng)調(diào)了倒排只有一半周期，基本已經(jīng)無法通過單純加班解決（個(gè)人經(jīng)驗(yàn)值：加班極限是同等自然日內(nèi)增加50%工作量，很難做到增加100%）。加人也有可能無人可加，或即使有其他項(xiàng)目人員可以借調(diào)，如果沒有匹配的經(jīng)驗(yàn)積累，加人并不能等比例提高效率，還會(huì)因?yàn)樾录映蓡T需要有經(jīng)驗(yàn)成員的傳幫帶，更加占用原有項(xiàng)目人員的投入。

所以如果增加成本不能解決效率和質(zhì)量沖突時(shí)，我們還有哪些策略可做？

倒排等同于效率目標(biāo)中的交付日期鎖定。那么效率目標(biāo)的其他目標(biāo)是否有可調(diào)空間？列舉幾個(gè)可調(diào)整角度：

1)提測(cè)日期提前，把測(cè)試周期盡可能拉長(zhǎng)。分批提測(cè)也是類似思路，都是把實(shí)際測(cè)試工作執(zhí)行的時(shí)間盡可能往前提。把測(cè)試時(shí)間窗口拉長(zhǎng)，以容納工作量。

2)在開發(fā)階段提前準(zhǔn)備測(cè)試工具，提高測(cè)試執(zhí)行階段效率。

3)在開發(fā)階段提前準(zhǔn)備測(cè)試自動(dòng)化用例，提高測(cè)試case并發(fā)效率。還能充分利用夜間時(shí)間，擴(kuò)展case執(zhí)行周期。

以上兩條的測(cè)試工具和自動(dòng)化用例就不用再遵從默認(rèn)的成本收益回收策略，而是專注于解決此次項(xiàng)目交付要求，增加執(zhí)行并行度。這也是通過增加投入解決效率問題，只不過不是增加新人，而是用項(xiàng)目原有測(cè)試人員，在研發(fā)階段進(jìn)行提前投入。

如果調(diào)整成本、效率，都不能解決，就需要慎重考慮質(zhì)量目標(biāo)這個(gè)角了。同樣列舉幾個(gè)可調(diào)整角度：

1）部分功能延后發(fā)布。如理財(cái)業(yè)務(wù)中，有一種最低持有期的理財(cái)產(chǎn)品，申購后一定日期后才能贖回，那么可以和業(yè)務(wù)技術(shù)協(xié)商，先保證申購功能的測(cè)試覆蓋，再在項(xiàng)目發(fā)布后，贖回功能尚未打開這個(gè)短短的小窗口內(nèi)，補(bǔ)充保證贖回功能的測(cè)試覆蓋。這樣可以把一些功能的質(zhì)量保證工作后置，減少倒排周期的影響。

2）評(píng)估后裁剪部分回歸測(cè)試用例集?；貧w用例顧名思義是此次變更不涉及修改，仍應(yīng)保持原有功能的用例，如果時(shí)間充裕，回歸用例需要實(shí)際執(zhí)行并確認(rèn)結(jié)果，但如果時(shí)間非常緊張，且沒有過往成熟的回歸自動(dòng)化快速執(zhí)行，那么可以通過評(píng)估系統(tǒng)實(shí)現(xiàn)方案+CR后確認(rèn)是否有部分回歸功能不受此次變更影響，然后裁剪該部分回歸測(cè)試用例。

特別提醒?。≡u(píng)估后裁剪部分回歸用例集，能顯著減小工作量，但評(píng)估不全（系統(tǒng)歷史設(shè)計(jì)未考慮到，CR不全等）導(dǎo)致這部分回歸用例產(chǎn)生漏測(cè)的案例也比比皆是。所以這個(gè)策略風(fēng)險(xiǎn)極高，對(duì)核心回歸功能不建議采用該策略。對(duì)非核心回歸功能也要謹(jǐn)慎進(jìn)行。

3）對(duì)核心回歸功能，更建議做功能場(chǎng)景覆蓋調(diào)整。一個(gè)功能的用例集可以細(xì)分為多種觸發(fā)場(chǎng)景條件的具體用例（case），這里也基本遵循二八原理：80%的用戶場(chǎng)景（用戶操作流量或業(yè)務(wù)數(shù)據(jù)等價(jià)類）密集落在20%的場(chǎng)景上，而剩下80%的場(chǎng)景，流量分布更稀疏，觸發(fā)概率更小。舉例某個(gè)業(yè)務(wù)功能用例集涉及150個(gè)用例：

這種情況下，從150個(gè)場(chǎng)景用例中，優(yōu)先選擇用戶操作流量占比最大的用例（如選擇80個(gè)用例，可覆蓋99%流量），即可大幅減少測(cè)試時(shí)間。這樣可以保證大范圍業(yè)務(wù)沒問題，讓可能遺漏的問題只表現(xiàn)在小范圍業(yè)務(wù)流量上，減小影響面。未選擇的用例，是發(fā)布后觀察線上表現(xiàn)，還是在發(fā)布后驗(yàn)證或補(bǔ)測(cè)，也可以根據(jù)具體業(yè)務(wù)情況進(jìn)行策略再確認(rèn)。

灰度也是類似道理，通過灰度比例控制新代碼生效的業(yè)務(wù)流量占比，以此控制可能問題的影響面。

特別提醒??！該策略僅能用于問題影響在業(yè)務(wù)上可接受的情況，如果是高風(fēng)險(xiǎn)場(chǎng)景，如高客單業(yè)務(wù)的資損風(fēng)險(xiǎn)，一筆操作可能就會(huì)觸發(fā)一個(gè)P1，仍然不建議采用該策略。

4)發(fā)布后進(jìn)行線上驗(yàn)證。和第一條延后發(fā)布不同，如果存在線下測(cè)試成本極高，線上測(cè)試成本很低的情況（如一些歷史數(shù)據(jù)構(gòu)造成本大，使用線上數(shù)據(jù)成本?。梢曰谛士紤]，在發(fā)布后在線上進(jìn)行驗(yàn)證。由于項(xiàng)目已發(fā)布，那么一定要同步發(fā)布線上監(jiān)控核對(duì)觀察線上表現(xiàn)，且第一時(shí)間進(jìn)行線上驗(yàn)證，把可能的問題影響面控制到最小。

5)以上除了第一條延后發(fā)布不會(huì)帶來實(shí)際質(zhì)量風(fēng)險(xiǎn)外，2,3,4都有質(zhì)量風(fēng)險(xiǎn)，那么要補(bǔ)充兩點(diǎn)：

a)已知線下測(cè)試裁剪或未覆蓋的場(chǎng)景，必須要有線上主動(dòng)發(fā)現(xiàn)能力。

b)已知會(huì)產(chǎn)生線上問題可能的場(chǎng)景，必須要測(cè)算線上風(fēng)險(xiǎn)敞口（線上pv *時(shí)長(zhǎng) * 影響表現(xiàn)，如果涉及客訴的，要計(jì)算客訴轉(zhuǎn)化率），并進(jìn)行相應(yīng)業(yè)務(wù)報(bào)備。

以上是比較簡(jiǎn)化的幾個(gè)場(chǎng)景。其實(shí)業(yè)務(wù)的變化時(shí)刻在發(fā)生，每個(gè)團(tuán)隊(duì)也一直以專業(yè)能力見招拆招，是著眼于一個(gè)月的變化，還是預(yù)判一年的變化？對(duì)業(yè)務(wù)級(jí)測(cè)試負(fù)責(zé)人而言，需要把視野拉到業(yè)務(wù)全局，把目標(biāo)放到三角整體，每一個(gè)測(cè)試策略的決策，要兼顧當(dāng)下和未來，避免只見樹木不見森林。更重要的是，如果沒有明顯的當(dāng)下的問題，要把成本作為默認(rèn)驅(qū)動(dòng)，用技術(shù)的方法持續(xù)優(yōu)化三角表現(xiàn)。

總結(jié)：測(cè)試策略對(duì)測(cè)試中長(zhǎng)期布局有著非常重要的意義，對(duì)測(cè)試負(fù)責(zé)人來說，解決問題只是基礎(chǔ)要求，在多種有效方案中選擇最優(yōu)解，才是更大的挑戰(zhàn)。通過三角目標(biāo)做牽引，對(duì)業(yè)務(wù)做預(yù)判，刷新目標(biāo)，主動(dòng)規(guī)劃，時(shí)刻調(diào)整，和業(yè)務(wù)共同應(yīng)對(duì)不確定的未來，才能持續(xù)為業(yè)務(wù)保駕護(hù)航。