2019年10月26日，由Testin主辦的第二屆NCTS中國云測(cè)試行業(yè)峰會(huì)在京召開，此次峰會(huì)以“AI+未來”為主題，匯聚來自國內(nèi)外測(cè)試領(lǐng)域的知名專家學(xué)者、領(lǐng)先企業(yè)決策者、高層技術(shù)管理者、媒體從業(yè)者等，共同探討高端云測(cè)試技術(shù)，幫助測(cè)試從業(yè)者了解最前沿行業(yè)趨勢(shì)，及最新的行業(yè)實(shí)踐。

[[285501]]

會(huì)上，安暢物聯(lián)網(wǎng)CEO、川測(cè)試模型創(chuàng)始人李龍做《在軟件測(cè)試川模型下網(wǎng)絡(luò)安全產(chǎn)品的自動(dòng)化測(cè)試架構(gòu)設(shè)計(jì)與實(shí)踐分享》。李龍指出，“在進(jìn)行軟件開發(fā)或軟件測(cè)試的項(xiàng)目之前，需要做整體流程的把控。尤其是把測(cè)試人員工作的切入、切出方式、與研發(fā)的無縫對(duì)接方法以及提高軟件質(zhì)量保證的意義提高到一定程度上。而川測(cè)試模型，在借鑒前輩的模型實(shí)踐基礎(chǔ)上，創(chuàng)新性的使用了三條測(cè)試實(shí)施方法正好做到了這幾點(diǎn)。”

以下為李龍演講實(shí)錄：

很高興今天和大家做一個(gè)分享，我沒有想到剛才陳老師作為中國平安的技術(shù)專家，我一直以為他會(huì)分享技術(shù)內(nèi)容，結(jié)果一聽是很多有關(guān)軟件測(cè)試生涯的哲學(xué)問題，確實(shí)受益匪淺。借著剛才陳老師說的話題和大家分享一下，我這個(gè)題目起的有點(diǎn)窄了，但是其實(shí)是很寬泛的話題，主要是以川測(cè)試模型為指導(dǎo)下，我們?cè)跍y(cè)試開發(fā)過程當(dāng)中做的一些自動(dòng)化測(cè)試構(gòu)架的設(shè)計(jì)以及實(shí)踐的分享。

首先講一下軟件測(cè)試模型的使用情況調(diào)查，這個(gè)調(diào)查我是在2014-2015年之間做的，只是取了兩百多個(gè)單位，但是這兩百多個(gè)確實(shí)是國家一些比較前沿的，可以理解成TOP100或者TOP200以內(nèi)的企業(yè)做的一些測(cè)試模型實(shí)際的使用情況。但是結(jié)果其實(shí)不太理想，大家可以看一下，最終有87%的企業(yè)不清楚或不知道我們到底使用什么模型進(jìn)行相關(guān)的軟件測(cè)試或者過程管理的。

原因可能有這些，測(cè)試根據(jù)開發(fā)的思路推進(jìn)，沒有明確的時(shí)間版本或者相關(guān)概念，團(tuán)隊(duì)里更改需求或者人員指派比較隨意。但是我們通過剛才調(diào)查出來的內(nèi)容發(fā)現(xiàn)，之前我們聽說過一些模型，比如V模型、W模型、H模型或者瀑布模型等模型。第一個(gè)問題，測(cè)試與開發(fā)的關(guān)系、歸程到底是否是互融互通的，比如，V和W模型是從上往下嚴(yán)格的節(jié)點(diǎn)關(guān)系，這種節(jié)點(diǎn)關(guān)系很難反推，需求確定了、測(cè)試方案確定了、開發(fā)確定了，我們測(cè)試的時(shí)候，一旦后面反推這個(gè)項(xiàng)目的時(shí)候，基本上很難推翻上面的節(jié)點(diǎn)，這時(shí)會(huì)導(dǎo)致測(cè)試/開發(fā)工作量成倍的增加，質(zhì)量也很難把控。還有比如，測(cè)試對(duì)質(zhì)量的保證意義所處在的層級(jí)，咱們都很清楚，其實(shí)我們應(yīng)該盡早的、盡快的將測(cè)試嵌入到整個(gè)軟件項(xiàng)目或者一個(gè)開發(fā)周期里去。但是，實(shí)際上很多企業(yè)都會(huì)發(fā)現(xiàn)，等到研發(fā)工程師或者研發(fā)部門把他們的設(shè)計(jì)架構(gòu)都已經(jīng)做完了，可能才會(huì)告訴我們，你們開始進(jìn)行測(cè)試吧，去寫測(cè)試需求說明書、寫方案吧，這個(gè)時(shí)候我們已經(jīng)在滯后了，雖然市面上說我們應(yīng)該提前介入但是因?yàn)闆]有合適的規(guī)程、規(guī)范，導(dǎo)致我們沒有辦法提前進(jìn)入。當(dāng)然所有的原因我總結(jié)的很簡單，我們現(xiàn)在所使用的一些測(cè)試的管理規(guī)程、模型，是從國外引進(jìn)的。因?yàn)槲沂菑亩阋粠啄觊_始創(chuàng)業(yè)，到現(xiàn)在為止創(chuàng)了n個(gè)公司，發(fā)現(xiàn)了一些問題，我們應(yīng)該去改變一些東西，用我們自己的規(guī)則去想辦法適合我們現(xiàn)在軟件行業(yè)國情下的軟件測(cè)試的方法模式。這個(gè)時(shí)候我才真正開始研究一套真正適合在中國發(fā)展的軟件測(cè)試的模型，我起的名叫川模型。

大家看這個(gè)圖可以理解一些，這套模型今天算是第二次和大家進(jìn)行分享，最早一次是在上海，上海十周年慶典上做了一次分享。之所以叫川模型，是因?yàn)樵谡麄€(gè)軟件測(cè)試過程當(dāng)中我們是分了三條業(yè)務(wù)執(zhí)行線的，最左邊一條業(yè)務(wù)執(zhí)行線屬于驗(yàn)收測(cè)試的實(shí)施模型；中間這條執(zhí)行線是需求級(jí)的，而最后一條執(zhí)行線是屬于業(yè)務(wù)測(cè)試實(shí)施的流程。這樣在我們整個(gè)軟件測(cè)試過程當(dāng)中，其實(shí)是把一個(gè)測(cè)試團(tuán)隊(duì)分成三類不同的人群，而不是把部門分成了比如自動(dòng)化組、性能組、功能組、安全性組。不是這樣劃分的，我們劃分的模式是把測(cè)試團(tuán)隊(duì)劃分成三條業(yè)務(wù)執(zhí)行線，他們執(zhí)行的內(nèi)容是有區(qū)別的。那么，我們整個(gè)一套系統(tǒng)進(jìn)行敏捷測(cè)試的時(shí)候怎么辦？要快速的迭代出來，快速出測(cè)試報(bào)告、測(cè)試結(jié)果，這時(shí)我們最多使用的是業(yè)務(wù)測(cè)試的實(shí)施流程，相當(dāng)于我們使用基于場景的、風(fēng)險(xiǎn)的、探索的測(cè)試方法論來快速的測(cè)試20%的模塊，而這20%大家也可以理解是八二法則的劃分，它可能隱藏著80%的缺陷，這時(shí)候我們就能夠很快的迭代出這些內(nèi)容，這些迭代的內(nèi)容會(huì)應(yīng)用到敏捷的方法，我講的是一套流程管理體系。

我們相關(guān)行業(yè)在實(shí)際做產(chǎn)品的過程中，不可能每一次都說“我選擇用戶使用最多的一些功能”。它可能只占20%的功能，實(shí)際上是業(yè)務(wù)場景80%以上需求的時(shí)候，不能完全使用業(yè)務(wù)場景的方式來測(cè)試，我們用什么場景？同時(shí)進(jìn)行著需求級(jí)測(cè)試，需求級(jí)測(cè)試是大部分企業(yè)或者合作單位用的最多的，是從需求的，比如案例設(shè)計(jì)、和概要設(shè)計(jì)的對(duì)稱、對(duì)接，中間完成一些測(cè)試的構(gòu)建，比如，包含單元集成、功能、自動(dòng)化、性能穩(wěn)定性測(cè)試，還有相關(guān)的安全測(cè)試等，這個(gè)就比較多了。還有一條線是我們遇到大部分的情況，我們是要把產(chǎn)品交給用戶的，而用戶實(shí)際上他所需要的東西，就是我們一開始和用戶、甲方談出來的，他的驗(yàn)收測(cè)試的內(nèi)容。一開始是要把驗(yàn)收測(cè)試評(píng)定出來的，而這時(shí)候在有個(gè)驗(yàn)收標(biāo)尺的時(shí)候，把驗(yàn)收測(cè)試?yán)锩娴墓δ苄阅茼?xiàng)解決掉，就達(dá)到了驗(yàn)收?qǐng)?zhí)行流程。而整個(gè)三個(gè)方面是在模型提出來到現(xiàn)在試用過程當(dāng)中有幾個(gè)大的企業(yè)，在使用過程當(dāng)中確實(shí)是把測(cè)試的質(zhì)量、覆蓋率已經(jīng)提高到一定檔次了，因?yàn)樗且环N方法論，它是和V模型、W模型相等平的，這套模型在2015年中科院某所和發(fā)改委等這幾個(gè)單位做過發(fā)表，還有在國際上做了一些學(xué)術(shù)的論文，大家可以了解一下。

這套模型解決的問題：1、提高了測(cè)試人員的使命感和榮譽(yù)感，在這個(gè)過程中讓他們認(rèn)同我們作為測(cè)試工程師、測(cè)試負(fù)責(zé)人，我們從項(xiàng)目一開始就應(yīng)該切入了，我們的榮譽(yù)感、使命感這個(gè)時(shí)候是最強(qiáng)的。2、減少過程的冗余，盡早的不斷地進(jìn)行軟件測(cè)試和以測(cè)試者引導(dǎo)開發(fā)等等。這是這些模型解決的問題。

剛才把模型介紹了一下，沒有實(shí)際的方法是紙上談兵，所以今天我把實(shí)際的方法給大家摘出來一些，主要介紹這幾個(gè)部分：1、對(duì)于提前準(zhǔn)備測(cè)試環(huán)境、數(shù)據(jù)的工作的方式方法。2、在自動(dòng)化測(cè)試平臺(tái)搭建的方式方法上。3、專項(xiàng)測(cè)試的設(shè)計(jì)方法；4、基于業(yè)務(wù)、風(fēng)險(xiǎn)、探索的測(cè)試設(shè)計(jì)方法和框架的整合。5、測(cè)試數(shù)據(jù)資料的完備性與可追溯性設(shè)計(jì)與體系的掛鉤。

這里講了基于場景自動(dòng)化的設(shè)計(jì)，著重說一下思維導(dǎo)圖的。口頭聊一下思維導(dǎo)圖的設(shè)計(jì)，因?yàn)樯弦淮畏窒砹耐曛螅芏嗯笥烟貏e關(guān)注基于思維導(dǎo)圖如何進(jìn)行用例或者測(cè)試方案的設(shè)計(jì)和分析。

首先給大家解釋一下我們會(huì)把思維導(dǎo)圖分成兩大部分，一個(gè)是用例分析的模塊，另一塊是我們需求分析的模塊。而需求分析它是分為三步的，第一步是我們的明確需求分析；第二是繼承需求；第三是一些隱含的需求，明確需求大家都理解，我們?cè)谠O(shè)計(jì)測(cè)試方案或者相關(guān)項(xiàng)目方案的時(shí)候，明確需求是很容易獲取到的，它包含一些和甲方的項(xiàng)目開發(fā)合同，也包含一些產(chǎn)品的使用說明書、需求說明書，這是我們可以看到的明確需求相關(guān)的內(nèi)容。繼承需求是什么，我們?cè)谠O(shè)計(jì)用例、方案的時(shí)候，這套產(chǎn)品不是平白無故過來的，一定會(huì)有一個(gè)對(duì)標(biāo)的產(chǎn)品或者對(duì)標(biāo)的項(xiàng)目，我們就要學(xué)會(huì)把它的對(duì)標(biāo)的項(xiàng)目拿過來，比如，同版本的或者是不同版本的，然后相同行業(yè)軟件的，但是不是我們公司自己軟件的時(shí)候，我們把他們的需求給提取過來，然后去做一些測(cè)試需求的提?。坏谌齻€(gè)隱含的，行業(yè)內(nèi)部或者我們的經(jīng)驗(yàn)值，像軍工行業(yè)、安全行業(yè)測(cè)試的時(shí)候有一些國際標(biāo)準(zhǔn)的，國標(biāo)體系、國家強(qiáng)制標(biāo)準(zhǔn)、行標(biāo)，而這里面的內(nèi)容其實(shí)是很多的，但是我們作為測(cè)試人員去設(shè)計(jì)的時(shí)候，往往會(huì)忽略掉這塊，因?yàn)槲覀兊募追?客戶可能不懂，或者我們的產(chǎn)品經(jīng)理也不明白，比如，我們的安全系統(tǒng)或者所有的系統(tǒng)、特種裝備設(shè)備，它的性能要求到底是怎么樣，高低溫要求到底是什么狀態(tài)，甚至我們進(jìn)行一些動(dòng)態(tài)的探索、探測(cè)滲透的時(shí)候達(dá)到什么情況才能滿足這個(gè)要求，有些東西是國標(biāo)、行業(yè)標(biāo)準(zhǔn)甚至國際標(biāo)準(zhǔn)，是完全已經(jīng)規(guī)定好了，但是我們?cè)O(shè)計(jì)的時(shí)候沒有想到的話，就一定會(huì)漏測(cè)或者測(cè)的準(zhǔn)確度是不高的，這是我說的思維導(dǎo)圖需求分析的左半部分。

右半部分是用例分析的模塊方案設(shè)計(jì)。它主要包含六大模塊，第一是功能性測(cè)試，第二是性能測(cè)試，第三是兼容性測(cè)試，第四是穩(wěn)定性測(cè)試，第五是安全性測(cè)試，還有一個(gè)是安裝性測(cè)試。這六個(gè)測(cè)試的用例或者方案設(shè)計(jì)的大體模型把我們整個(gè)測(cè)試的場景已經(jīng)完全給涵蓋進(jìn)去了，這是用例分析。后面還有一些分級(jí)的問題，我們?cè)O(shè)計(jì)相關(guān)的思維導(dǎo)圖的時(shí)候分三個(gè)等級(jí)，因?yàn)榇蠹覜]法形象的看這個(gè)事情，大體聊一下。第一級(jí)就是分為安裝性、功能、性能、穩(wěn)定性、兼容性、安全性這樣幾塊；第二級(jí)是我們對(duì)它進(jìn)行的不同的功能細(xì)節(jié)的劃分，比如像安全性測(cè)試一樣，我們劃分成平臺(tái)安全性、數(shù)據(jù)安全性、業(yè)務(wù)安全性，這么三個(gè)大塊，不同得大塊代表的含義大家也都大體理解一些，我們測(cè)試的時(shí)候不可能只測(cè)試我們的數(shù)據(jù)安全，大部分人都說，安全性測(cè)試用AppScanner就可以了，這個(gè)也是很難的，它有些測(cè)試不全，因?yàn)槲覀冞€有平臺(tái)安全，包含對(duì)于內(nèi)存或者操作系統(tǒng)，尤其國家現(xiàn)在對(duì)于國產(chǎn)化的要求，我們會(huì)用中標(biāo)麒麟或者達(dá)夢(mèng)數(shù)據(jù)庫，金蝶或者WPS。

直接給大家做案例分享。我們做整個(gè)架構(gòu)設(shè)計(jì)的時(shí)候先經(jīng)過了兩個(gè)步驟，第一個(gè)步驟是測(cè)試體系與測(cè)試平臺(tái)的整合；先做的一件事情是把模板進(jìn)行整合，無規(guī)矩不成方圓，大家也都理解，我們是把整個(gè)測(cè)試用例的模板、測(cè)試的計(jì)劃模板、報(bào)告模板全都進(jìn)行平臺(tái)化的整合，它可以讓我們手動(dòng)編寫，但是編寫的所有內(nèi)容都能無縫與自動(dòng)化測(cè)試的平臺(tái)進(jìn)行翻譯和提取，這是第一步要做的；第二步是做方法的整合，把一些測(cè)試的設(shè)計(jì)方法，測(cè)試的執(zhí)行方法和一些分析方法進(jìn)行了合規(guī)化的統(tǒng)計(jì)、標(biāo)注；第三是規(guī)范，測(cè)試流程、測(cè)試評(píng)審的規(guī)范，缺陷管理的規(guī)范，這是第一步做的測(cè)試體系與測(cè)試平臺(tái)整合的內(nèi)容。

第二部分是用例的標(biāo)準(zhǔn)化，大家都理解了，第一是可重用的用例，為什么要說這一點(diǎn)？是因?yàn)槲覀冋嬲O(shè)計(jì)的時(shí)候會(huì)發(fā)現(xiàn)，很多測(cè)試工程師寫的用例，讓第二個(gè)人看的時(shí)候用不了，或者說他看不懂，甚至他要再經(jīng)過二次加工，這個(gè)時(shí)候其實(shí)它的利用率、效益比也是很低的。作為公司是不允許這樣做的，甚至他應(yīng)該是想辦法解決的。這時(shí)候我們這個(gè)平臺(tái)做了一件事情，是把很多通用的測(cè)試用例進(jìn)行了一些標(biāo)準(zhǔn)化的設(shè)計(jì)。比如說測(cè)界面的、測(cè)UI的、測(cè)兼容性的、測(cè)試安全性的，這些所有的用例，整個(gè)提出了一套自動(dòng)化的用例標(biāo)準(zhǔn)庫，任何一個(gè)新入職的員工或者一個(gè)工程師他進(jìn)了這個(gè)標(biāo)準(zhǔn)庫的時(shí)候就完全可以解決所有的問題，就可以重用了，重用之后的下一步就是復(fù)用，不同測(cè)試工程師共享測(cè)試用例庫，這是復(fù)用的概念。

該完善的完善，下一步是整個(gè)流程的把控，這是整個(gè)項(xiàng)目，這個(gè)流程從一開始的調(diào)研階段直到最后驗(yàn)收結(jié)束和提供的測(cè)試報(bào)告，把它規(guī)定的都很清晰。這里面也是分了三條線，大家可以看出來，最上面的線就是驗(yàn)收方案設(shè)計(jì)標(biāo)準(zhǔn)，中間有一個(gè)需求級(jí)和業(yè)務(wù)級(jí)測(cè)試的流程的把控。中間有一個(gè)測(cè)試環(huán)境的搭建，這個(gè)測(cè)試環(huán)境是和業(yè)務(wù)級(jí)測(cè)試以及需求級(jí)測(cè)試是相同的，他們會(huì)用同一套環(huán)境來進(jìn)行實(shí)際的設(shè)計(jì)與測(cè)試。執(zhí)行的時(shí)候，我們用到最多的就是這幾個(gè)模式，使用這套模型測(cè)試的時(shí)候用的最多的是基于任務(wù)、探索的、基于風(fēng)險(xiǎn)和業(yè)務(wù)場景的測(cè)試方法論。大家可以看一下。

說一下平臺(tái)，大家看過這個(gè)平臺(tái)有一個(gè)最大的印象是“這不是一個(gè)簡單的自動(dòng)化測(cè)試的軟件”，它是真正的一套架構(gòu)設(shè)計(jì)的東西”為什么？大家看最底層，我們真正細(xì)?；氖前l(fā)現(xiàn)我們連虛擬機(jī)群、硬件群、測(cè)試標(biāo)準(zhǔn)區(qū)庫、測(cè)試案例庫、產(chǎn)品案例區(qū)、交互區(qū)全都在這個(gè)平臺(tái)里面，而這里面我們真正能用到的自動(dòng)化的平臺(tái)，其實(shí)是中間測(cè)試區(qū)的測(cè)試控制臺(tái)、工具池以及執(zhí)行規(guī)程做的內(nèi)容。這個(gè)時(shí)候我們是真正的打通了所有的人、所有的范圍。這樣平臺(tái)算搭起來的，整個(gè)平臺(tái)監(jiān)控端，這個(gè)平臺(tái)監(jiān)控端是給CTO、CEO等各種O看的，他們能看到我們真正的項(xiàng)目管理、測(cè)試管理還有一些產(chǎn)品研發(fā)測(cè)試的實(shí)際工作的情況。

我們?cè)谡麄€(gè)部署過程當(dāng)中出現(xiàn)過一些小插曲，很多用戶不理解“你這個(gè)自動(dòng)化測(cè)試為什么非要把我的環(huán)境也給我改造、甚至于把我的硬件群、虛擬機(jī)群都相應(yīng)的變更？”我說，不要把自動(dòng)化測(cè)試想象成狹義的測(cè)試軟件，其實(shí)它是很寬泛的。比如我們測(cè)試一個(gè)軟件安裝卸載到底正不正確，有人說我就得用自動(dòng)化測(cè)試工具，那么如果我們用一個(gè)文件目錄監(jiān)控軟件，它能干嗎？在你安裝軟件系統(tǒng)的時(shí)候把這個(gè)軟件打開，里面所有文件目錄的變化，文件的MD5值、注冊(cè)表的更改以及鏈接庫的更改都能監(jiān)控到的話，這也符合自動(dòng)化測(cè)試。因?yàn)橄乱淮卧龠M(jìn)行安裝卸載時(shí)，發(fā)現(xiàn)它更改的地方只是開發(fā)所涉及到的三個(gè)文件，這三個(gè)文件所代表的含義、功能對(duì)大家來說是明確的，你們測(cè)試的時(shí)候是不是有針對(duì)性的知道重點(diǎn)要測(cè)哪些內(nèi)容了？這個(gè)事情，像測(cè)試區(qū)工具池一樣，不一定是測(cè)試軟件，一個(gè)很簡單的文件監(jiān)控軟件也是測(cè)試工具，同樣的，一些注冊(cè)表更改的軟件也算是，哪怕自己寫個(gè)腳本，寫批處理文件，寫個(gè)文件監(jiān)控也可以。這時(shí)不要把測(cè)試自動(dòng)化想的太窄了，很多客戶找我或者一些朋友，他說你教我們做一下自動(dòng)化測(cè)試吧。這些是我們能替代的東西，一旦把環(huán)境、測(cè)試區(qū)、資源區(qū)合在一起的時(shí)候就真正實(shí)現(xiàn)了自動(dòng)化測(cè)試，這么一個(gè)框架。

如圖，這是幾年前搭建起來的，這就是一套環(huán)境，這么多交換機(jī)、路由器之類的設(shè)備，我們測(cè)試是離不開交換機(jī)、路由器的，但是你想領(lǐng)導(dǎo)會(huì)讓你買那么多嗎？不能買，我們自己去構(gòu)造、去改、去寫，因?yàn)榇蠹易鳛榧夹g(shù)都知道，我們是有軟路由的，隨便找到一個(gè)功能機(jī)安裝軟路由軟件，代表路由器，一千塊錢買個(gè)八口的軟路由的工控機(jī)，安裝軟路由軟件至少可以替代四臺(tái)路由器，這時(shí)候我們是把測(cè)試的數(shù)據(jù)準(zhǔn)備出來，用到很多的工具庫、工具池，把任何來的一套系統(tǒng)，測(cè)試的東西都可以在里面的任何一個(gè)節(jié)點(diǎn)無縫的運(yùn)行，把測(cè)試效率提高了很多，這是整個(gè)環(huán)境的狀態(tài)。

自動(dòng)化部署的平臺(tái)圖，有個(gè)上位機(jī)、下位機(jī)、交換機(jī)還有云服務(wù)端的服務(wù)器進(jìn)行相關(guān)的測(cè)試，這里面測(cè)試舉的例子是給他們做嵌入式行業(yè)或者安全行業(yè)的東西，對(duì)于互聯(lián)網(wǎng)金融也一樣，我們只需要把下位機(jī)連接到被測(cè)系統(tǒng)上，通過上位機(jī)的定位，調(diào)取云端服務(wù)器的資源。那些資源是什么，可能剛才跟大家說了，就是我們的工具池、測(cè)試庫、測(cè)試區(qū)、硬件環(huán)境區(qū)相關(guān)的東西，就可以完全進(jìn)行相關(guān)的調(diào)取、監(jiān)控。

這里有幾個(gè)簡單的頁面，大家可以看一下，已經(jīng)集成了很多性能測(cè)試、安全性測(cè)試、自動(dòng)化、環(huán)境搭建等的內(nèi)容。還有寫的小軟件，我們可以自己定制，現(xiàn)在代碼開發(fā)成本這么低，可以用Python、用易語言的模式，寫出我們想要的東西，其實(shí)是很簡單的，還有自我保護(hù)、自動(dòng)化測(cè)試工具的情況，我們看軟件自己的保護(hù)能力、文件變化的情況、注冊(cè)表、目錄、他們監(jiān)控的狀態(tài)。

今天，就給大家分享這些內(nèi)容。