一、H3C測試體系

平臺測試。其主要負責H3C的基礎軟件平臺的測試，包括平臺新開發(fā)項目的驗收測試，持續(xù)集成新特性的平臺主線的系統(tǒng)級測試，以及一些專項測試(如協(xié)議專項測試)。專項測試是指H3C專指測試團隊針對重要特性或不穩(wěn)定特性主動發(fā)起的短時間，高強度測試，人員精干，目標聚焦，重點突破，通常效果非常好，能極大提升被測對象的成熟度。H3C所有測試團隊都可根據(jù)需要發(fā)起專項測試。

產(chǎn)品測試。除了少量產(chǎn)品TR4之前項目驗收測試之外，產(chǎn)品測試主要關(guān)注產(chǎn)品TR4之后產(chǎn)品版本的系統(tǒng)測試，包含SDV/SIT/SVT幾個階段，確保產(chǎn)品版本達到H3C制定的質(zhì)量標準。

鑒定測試。這是H3C特有的一個環(huán)節(jié)，為了更嚴格的保證產(chǎn)品質(zhì)量，H3C引入了內(nèi)部的獨立第三方測試團隊——鑒定測試團隊，代表用戶對產(chǎn)品進行全方位的嚴酷測試，沒有通過鑒定測試的產(chǎn)品不能大規(guī)模上市，工作重點在于對產(chǎn)品版本的ADCP(部分產(chǎn)品EDCP)進行獨立嚴格的驗收鑒定測試，做為產(chǎn)品版本的TR6根本質(zhì)量依據(jù)。同時，針對行業(yè)和應用的解決方案也有相應的鑒定測試團隊。

二、 PTM產(chǎn)品測試管理流程

1. PTM產(chǎn)品測試管理流程

H3C的產(chǎn)品開發(fā)遵循的是IPD流程，軟件測試是IPD-PTM(Product Testing Management)流程。PTM是IPD流程體系中專門為產(chǎn)品測試工作量身打造的子流程，是IPD的關(guān)鍵子流程之一，用于指導產(chǎn)品的全流程測試工作，是H3C的產(chǎn)品測試端到端管理流程，和其他子流程(如IPD-CMMI，IPD-HCMM等)一道，共同確保產(chǎn)品團隊能按計劃、高效的推出滿足客戶需求的高質(zhì)量產(chǎn)品。IPD全周期中各產(chǎn)品開發(fā)階段都有對應的測試活動(如圖1所示)。從實踐來看，這個流程對于大型軟件的質(zhì)量保障非常有效。PTM的主要特點和作用如下：

PTM為產(chǎn)品測試抽象出覆蓋完整生命周期的統(tǒng)一測試業(yè)務流程，明確劃分了生命周期中各測試階段，定義了各測試階段的關(guān)鍵測試活動，使測試團隊的工作開展可以有章可循，有法可依;

PTM為產(chǎn)品測試活動制定了操作規(guī)范，度量標準和審計手段，并提供經(jīng)過實踐檢驗的方法、工具支持以及IT支撐，使測試工作的開展更高效，對測試質(zhì)量和產(chǎn)品質(zhì)量的評價也能更客觀、更全面;

PTM為產(chǎn)品測試構(gòu)建了端到端的開放流程平臺，使測試及缺陷修復活動中的各類經(jīng)驗和數(shù)據(jù)得以長期有效積累，為測試技術(shù)、缺陷分析技術(shù)、缺陷修復技術(shù)的研究提供決策方向，使測試和開發(fā)過程成為可持續(xù)優(yōu)化的閉環(huán)。

圖1測試生命周期(PTM和IPD各階段對應)

PTM是IPD流程體系中專門為產(chǎn)品測試工作量身打造的子流程，用于指導產(chǎn)品的全流程測試工作。從圖1的流程要求可以看出，在產(chǎn)品的概念階段測試即介入產(chǎn)品研發(fā)，需要任命測試經(jīng)理(TM)和測試系統(tǒng)工程師(TSE)，并組建產(chǎn)品測試團隊。

Charter到TR3，對應測試需求分析和計劃階段。在設計層面，產(chǎn)品要完成從產(chǎn)品包需求，到產(chǎn)品規(guī)格，再到概要設計的設計過程，相應的，TM和TSE可需要完成從可測試需求，到測試規(guī)格，再到測試點的測試設計過程;在計劃層面，產(chǎn)品要完成E2E*(注：即end to end，端到端)總體計劃到3/4級計劃的細化過程，相應的，TM和TSE需要輸出E2E測試計劃和E2E測試策略，作為后續(xù)測試活動開展的總綱。具體上講，TR1產(chǎn)品重點關(guān)注產(chǎn)品包需求的完備性以及選擇的產(chǎn)品概念是否滿足產(chǎn)品包需求，測試相應的定義產(chǎn)品可測試性需求，納入產(chǎn)品包需求進行跟蹤;CDCP制訂產(chǎn)品E2E計劃，測試相應的制訂E2E測試計劃(總體)，為后續(xù)測試活動繪制路線圖;TR2重點關(guān)注產(chǎn)品設計需求到產(chǎn)品設計規(guī)格的完備性，測試通過進行產(chǎn)品測試需求分析，輸出產(chǎn)品測試規(guī)格，明確后續(xù)測試內(nèi)容的總綱;TR3確保設計規(guī)格已經(jīng)完全、正確地在概要設計中得到體現(xiàn)，測試則根據(jù)產(chǎn)品測試規(guī)格進一步細化輸出測試點;PDCP產(chǎn)品輸出3/4級E2E計劃，測試則輸出細化的E2E測試策略和E2E測試計劃。測試需求分析和計劃階段非常重要，且往往易被忽視。該階段測試工作做的扎實，系統(tǒng)的可靠性、測試的完備性等方面都能得到很好的保障，有經(jīng)驗的TM和TSE也可以通過E2E計劃和策略，很好的控制后期測試活動的節(jié)奏。

TR2到TR4，對應測試設計階段，主要任務是完成測試前期設計，包括測試方案設計和測試用例設計兩個階段。在測試方案設計階段前期，TSE需要帶領測試設計團隊在產(chǎn)品測試規(guī)格的基礎上，對特性、特性組合或者典型應用的測試需求進行進一步的分析和細化得到測試項;針對各個測試項，明確測試需要的網(wǎng)絡環(huán)境、背景配置、背景流量以及測試中使用的測試工具和測試儀器。測試用例設計階段則是在測試方案中已經(jīng)定義好的環(huán)境中，進一步確定需要具體輸入哪些測試數(shù)據(jù)，采取哪些測試步驟和測試操作對測試項進行驗證。這個階段相當于開發(fā)團隊的編碼階段，本階段的工作非常關(guān)鍵，因為后續(xù)的測試執(zhí)行要做到有序有效必須依靠良好的測試設計。這個時候測試組必須規(guī)模投入，否則不可能做好大量的測試設計工作。

TR4到TR6階段，是測試執(zhí)行階段。這是整個產(chǎn)品測試生命周期中持續(xù)時間最長，投入最大的階段，TR4之前所有的測試工作，像測試計劃，測試策略和測試設計都將在這個階段接受檢驗。從這個時候起，產(chǎn)品測試團隊的作用明顯的體現(xiàn)出來——測試團隊的工作直接決定了產(chǎn)品的進度和質(zhì)量，一個優(yōu)秀的測試團隊將是高質(zhì)量產(chǎn)品的最佳保障。該階段分為以下三個測試階段，測試目的和測試重點各有不同。

1) SDV階段(TR4-TR4A)：System Design Verification 系統(tǒng)設計驗證。關(guān)注系統(tǒng)基本功能測試，包括模塊基本功能、命令行、協(xié)議一致性、性能規(guī)格、壓力等測試以及簡單的組合測試。可視產(chǎn)品質(zhì)量情況，在后期適當開展部分SIT階段的測試內(nèi)容。

2) SIT階段(TR4A-TR5)：System Integration Test 系統(tǒng)集成測試。對于軟件測試團隊來說，壓力測試，多模塊組合測試，大規(guī)模的組網(wǎng)測試是這階段的主要測試內(nèi)容，力求覆蓋所有模塊。

3) SVT階段(TR5-TR6)：System Verification Test 系統(tǒng)驗證測試。這個階段產(chǎn)品已經(jīng)比較穩(wěn)定了，軟件測試團隊的測試內(nèi)容和SIT階段相仿，但更多的是通過分析產(chǎn)品測試數(shù)據(jù)，針對薄弱環(huán)節(jié)進行重點測試和專項測試。

TR6到GA階段，對應產(chǎn)品測試關(guān)閉階段，主要目標是評估產(chǎn)品質(zhì)量并積累經(jīng)驗數(shù)據(jù)。主要工作包括：依據(jù)各階段的度量數(shù)據(jù)，評估產(chǎn)品質(zhì)量，預測遺留缺陷;結(jié)合測試SOW和E2E測試計劃評估測試是否達到目標;積累經(jīng)驗數(shù)據(jù)，作為后續(xù)產(chǎn)品測試改進的依據(jù)。

GA以后，PTM流程結(jié)束，退出產(chǎn)品測試。

2. PTM流程產(chǎn)品具體應用說明

PTM是一個全流程的系統(tǒng)工作，其應用目標是把握軟件產(chǎn)品的質(zhì)量，。下面具體談談在H3C產(chǎn)品IPD開發(fā)流程中，如何利用PTM全流程地把握產(chǎn)品質(zhì)量。

在產(chǎn)品概念階段，測試團隊就開始介入，在產(chǎn)品規(guī)格、客戶應用方面提出自己的建議，尤其這個階段必須完成產(chǎn)品的可測試性需求。這個階段要保證我們的產(chǎn)品與其定位相符，能夠滿足客戶需求，同時保持競爭優(yōu)勢。達不到這些基本要求，談不上好質(zhì)量。

在產(chǎn)品計劃階段，測試團隊需要根據(jù)產(chǎn)品開發(fā)計劃，確定產(chǎn)品總體測試計劃，并制定總體測試策略。另外，在這個階段，測試團隊需要建立測試需求跟蹤矩陣，確保產(chǎn)品的每個設計需求、設計規(guī)格以及典型的客戶應用都有對應的測試需求來進行跟蹤。

在產(chǎn)品開發(fā)階段，測試團隊的主要任務是完成測試設計，即確定測試方案和測試用例，明確在什么樣的測試環(huán)境中，采用什么樣的測試儀器和測試工具，構(gòu)建什么樣的業(yè)務流量，采取哪些測試步驟對產(chǎn)品的每個測試需求進行驗證。在H3C，每個軟件特性項目，在以開發(fā)團隊為主的單元測試、集成測試和系統(tǒng)測試活動之外，還有測試團隊組織的編碼層面的代碼鑒定，以及項目功能層面的驗收測試，對每個軟件特性的質(zhì)量層層把關(guān)。相對獨立的特性層面之外，我們還有一個產(chǎn)品層面的驗收測試，確保產(chǎn)品的功能性能規(guī)格得到了100%實現(xiàn)，并且沒有阻塞測試的致命和嚴重問題。只有產(chǎn)品的每個軟件特性，以及整個產(chǎn)品都通過了驗收，才能進入下一個產(chǎn)品驗證階段。

產(chǎn)品驗證階段，事實上就是產(chǎn)品的系統(tǒng)測試階段。在這個階段，前后會有兩個團隊對產(chǎn)品展開測試。首先是產(chǎn)品測試團隊，會依據(jù)內(nèi)部研發(fā)版本發(fā)布節(jié)奏，分多個輪次對產(chǎn)品的功能、性能和穩(wěn)定性全方位測試，并且開展復雜環(huán)境，復雜組網(wǎng)下的多特性組合測試。在產(chǎn)品測試團隊完成測試之后，等待產(chǎn)品的還有另外一個更嚴酷的考驗，即測試中心獨立的鑒定測試，測試中心在H3C內(nèi)部被產(chǎn)品稱為“魔窟”。測試中心會對產(chǎn)品在大規(guī)模組網(wǎng)，大規(guī)模壓力，復雜操作情況下對產(chǎn)品的功能、性能和穩(wěn)定性進行鑒定測試，測試環(huán)境比產(chǎn)品真實應用環(huán)境更加復雜，更加嚴酷，對產(chǎn)品質(zhì)量是重大的考驗。代表客戶的獨立、嚴格的鑒定測試的加入，是H3C質(zhì)量保障非常有特色的一點。產(chǎn)品通過鑒定測試的標準是鑒定DI小于6，并且嚴重以上問題都必須有規(guī)避措施。只有達到了這樣的標準，產(chǎn)品才能被批準正式大規(guī)模發(fā)布。

3. 結(jié)束語

流程的好壞在于是否實用，好的流程能夠通過正確的過程導出正確的結(jié)果。PTM就是這樣一種實用的流程，它在H3C研發(fā)體系運用多年，通過持續(xù)的優(yōu)化和改進，至今仍保持著強大的生命力。隨著測試技術(shù)理論和實踐的日新月異，濃縮了H3C測試經(jīng)驗的PTM，也將不斷持續(xù)它生命中的黃金時代。

IPD(Integrated Product Development)流程介紹

IPD流程對一個產(chǎn)品包從概念到生命周期管理階段結(jié)束所需所有流程的主要活動進行管理。流程分為6個階段：概念、計劃、開發(fā)、驗證、發(fā)布和生命周期。DCP標志著大多數(shù)階段的結(jié)束。在每個DCP，PDT/LMT經(jīng)理完成階段退出決策評審材料，并向產(chǎn)品線IPMT匯報材料，提出繼續(xù)前進或終止項目或重新確定方向的建議。

2.2.1 概念階段

Ÿ 目的是保證PDT根據(jù)項目任務書，對市場機會、需求、質(zhì)量、潛在的技術(shù)和制造方法/風險，成本/進度預測和財務影響進行(概要地)評估和歸檔。

Ÿ 概念決策評審點(CDCP)是概念階段的終點。

2.2.2 計劃階段

Ÿ 計劃階段的目的是將產(chǎn)品包/解決方案業(yè)務計劃擴展成詳細的產(chǎn)品包定義，啟動對開發(fā)方法的正式規(guī)劃，包括完整的產(chǎn)品定義、開發(fā)與制造方法、銷售與營銷計劃、項目管理計劃、產(chǎn)品支持計劃、詳細的進度以及財務分析。

Ÿ 計劃決策評審點(PDCP)是計劃階段的終點。

2.2.3 開發(fā)階段

Ÿ 包括產(chǎn)品設計、集成和驗證、制造工藝設計/實施、性能、技術(shù)或構(gòu)建模塊和制造風險評估的各個方面。

Ÿ 開發(fā)階段退出是開發(fā)階段的結(jié)束，退出的主要標準是成功進行TR5。

2.2.4 驗證階段

Ÿ 以成功完成內(nèi)部測試和向制造發(fā)布為起點。包括進行硬件/軟件壓力測試，標準和規(guī)格的一致性測試，以及獲得專業(yè)認證。

Ÿ 驗證階段退出的主要標準是成功進行TR6。

Ÿ 產(chǎn)品線IPMT批準通過可獲得性決策評審點(ADCP)或終止項目或重新確定方向?？色@得性決策評審是要保證產(chǎn)品包做好發(fā)布的準備。

2.2.5 發(fā)布階段

Ÿ 該階段是以決定繼續(xù)進入到產(chǎn)品包發(fā)布和GA開始的。發(fā)布階段包括達到量產(chǎn)的準備，填充管道和制定最終的盈虧計劃。

Ÿ 一般可獲得性(GA)是指產(chǎn)品包可以大批量交付給H3C客戶的時間。

2.2.6 生命周期階段

Ÿ 生命周期階段在GA開始，包括產(chǎn)品生命周期內(nèi)對產(chǎn)品包營銷/銷售，生產(chǎn)及服務的監(jiān)控。在生命周期階段會出現(xiàn)：停止生產(chǎn)(EOM)檢查點，停止銷售(EOS)檢查點，停止服務與支持 (EOL)檢查點。當所有與停止服務及支持相關(guān)的活動都完成時，生命周期階段就結(jié)束了。

IPD TR(Technical Review)是指IPD流程中定義的TR1、TR2、TR3、TR4、TR4A、TR5、TR6等7個技術(shù)評審點。用于檢查IPD實施到一定階段以后產(chǎn)品的技術(shù)成熟度，發(fā)現(xiàn)遺留的技術(shù)問題，評估存在的技術(shù)風險，給出技術(shù)上的操作建議。

(1)TR1

在概念階段CDCP前針對產(chǎn)品包需求和產(chǎn)品概念的評審。TR1重點關(guān)注產(chǎn)品包需求的完備性以及選擇的產(chǎn)品概念是否滿足產(chǎn)品包需求。

(2)TR2

在計劃階段對產(chǎn)品設計規(guī)格的評審。TR2重點關(guān)注產(chǎn)品設計需求到產(chǎn)品設計規(guī)格的完備性。

(3)TR3

TR3是在計劃階段對概要設計(HLD)的評審，確保設計規(guī)格已經(jīng)完全、正確地在概要設計中得到體現(xiàn)。TR3的結(jié)果將作為開發(fā)階段的后續(xù)詳細設計活動是否繼續(xù)投入資源的根據(jù)。

(4)TR4

TR4保證Building Block用于系統(tǒng)級構(gòu)建之前是完整的。對于一次構(gòu)建(Build)涉及到的每一個Building Block，應該有且僅有一次TR4對其進行評審。任何不符合規(guī)定的情況都應該在TR4問題記錄中得到記錄，并進行風險評估。

(5)TR4A

TR4A：在SDV完成后，對產(chǎn)品技術(shù)上的成熟度進行評估，確保所有存在的問題和風險都進行了評估，并生成了相應的改進計劃，以保證供應和制造能力足以支撐初始產(chǎn)品生產(chǎn)活動。

(6)TR5

TR5是在發(fā)布給客戶前對項目整體狀態(tài)在設計穩(wěn)定性和技術(shù)成熟度方面的獨立評估活動。TR5目的是確保產(chǎn)品符合預定的功能和性能要求，以滿足前期確定的產(chǎn)品包需求。

(7)TR6

TR6是一個關(guān)注于系統(tǒng)級的評審，確保產(chǎn)品的制造能力已經(jīng)能適應全球范圍內(nèi)發(fā)貨的需求。