Diffy是什么

Diffy是一個開源的自動化測試工具，是一種Diff測試技術。它能夠自動檢測基于Apache Thrift或者基于HTTP的服務。通過同時運行新/老代碼，對比運行結果，發(fā)現潛在bug。使用Diffy，只需要進行簡單的配置，之后不需要再編寫測試代碼。

1. Diffy主要為了解決什么問題

一個項目，從第一個版本發(fā)布到形成一個相對完善的版本，再到后面的重大更新甚至重構，需要經過許多版本的迭代。

而隨著項目的迭代，產品功能不斷增加，項目會變得越來越復雜。在后期，每修改增加的功能相對上一版本已存在功能的比例卻是越來越小。但每一次或大或小的版本升級,我們都需要保證新增或修改的功能不影響上一版本已存在的功能。但要達到這一點卻是困難異常，哪怕只改了一行代碼、哪怕這項更改由非常優(yōu)秀的開發(fā)者完成，我們都很難保證這項功能對上一版本的功能無任何影響。

要保證每次上線的安全，我們需要開發(fā)和測試完成兩項工作。一是，開發(fā)者在增加或變動某項新功能后，補充相應的測試用例，但寫過單元測試的同學都知道，完成一個單元測試用例所花費的時間可能比完成相應功能花費的時間更多得多。

大多情況只能寫幾個核心的測試用例，而在人員不足，時間緊張的情況下，則更是難上加難了。在后期，因為功能在不斷增加，回歸測試的工作量越來越大，同時因為是回歸，可能幾百甚至上千用例中才會發(fā)現一個問題，甚至一個問題也沒有，測試投入工作的時間與最終的收益不成比例。

另外測試人員對相同內容的重復測試，會有一種疲憊感，這樣一來會給測試人員帶來消極情緒，當真的有問題(尤其是較復雜的數據問題)發(fā)生時，也可能會因為這種疲憊而將問題忽略(如果一個用例測了10遍都沒問題,第11遍測的時候心里可能會默認這個地方是沒問題的了)。這時候有些測試人員可能會考慮做自動化測試，但是自動化測試前期投入的成本較高，另外對測試人員的要求較高。如果項目變動比較頻繁，部分自動化測試可能需要重新設計，會帶來較高的成本。

而Diffy為上述問題提供了較好的解決方案，不同于我們常用的其他測試工具或框架從代碼或接口的返回結果的正確性去驗證，而是如其名：通過代碼的差異去驗證測試。

需要注意的是：既然是差異，那至少是兩者之間比較才有差異，對于第一行代碼或新增的功能無法比較，自然也就無法驗證，這時diffy無法發(fā)揮作用。但在后續(xù)增加修改,項目不停迭代的周期中，diffy就可以發(fā)揮它的舞臺了，有了上一版本以及測試人員在上一版本測試工作的基礎，我們就通過上一版本和當前版本比較差異了。

2. Diffy適用場景

①、場景驗證：

比如某個接口返回的數據中的”name”字段獲取由user數據庫表改為mobile_user數據庫表，那么從接口角度來講，通過對比這個接口在新老版本代碼的返回結果，就可以知道其字段的基本正確性與差異性。

②、提升回歸效率：

就一般的接口測試來說，每次代碼迭代，除了對新接口的測試，還包括對老接口的回歸。如果通過手工回歸，那么隨著接口數量的增加，測試人員的工作量將同樣地線性增長，且效率將大幅降低。通過diff測試，可以發(fā)現相同接口下內部代碼邏輯變更對其輸出的影響，測試人員只需要對比diff接口的差異之處（或自動對比），從而大幅減少人工作業(yè)的工作量。

3. Diffy一般操作流程

①、分別部署新、老代碼：其中老代碼為線上穩(wěn)定版本，新代碼為新迭代的測試版本。

②、構造測試數據：我們可以手工構造測試數據，也可以對線上的數據進行抽樣，用于diff測試。

③、運行測試：使用測試數據分別在新、老代碼中運行，并捕獲測試結果。

④、結果對比：對比新、老代碼，相同接口下的輸出，如果出現差異，則可以通過接口反向定位問題。

4. Diffy工作原理

在測試過程中，Diffy充當一個代理，它能夠將來源請求分發(fā)到不同版本的系統(tǒng)中去，通過對各個版本系統(tǒng)的輸出進行對比，做出最終的結論。

Diffy需要三個版本的系統(tǒng)，以實現它的噪聲過濾和對比功能，它們分別是：

1. 候選版本：該版本是待測版本，相對于生產環(huán)境版本有著跟新的代碼。
2. 穩(wěn)定版本：該版本通常是已經上線版本，或者是已知功能正常的版本。
3. 穩(wěn)定版本副本：該版本是穩(wěn)定版本的副本，和穩(wěn)定版本運行相同的代碼，主要用于排除噪聲。

整個運行流程為：

如圖所示，diffy能夠比較primary（線上穩(wěn)定版本）和secondary（線上穩(wěn)定版本備份）的差異值，通過對這些差異值做減法來消除噪聲；通過比較candidate（測試版本）和primary（線上穩(wěn)定版本）得到基本的diff結果；最后通過比對基本的diff結果與消除噪聲后的結果，得到最終的diff結果。

其中：

• 原始區(qū)別為候選版本和穩(wěn)定版本之間輸出的區(qū)別，其中可能會包含上述的噪聲。
• 噪聲從穩(wěn)定版本和其副本中獲得，如果兩個運行相同代碼的系統(tǒng)輸入相同輸出卻不同，則Diffy會認為這是開發(fā)人員不需要關心的噪聲。

基于上述兩個區(qū)別集合，Diffy可以識別出候選版本和穩(wěn)定版本真實的區(qū)別，這些區(qū)別很有可能就是一個缺陷。

當然，對于一個概率性出現隨機值，僅僅一次請求的結論可能是不準確的。例如對于一個50%概率出現true或者false的布爾值，則有50%的概率會出現候選版本和穩(wěn)定版本的不同，同時又會有50%的概率出現穩(wěn)定版本和其副本出現不同（即將這個值認定為噪聲），最終會有25%的概率認為這是一個缺陷。因為此時穩(wěn)定版本和其副本值相同，候選版本和穩(wěn)定版本值不同。因此，Diffy還會聚合原始區(qū)別和噪聲，當發(fā)現二者出現的概率類似的時候，會認定之前識別出來的缺陷屬于誤報。

5. Diffy安裝、使用

1、克隆代碼并構建

下載diffy-server，也可以在github上下載源碼編譯 twitter/diffy , diffy是twitter使用scala語言開發(fā)的項目，在安裝了jdk的基礎上，還需要安裝scala和sbt(類似于maven),　另外有些jar包需要從twitter下載,可能需要vpn。

2、例如，在localhost:9990部署primary（線上穩(wěn)定版本）的代碼。

3、例如，在localhost:9991部署secondary（線上穩(wěn)定版本備份）的代碼。

4、例如，在localhost:9992部署candidate（測試版本）的代碼。

5、在下載好jar包之后，可直接通過java命令啟動diff服務：

各參數詳細說明:

需要注意的是，為了防止測試對數據造成不必要的影響，diffy默認只支持讀,即Post及Ｄelete影響數據的等請求不會轉發(fā),如果需要支持這樣的請求,需要增加參數。

命令模板(根據實際情況修改參數值即可)

6、對diffy發(fā)一些請求

在http://localhost:8888中檢查結果，結果展示如下圖

如圖所示，我們可以看到每個請求在不同節(jié)點上的差異之處，如果點擊“Exclude Noise”，則可以消除噪聲，看到最終的diff結果。

7. 小結

上述對diffy作了一些基本的介紹和使用引導，利用diffy結合gor及nginx或filter等手段還可以擴展很多其它的測試實踐。關于gor的介紹和用法可查閱：推薦一款簡單易用線上引流測試工具：GoReplay，diffy更多高級用法，歡迎大家自行探索。