中科院對“找Bug”下手了，一口氣總結了N種方案！

法寶就是大模型。

大模型由于其卓越的自然語言理解、推理等能力，已經(jīng)被應用于各種場景，取得了前所未有的效果。

類似的，軟件測試領域也受益于其強大的能力，能夠幫助生成逼真且多樣化測試輸入，模擬各種異常，加速缺陷的發(fā)現(xiàn)，提升測試效率，進行潛在提高軟件質(zhì)量。

來自中國科學院軟件研究所、澳大利亞Monash大學、加拿大York大學的研究團隊收集了截止到2023年10月30日發(fā)表的102篇相關論文，并分別從軟件測試和大模型視角進行了全面分析，總結出一篇關于大模型在軟件測試領域應用的全面綜述。

（論文地址見文末）

研究發(fā)現(xiàn)一覽圖是這樣嬸兒的：

詳細內(nèi)容我們接著往下看。

從軟件測試的視角來看

首先，研究人員從軟件測試的角度進行了分析，并將收集到的研究工作按照測試任務進行組織。

如下圖所示，大模型的應用主要集中在軟件測試生命周期的后段，用于測試用例準備（包括單元測試用例生成、測試預言生成、系統(tǒng)級測試輸入生成）、測試報告分析、程序調(diào)試和修復等任務。然而，在測試生命周期的早期任務（如測試需求、測試計劃等）上，目前還沒有使用大語言模型的相關工作。

進一步地，研究人員還對大模型在各種軟件測試任務上的應用進行了詳細分析。

以單元測試用例生成為例，單元測試用例生成任務主要涉及為獨立的軟件或組件單元編寫測試用例，以確保它們的正確性。傳統(tǒng)的基于搜索、約束或隨機的生成技術存在著測試用例覆蓋率弱或可讀性差的問題。

引入大模型后，相對于傳統(tǒng)方法，大模型不僅能夠更好地理解領域知識以生成更準確的測試用例，而且還可以理解軟件項目和代碼上下文的信息，從而生成更全面的測試用例。

對于系統(tǒng)級測試輸入，模糊測試作為常用技術，主要圍繞著生成無效、意外或隨機的測試輸入來達到測試的目的，研究人員也詳細分析了大模型如何改進傳統(tǒng)模糊測試技術。

例如有研究提出通用模糊測試框架Fuzz4All、ChatFuzz等，也有研究專注于特定軟件開發(fā)基于大模型的模糊測試技術，包括深度學習庫、編譯器、求解器、移動應用、信息物理系統(tǒng)等。

這些研究的一個關注重點是生成多樣化的測試輸入，以實現(xiàn)更高的覆蓋率，通常通過將變異技術與基于大模型的生成相結合來實現(xiàn)；另一個關注重點是生成可以更早觸發(fā)錯誤的測試輸入，常見做法是收集歷史上觸發(fā)錯誤的程序來對大模型進行微調(diào)或?qū)⑵渥鳛檠菔境绦蛟诓樵兇竽Ｐ蜁r使用。

論文中對于各種研究的技術思路有更為詳細的介紹和比較。

從大模型的視角來看

隨后，研究人員再從大模型的視角出發(fā)，分析了軟件測試任務中選用的大模型，并進一步介紹了如何讓大模型適應測試任務，包括提示工程技術、大模型的輸入以及與傳統(tǒng)測試技術的結合使用。

在所選用的大模型方面，如下圖所示，最常用的前三種大模型分別是ChatGPT、Codex和CodeT5。后兩種是專門在多種編程語言的代碼語料庫上訓練得到的大模型，能夠根據(jù)自然語言描述生成完整的代碼片段，因此非常適合涉及源代碼的測試任務，如測試用例生成、缺陷修復。

此外，雖然已經(jīng)有14個研究使用GPT-4（排名第四），但是GPT-4作為一種多模態(tài)大模型，研究人員表示尚未發(fā)現(xiàn)相關研究探索軟件測試任務中利用其圖像相關功能（例如UI截圖、編程演示），這值得在未來研究中探索。

在如何調(diào)整大模型行為以勝任軟件測試任務方面，主要有預訓練或微調(diào)和提示工程兩種技術手段。

如下圖所示，有38項研究使用了預訓練或微調(diào)模式以微調(diào)大模型的行為，而64項研究則使用了提示工程來引導大模型達到預期的結果。

提示工程技術的主要優(yōu)勢在于無需更新模型權重也能讓大模型適應特定領域和任務，并強化大模型的理解和推理能力，目前已經(jīng)采用的技術包括零樣本或少樣本學習、自我一致性、思維鏈、自動提示等技術。

此外，研究人員發(fā)現(xiàn)有35項研究在運用大模型之上，還結合了傳統(tǒng)測試技術，包括變異測試、差分測試、程序分析、統(tǒng)計分析等，以取得更好的測試有效性和覆蓋率。

雖然大模型在各種任務中表現(xiàn)出巨大的潛力，但仍然存在一些局限性，如難以理解和處理復雜的程序結構。

因此，將大模型與其他技術結合起來，以最大程度地發(fā)揮它們的優(yōu)勢和避免劣勢，從而在特定情況下實現(xiàn)更好的結果，例如生成更多樣化和復雜的代碼，更好地模擬真實場景。

用大模型找Bug還有哪些挑戰(zhàn)？

過去兩年中，利用大模型進行軟件測試已經(jīng)有了很多成功的實踐。然而，研究人員指出它仍處于早期發(fā)展階段，還有許多挑戰(zhàn)和未解決問題需要探索。

挑戰(zhàn)1：實現(xiàn)高覆蓋率的挑戰(zhàn)

探索被測試軟件的多樣行為以實現(xiàn)高覆蓋率始終是軟件測試的重要關注點。大模型直接實現(xiàn)所需的多樣性仍然具有很大挑戰(zhàn)，例如單元測試用例生成中，在SF110數(shù)據(jù)集上，行覆蓋率僅為2％，分支覆蓋率僅為1％。

在系統(tǒng)測試輸入生成方面，對于面向深度學習庫的模糊測試，TensorFlow的API覆蓋率為66％（2215/3316）。已有工作通常將變異測試與大模型結合使用，以生成更多樣化的輸出。

其他潛在的研究方向涉及利用測試相關的數(shù)據(jù)來訓練或微調(diào)能夠理解測試特性的專用大模型，可以理解測試要求，自主地生成多樣化的輸出。

挑戰(zhàn)2：測試預言的挑戰(zhàn)

測試預言問題一直是各種測試應用面臨的挑戰(zhàn)，已有工作常見做法是將其轉(zhuǎn)化為更容易獲取的形式，通常通過差分測試來實現(xiàn)或僅關注容易自動識別的測試預言（例如崩潰類錯誤），雖然取得了不錯效果，但僅適用于少數(shù)情況。

探索利用大模型解決其他類型的測試預言問題是非常有價值的。

例如，蛻變測試也是常用的緩解測試預言問題的技術，可以探索結合人機交互或領域知識自動產(chǎn)生蛻變關系，還可探索大模型自動生成基于蛻變關系的測試用例，覆蓋各類輸入。進一步的，像GPT-4這樣的多模態(tài)大模型也為檢測用戶界面相關缺陷并輔助推導測試預言提供了可能性。

挑戰(zhàn)3：精準評估性能的挑戰(zhàn)

△該圖由GPT-4 AI生成

缺乏基準數(shù)據(jù)集和基于大模型技術潛在的數(shù)據(jù)泄漏問題給進行嚴格和全面的性能評估帶來了挑戰(zhàn)。研究人員通過檢查訓練大模型的數(shù)據(jù)源CodeSearchNet和BigQuery，發(fā)現(xiàn)Defect4J基準數(shù)據(jù)集中使用的四個代碼庫同時包含在CodeSearchNet中，并且整個Defects4J代碼庫都包含在BigQuery中。

因此，大模型在預訓練過程中已經(jīng)見過現(xiàn)有的程序修復基準數(shù)據(jù)集，存在嚴重的數(shù)據(jù)泄露問題。所以，需要構建更專門和多樣化的基準數(shù)據(jù)集，并采取措施防止數(shù)據(jù)泄漏。

挑戰(zhàn)4：用于現(xiàn)實項目的挑戰(zhàn)

由于對數(shù)據(jù)隱私的關注，在考慮實際應用時，大多數(shù)軟件組織傾向于避免使用商用大模型，更愿意采用開源的大模型，并使用組織特定的數(shù)據(jù)進行訓練或微調(diào)。

此外，一些公司還考慮到計算能力的限制或關注能源消耗等，傾向于采用中等規(guī)模的模型。在這樣的現(xiàn)實條件下，要達到與已有研究工作中報告的類似性能是非常具有挑戰(zhàn)的。例如，在廣泛使用的QuixBugs數(shù)據(jù)集中，40個Python錯誤中有39個能夠自動修復，40個Java錯誤中有34個能夠自動修復。

然而，當涉及到從Stack Overflow收集的深度學習程序（代表實際的編碼實踐）時，72個Python錯誤中僅有16個能夠自動修復。如何更關注現(xiàn)實需求研發(fā)相應的技術才能更利于技術落地和實際應用。

大模型也帶來了研究機遇

利用大模型進行軟件測試也帶來了許多研究機遇，對于軟件測試領域的發(fā)展大有益處。

機遇1：利用大模型進行更多樣化的軟件測試任務和階段

在測試任務的初期階段，大模型目前還未得到有效應用。主要原因有兩方面：一是早期測試任務的主觀性，需要專家進行評估；二是早期階段缺乏開放數(shù)據(jù)資源，這限制了大模型的性能表現(xiàn)。

此外，如下圖所示，雖然大模型在單元測試和系統(tǒng)測試方面得到了廣泛應用，但在集成測試和驗收測試方面的應用相對較少。總之，如何充分利用大模型進行更多樣化的軟件測試任務和測試階段是一個值得深入研究的新方向。例如，在驗收測試方面，大模型可以與人類測試人員協(xié)同工作，以自動生成測試用例并評估測試覆蓋率。

機遇2：將大模型應用于更廣泛的測試類型和軟件

一方面，雖然大模型在功能測試方面得到了廣泛應用，但在性能測試和可用性測試等其他方面應用較少，這可能是因為這些測試已有一些專門且讓人滿意的模型和工具。

但將大模型與這些工具相結合仍不失為一個潛在的研究方向，例如利用大模型整合性能測試工具，并模擬真實用戶行為來產(chǎn)生不同類型的工作負載。另

一方面，如下圖所示，已經(jīng)有研究在多種類型的軟件測試中成功應用了大模型，例如移動應用，深度學習庫、自動駕駛系統(tǒng)等。不僅能將現(xiàn)有技術遷移到其他類型的軟件上，也可以針對某類軟件的特性，研發(fā)針對性的技術。

機遇3：整合先進的提示工程技術

現(xiàn)有研究尚未充分挖掘大模型的潛力，如下圖所示，僅使用了五種最常見的提示工程技術。未來的研究應該探索更高級的提示工程技術（如圖中的思維樹、多模態(tài)思維鏈等），以更充分地發(fā)揮或增強大模型的理解和推理能力。

機遇4：和傳統(tǒng)技術結合

目前關于大模型在解決軟件測試問題方面的能力還沒有明確的共識，有研究將大模型與傳統(tǒng)軟件測試技術相結合取得了很好的效果，這可能意味著大模型并非解決軟件測試問題的唯一靈丹妙藥。

考慮到已有許多成熟的軟件工程相關技術和工具，可以探索將大模型與傳統(tǒng)技術相結合（例如形式化驗證等尚未在已有研究中探索過的）、探索其他更先進的結合方式、以及與工具集成更好地發(fā)掘已有工具的潛力。

論文Arxiv鏈接：https://arxiv.org/abs/2307.07221。
GitHub鏈接：https://github.com/LLM-Testing/LLM4SoftwareTesting。