一文掌握 Golang 模糊測試(Fuzz Testing)
模糊測試(Fuzz Testing)
模糊測試(Fuzz Testing)是通過向目標(biāo)系統(tǒng)提供非預(yù)期的輸入并監(jiān)視異常結(jié)果來發(fā)現(xiàn)軟件漏洞的方法??梢杂脕戆l(fā)現(xiàn)應(yīng)用程序、操作系統(tǒng)和網(wǎng)絡(luò)協(xié)議等中的漏洞或錯誤,特別是容易被忽視的邊界情況。模糊測試的基本思路是在測試過程中生成大量的隨機數(shù),然后將這些數(shù)據(jù)輸入到被測試的程序中,監(jiān)測程序的異常運行結(jié)果來分析程序中的缺陷和漏洞。
Golang 中的模糊測試
Golang 從 1.18 版本開始將模糊測試整合進了標(biāo)準(zhǔn)庫,通過標(biāo)準(zhǔn)庫 testing/fuzz 來實現(xiàn)模糊測試,Golang 引入模糊測試可以幫助開發(fā)者進一步保障和提高應(yīng)用程序的安全性。
Golang 中的模糊測試是通過數(shù)據(jù)構(gòu)造引擎自動構(gòu)造出(也可以借助開發(fā)者提供的初始數(shù)據(jù))大量隨機數(shù)據(jù),作為程序的輸入來進行測試的一種方式。模糊測試會監(jiān)測程序運行過程中是否出現(xiàn) panic、斷言失敗、無限循環(huán)等異常情況。這些通過數(shù)據(jù)構(gòu)造引擎生成的數(shù)據(jù)被稱為語料(corpus) 。模糊測試是一種持續(xù)測試的手段,如果不限制執(zhí)行的次數(shù)或者執(zhí)行時間,就會一直執(zhí)行下去。
模糊測試和單元測試類似的地方是測試文件也是以 _test.go 為后綴名,不同的是模式測試函數(shù)需要以 Fuzz 為前綴,后面跟上一個或多個字符或字符組合來標(biāo)識測試用例的名稱(一般使用被測的函數(shù)名稱),參數(shù)必須是 f *testing.F。
看個例子
以 json 格式校驗工具h(yuǎn)ttps://github.com/luduoxin/json-validator-go 為例,在 validator 包中的 scanner.go 文件中新增一個除法函數(shù),代碼如下:
func Div(a, b int) int {
return a / b
}
這個函數(shù)顯然沒有考慮除數(shù)為 0 的情況,如果使用單元測試,使用的測試數(shù)據(jù)沒有考慮除數(shù)為 0 的情況的話,這個問題就不會被發(fā)現(xiàn),但是使用模糊測試就可以測出這種問題。然后在 validator 包中的 scanner_test.go 文件中添加模糊測試用例,代碼如下:
func FuzzDiv(f *testing.F) {
f.Fuzz(func(t *testing.T, a, b int) {
Div(a, b)
})
}
然后運行模糊測試用例,如下命令是運行所有模糊測試用例:
$ go test -fuzz .
fuzz: elapsed: 0s, gathering baseline coverage: 0/2 completed
failure while testing seed corpus entry: FuzzDiv/120fad832ddff45a1b2b70e7a31805a5c8d84f773566e0d19799aeda53b3f9c0
fuzz: elapsed: 0s, gathering baseline coverage: 0/2 completed
--- FAIL: FuzzDiv (0.02s)
--- FAIL: FuzzDiv (0.00s)
testing.go:1349: panic: runtime error: integer divide by zero
goroutine 55 [running]:
runtime/debug.Stack()
/usr/local/Cellar/go/1.18.3/libexec/src/runtime/debug/stack.go:24 +0x90
testing.tRunner.func1()
/usr/local/Cellar/go/1.18.3/libexec/src/testing/testing.go:1349 +0x1f2
panic({0x119ccc0, 0x12ed080})
/usr/local/Cellar/go/1.18.3/libexec/src/runtime/panic.go:838 +0x207
github.com/luduoxin/json-validator-go/validator.Div(...)
/Users/ning/projects/go/json-validator-go/validator/scanner.go:634
github.com/luduoxin/json-validator-go/validator.FuzzDiv.func1(0x0?, 0x0?, 0x0?)
/Users/ning/projects/go/json-validator-go/validator/scanner_test.go:71 +0x33
reflect.Value.call({0x1199380?, 0x11d2428?, 0x13?}, {0x11c45aa, 0x4}, {0xc000188360, 0x3, 0x4?})
/usr/local/Cellar/go/1.18.3/libexec/src/reflect/value.go:556 +0x845
reflect.Value.Call({0x1199380?, 0x11d2428?, 0x514?}, {0xc000188360, 0x3, 0x4})
/usr/local/Cellar/go/1.18.3/libexec/src/reflect/value.go:339 +0xbf
testing.(*F).Fuzz.func1.1(0x0?)
/usr/local/Cellar/go/1.18.3/libexec/src/testing/fuzz.go:337 +0x231
testing.tRunner(0xc000180820, 0xc0001a83f0)
/usr/local/Cellar/go/1.18.3/libexec/src/testing/testing.go:1439 +0x102
created by testing.(*F).Fuzz.func1
/usr/local/Cellar/go/1.18.3/libexec/src/testing/fuzz.go:324 +0x5b8
FAIL
exit status 1
FAIL github.com/luduoxin/json-validator-go/validator 0.527s
用例執(zhí)行了一會后就報出了除數(shù)不能為 0 的 panic。執(zhí)行模糊測試的過程中會在當(dāng)前文件夾生成 testdata 目錄,導(dǎo)致用例沒有通過的數(shù)據(jù)會保存在這個目錄下,下次再次執(zhí)行用例的時候會再次使用這些數(shù)據(jù)作為語料。
$ tree
.
├── scanner.go
├── scanner_test.go
└── testdata
└── fuzz
└── FuzzDiv
└── 120fad832ddff45a1b2b70e7a31805a5c8d84f773566e0d19799aeda53b3f9c0
打開未通過的語料內(nèi)容,本機的數(shù)據(jù)如下(每個人執(zhí)行的用例未通過的語料會有差異):
go test fuzz v1
int(-89)
int(0)
可以看出被除數(shù)是 -89,除數(shù)是 0,因為 0 不能作為除數(shù),所以會報錯。
提供自定義語料
Golang 的模糊測試允許開發(fā)者提供初始語料,初始語料可以通過 f.Add 方法添加,也可以將語料按照要求的格式寫入 testdata/fuzz/FuzzXXX/ 中的語料文件中。重寫 FuzzDiv 方法,添加一些語料,代碼如下:
func FuzzDiv(f *testing.F) {
testcases := []struct {
a, b int
}{
{10, 2},
{5, 3},
{-6, 3},
{-6, -3},
}
for _, v := range testcases {
// 根據(jù)提供的語料,反射獲得參數(shù)類型并窮舉可能的值
f.Add(v.a, v.b)
}
f.Fuzz(func(t *testing.T, a, b int) {
Div(a, b)
})
}
執(zhí)行模糊測試用例的其他參數(shù)
可以使用 -fuzztime 參數(shù)來控制模糊測試的執(zhí)行時間:
go test -fuzz . -fuzztime 5s
可以指定要執(zhí)行的模糊測試用例:
go test -fuzz=FuzzDiv -fuzztime 5s
使用指定的未測試通過的數(shù)據(jù)做測試,使用 -run=file 指定數(shù)據(jù)文件:
go test -fuzz=FuzzDiv -run=FuzzDiv/378303d09d9499e4e6c708a92079f30db6f554529fd9eb86ac9a9639481fb23d
目前 Golang 的模糊測試支持被測函數(shù)使用的參數(shù)類型如下:
[]byte, string, bool, byte, rune, float32, float64, int, int8, int16, int32, int64, uint, uint8, uint16, uint32, uint64
模糊測試和單元測試的區(qū)別
單元測試需要開發(fā)者根據(jù)函數(shù)邏輯,給定一組或幾組輸入和輸出數(shù)據(jù),然后調(diào)用被測試函數(shù)執(zhí)行,若返回值與輸出數(shù)據(jù)一致,則說明函數(shù)測試通過。因為用于測試的數(shù)據(jù)是開發(fā)者提供的,難免會有遺漏的測試場景,因此即使單元測試通過,并不能說明程序是健壯的。而模糊測試是通過數(shù)據(jù)構(gòu)造引擎自動構(gòu)造出大量隨機數(shù)據(jù)作為函數(shù)的輸入?yún)?shù),可以充分測試函數(shù)的健壯性。