用Go實現(xiàn)自己的網(wǎng)絡(luò)流量解析和行為檢測引擎
1.前言
最近有個在學(xué)校讀書的迷弟問我:大德德, 有沒有這么一款軟件, 能夠批量讀取多個抓包文件,并把我想要的數(shù)據(jù)呈現(xiàn)出來, 比如:源IP、目的IP、源mac地址、目的mac地址等等。我說：“這樣的軟件你要認(rèn)真找真能找出不少開源軟件, 但畢竟沒有你自己的靈魂在里面,要不咱自己用Go實現(xiàn)一個吧”, OK , Let's go。
2.摘要
能夠?qū)崿F(xiàn)網(wǎng)絡(luò)協(xié)議解析和分析的工具有很多,最有名使用最多的是基于圖形化界面的Wireshark, 除了能夠?qū)崿F(xiàn)網(wǎng)絡(luò)實時抓包,還能夠離線分析Pcap包文件, 雖然它通常用于手動分析網(wǎng)絡(luò)數(shù)據(jù)包, 但也支持自動化腳本和插件來提取元數(shù)據(jù)。而Wireshark還有一個基于命令行版本的Tshark, 可以用于自動化任務(wù), 可以批量處理Pcap文件, 提取所需數(shù)據(jù)并導(dǎo)出到文件中。
本次用Go語言實現(xiàn)的網(wǎng)絡(luò)協(xié)議解析功能是基于Google公司開發(fā)一個開源庫:gopacket, 該庫幫我們完成了網(wǎng)絡(luò)協(xié)議的一些底層封裝, 它允許我們能夠捕獲、解析和處理網(wǎng)絡(luò)數(shù)據(jù)包, 與Wireshark一樣,也支持對離線抓包文件的分析。gopacket庫提供了一系列功能,包括:數(shù)據(jù)包捕獲、解析和構(gòu)建, 以及對多種協(xié)議的支持,如:Ethernet、IP、TCP、UDP、HTTP等。它還提供了方便的API, 以幫助開發(fā)者操作和分析網(wǎng)絡(luò)數(shù)據(jù)包。
3.實現(xiàn)原理
谷歌公司開發(fā)的gopacket提供了5個子包接口供使用者調(diào)用,其中Layers子包負(fù)責(zé)協(xié)議解析;pcap子包實際是libpcap的包裝,主要用于數(shù)據(jù)包格式解析;pfring子包和afpacket用于快速數(shù)據(jù)庫包抓取;tcpassembly用于TCP流重組。在本篇文章中,主要利用gopacket提供的Layers和pcap接口實現(xiàn)上層業(yè)務(wù)邏輯。在流量解析引擎中,調(diào)用pcap接口對離線pcap抓包文件進(jìn)行數(shù)據(jù)包解析,并配合Layers接口實現(xiàn)協(xié)議解析,目前根據(jù)業(yè)務(wù)種類,實現(xiàn)的協(xié)議解析包括:HTTP協(xié)議、TCP/UDP協(xié)議、ICMP協(xié)議和802.11協(xié)議。流量解析引擎的整體架構(gòu)如下:
我們實現(xiàn)的流量解析引擎主要針對離線pcap包文件, 支持的協(xié)議類型包括:HTTP協(xié)議、TCP/UDP協(xié)議、ICMP協(xié)議、802.11(無線協(xié)議)，通過對各類協(xié)議的解析,可以實現(xiàn)一些高級功能,例如: 特征庫匹配、漏洞掃描檢測、一些網(wǎng)絡(luò)攻擊檢測等等。
通過對gopacket開源包的研究,整理出其使用方法如下:
- 利用pcap子包的OpenOffline方法加載離線數(shù)據(jù)包文件,加載成功返回離線數(shù)據(jù)包文件句柄。
- 離線包文件句柄通過SetBPFFilter方法過濾數(shù)據(jù)類型,調(diào)用LinkType()方法獲取鏈路類型。
- 將第2步中的文件句柄和LinkType作為參數(shù)調(diào)用方法NewPacketSource。
- NewPacketSource調(diào)用Packet()方法獲取離線包文件中所有的數(shù)據(jù)包,通過遍歷每個數(shù)據(jù)包進(jìn)行下一步操作。
- 每個數(shù)據(jù)包對象通過調(diào)用Layer()方法獲取數(shù)據(jù)對象層,參數(shù)為數(shù)據(jù)對象的種類,種類有很多種,根據(jù)不同的協(xié)議類型進(jìn)行區(qū)分。
- 獲取的數(shù)據(jù)層級操作對象是數(shù)據(jù)包解析基礎(chǔ)方法需要達(dá)到的目的,即將解析的具體數(shù)據(jù)將在數(shù)據(jù)層級中進(jìn)行不同方法的篩選。
大致的調(diào)用關(guān)系整理如下圖:
4.功能代碼實現(xiàn)
在我們的工程項目中,首先要引入三個包,它們是:
import(
"github.com/google/gopacket"
"github.com/google/gopacket/layers"
"github.com/google/gopacket/pcap"
)因為我們操作的對象主要是針對離線pcap包, 因此首先要加載離線包文件,代碼如下:
handle, err = pcap.OpenOffline(pcapFilePath)
if err != nil {
log.Panic(err)
}handle是加載離線包文件后返回的文件句柄,類型為:*pcap.Handle,接下來我們要設(shè)置一下過濾,只針對tcp連接的包,所以通過上面的文件句柄調(diào)用過濾函數(shù):
err = handle.SetBPFFilter("tcp")
if err != nil {
log.Panic(err)
}根據(jù)上面的調(diào)用關(guān)系圖,我們需要調(diào)用NewPacketSource方法,代碼如下:
packetSource := gopacket.NewPacketSource(handle, handle.LinkType())
packets := packetSource.Packets()packetSource.Packets()方法返回的是一個通道, 用來接收gopacket解析出來的每一個數(shù)據(jù)包,
因此這里需要做循環(huán)接收,并在循環(huán)內(nèi)容解析ethernet層, 解析大致過程如下:
下面我們根據(jù)上面的流程圖解析LayerTypeEthernet, 代碼如下:
for packet := range packetSource.Packets() {
ethernetLayer := packet.Layer(layers.LayerTypeEthernet)
if ethernetLayer == nil {
continue
}
ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)
}下面涉及到協(xié)議的層級,我們對照Wireshark的包對比看一下,如圖:
從上圖的協(xié)議結(jié)構(gòu)中我們可以看到,源IP地址和目的IP地址是在IPv4層上, 源端口和目的端口是在TCP層上, 而mac地址是在Ethernet層上, 因此要想獲取這6個元數(shù)據(jù),我們至少要解析三層協(xié)議, 添加以下代碼:
for packet := range packetSource.Packets() {
ethernetLayer := packet.Layer(layers.LayerTypeEthernet)
if ethernetLayer == nil {
continue
}
ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)
if ethernetPacket.EthernetType.String() == "IPv4" {
ipLayer := packet.Layer(layers.LayerTypeIPv4)
if ipLayer == nil { continue }
// 這里從IPv4協(xié)議層取源IP和目的IP數(shù)據(jù)
ipInfo, _ := ipLayer.(*layers.IPv4)
tcpLayer := packet.Layer(layers.LayerTypeTCP)
if tcpLayer == nil { continue }
// 這里從TCP協(xié)議層取TCP數(shù)據(jù),獲取源端口和目的端口數(shù)據(jù)
tcpInfo, _ := tcpLayer.(*layers.TCP)
//下面的代碼取具體的Payload
applicationLayer := packet.ApplicationLayer()
if applicationLayer == nil { continue }
payload := string(applicationLayer.Payload())
// 從GET或POST請求中取出元數(shù)據(jù)
if strings.HasPrefix(payload, "GET") || strings.HasPrefix(payload, "POST") {
fmt.Println("源mac地址:", ethernetPacket.SrcMAC.String())
fmt.Println("目的Mac地址:", ethernetPacket.DstMAC.String())
fmt.Println("源IP地址:", ipInfo.SrcIP.String())
fmt.Println("目的IP地址:", ipInfo.DstIP.String())
fmt.Println("源端口:", int(tcpInfo.SrcPort))
fmt.Println("目的端口:", int(tcpInfo.DstPort))
}
}
}5.行為檢測實現(xiàn)
這里我們以檢測數(shù)據(jù)庫的匿名登錄行為為例子, 首先在kali系統(tǒng)上對目標(biāo)數(shù)據(jù)庫嘗試匿名登錄,如圖:
在登錄過程中,使用Wireshark進(jìn)行網(wǎng)絡(luò)抓包,如圖:
從上面的抓包文件中,我們可以根據(jù)Payload偏移提取一些行為特征,例如:
將特征檢測的邏輯加入到代碼中:
for packet := range packetSource.Packets() {
ethernetLayer := packet.Layer(layers.LayerTypeEthernet)
if ethernetLayer == nil {
continue
}
ethernetPacket, _ := ethernetLayer.(*layers.Ethernet)
if ethernetPacket.EthernetType.String() == "IPv4" {
ipLayer := packet.Layer(layers.LayerTypeIPv4)
if ipLayer == nil { continue }
// 這里從IPv4協(xié)議層取源IP和目的IP數(shù)據(jù)
ipInfo, _ := ipLayer.(*layers.IPv4)
if ipInfo.Protocol.String() == "TCP" {
tcpLayer := packet.Layer(layers.LayerTypeTCP)
tcp, _ := tcpLayer.(*layers.TCP)
if (len(tcp.Payload) > 36 && bytes.Equal(tcp.Payload[13:37], []byte{0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0})) || (len(tcp.Payload) > 39 && bytes.Equal(tcp.Payload[13:40], []byte{0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 114, 111, 111, 116})) {
fmt.Println("發(fā)現(xiàn)數(shù)據(jù)庫匿名登錄行為!")
}
}
}
}將上面的代碼編譯后加載離線pcap包跑一下,可以看到已經(jīng)匹配到行為特征,如圖:
可以看到,已經(jīng)成功命中行為特征。
