一、背景介紹

在 Linux 內(nèi)核網(wǎng)絡(luò)開(kāi)發(fā)過(guò)程中，網(wǎng)絡(luò)丟包問(wèn)題是一個(gè)常見(jiàn)的挑戰(zhàn)。傳統(tǒng)的網(wǎng)絡(luò)抓包工具（如 tcpdump）雖然能夠幫助開(kāi)發(fā)者定位問(wèn)題，但其效率較低，且在深度網(wǎng)絡(luò)問(wèn)題定位方面能力有限。隨著 eBPF 技術(shù)的快速發(fā)展，出現(xiàn)了更高級(jí)的問(wèn)題跟蹤能力。字節(jié)跳動(dòng) STE 團(tuán)隊(duì)基于此技術(shù)開(kāi)發(fā)了下一代內(nèi)核網(wǎng)絡(luò)抓包工具：netcap（net capture，內(nèi)部原名：xcap），并正式對(duì)外開(kāi)源，GitHub 地址：https://github.com/bytedance/netcap。

與 tcpdump 工具只能作用于內(nèi)核網(wǎng)絡(luò)協(xié)議棧準(zhǔn)備發(fā)包和收包的固定點(diǎn)相比，netcap 可以幾乎跟蹤整個(gè)內(nèi)核網(wǎng)絡(luò)協(xié)議棧（有skb作為參數(shù)的函數(shù)）。字節(jié)跳動(dòng) STE 團(tuán)隊(duì)使用 tcpdump 語(yǔ)法作為過(guò)濾條件，以 skb（socket buffer）為上下文，可以輕松掌握整個(gè)報(bào)文在內(nèi)核網(wǎng)絡(luò)協(xié)議棧的完整蹤跡，從而幫助開(kāi)發(fā)者大大提高內(nèi)核網(wǎng)絡(luò)丟包問(wèn)題的定位效率。

二、使用舉例

例1：查看 ip 10.227.0.45 的 icmp 包是否到達(dá)內(nèi)核預(yù)期的函數(shù)調(diào)用點(diǎn)， 這樣做的好處是：在定位排查網(wǎng)絡(luò)問(wèn)題的時(shí)候，可以方便的縮小懷疑范圍，提高效率。

netcap skb -f icmp_rcv@1 -i eth0 -e "host 10.227.0.45" -t "-nnv"

其中 -f 后面的參數(shù)是 kprobe 或者 tracepoint 的具體函數(shù)（默認(rèn)是kprobe），并且需要告訴 netcap，skb 在這個(gè)函數(shù)(本例是 icmp_rcv )的第幾個(gè)參數(shù)（從1開(kāi)始），本例是第1個(gè)。

• -i 后面是指skb的dev參數(shù)對(duì)應(yīng)的網(wǎng)卡，這里要謹(jǐn)慎使用，因?yàn)橛行┖瘮?shù)的 skb 是沒(méi)有設(shè)置 dev 的。
• -e 的參數(shù)是 tcpdump 的過(guò)濾語(yǔ)法。
• -t 的參數(shù)是 tcpdump 的顯示方式，netcap 并沒(méi)有自己顯示數(shù)據(jù)包內(nèi)容，而是借用了 tcpdump 的顯示方式。

例2：查看內(nèi)核對(duì)于 tcp 端口 9000 的報(bào)文的丟包位置

netcap skb -f tracepoint:skb:kfree_skb -e "tcp port 9000" -S

其中 -f 后面的參數(shù)是 kprobe 或者 tracepoint 的具體函數(shù)，tracepoint 不需要傳遞 skb 是第幾個(gè)參數(shù)。

-S 表示連帶著打印出此調(diào)用的 stack，本例中通過(guò) stack 可以看到是哪里丟包的。

舉個(gè)例子，在機(jī)器上配置一個(gè)丟包的 iptables 規(guī)則把來(lái)訪的 tcp 9000 的包丟掉，如下圖所示：

iptables -A INPUT -p tcp --dport 9000 -j DROP

然后使用 netcap上面的命令觀察丟包情況：

其它命令行參數(shù)可以通過(guò)閱讀開(kāi)源代碼的 README 或命令 netcap help skb 來(lái)詳細(xì)了解。

三、設(shè)計(jì)與實(shí)現(xiàn)

主體框架

netcap 通過(guò) kprobe / tracepoint 方式實(shí)現(xiàn)函數(shù)的 hook，通過(guò)函數(shù)參數(shù)獲取 skb 和 sock 關(guān)鍵結(jié)構(gòu)體，拿到網(wǎng)絡(luò)包的數(shù)據(jù)，通過(guò) bpf map 和用戶態(tài)進(jìn)行數(shù)據(jù)傳遞。

實(shí)現(xiàn)原理

netcap 的 工作原理大體如下：在 eBPF 程序中完成數(shù)據(jù)包的過(guò)濾，找出 tcpdump 語(yǔ)法過(guò)濾的包，然后把這個(gè)包給到 netcap 應(yīng)用程序，netcap 應(yīng)用程序再把這個(gè)包發(fā)去給 tcpdump 顯示，或者直接輸出 pcap 文件。如下圖所示：

1. 如何按 tcpdump 語(yǔ)法過(guò)濾

tcpdump 的過(guò)濾語(yǔ)法是基于 cBPF的，使用開(kāi)源庫(kù)：https://github.com/cloudflare/cbpfc 這里可以把 tcpdump 的過(guò)濾語(yǔ)法轉(zhuǎn)化成一個(gè) C 函數(shù)，這個(gè) C 函數(shù)可以嵌入到 netcap 的 eBPF 的程序中。轉(zhuǎn)成 C 函數(shù)的基本原理如下：先利用 libpcap 庫(kù)把 tcpdump 過(guò)濾語(yǔ)法轉(zhuǎn)成 cBPF 指令碼，然后基于此指令碼轉(zhuǎn)化成 C 語(yǔ)言的函數(shù)。如下圖所示：

2. 如何把數(shù)據(jù)包內(nèi)容用 tcpdump 顯示出來(lái)

netcap 程序啟動(dòng)后，也會(huì)啟動(dòng)一個(gè) tcpdump 的程序，tcpdump 的標(biāo)準(zhǔn)輸入接收 pcap 格式的輸入流，然后以不同的參數(shù)（例如 -e 是顯示 mac 地址）從其標(biāo)準(zhǔn)輸出打印出解析后的格式。如下圖所示：

3. 如何找到數(shù)據(jù)包的內(nèi)容

在內(nèi)核中，是用 skb 來(lái)描述數(shù)據(jù)包的，找到 skb 中所指定的不同 header 的位置，就可以找到整個(gè)數(shù)據(jù)包，skb 的結(jié)構(gòu)大體如下所示：

4. 發(fā)送方向數(shù)據(jù)包不完整，如何過(guò)濾數(shù)據(jù)包

在發(fā)送數(shù)據(jù)包的時(shí)候，例如 __ip_finish_output 函數(shù)，有時(shí)未填充完整的 eth頭、ip 頭、tcp 頭，那么是怎么得到完整的包呢？

netcap 會(huì)盡力根據(jù) skb 的 sock 結(jié)構(gòu)來(lái)推導(dǎo)，還原數(shù)據(jù)包，此時(shí)抓出來(lái)的包有些非關(guān)鍵信息會(huì)與實(shí)際情況不一致（比如 ip 頭的 id 字段）。skb 通過(guò)sock來(lái)推導(dǎo)數(shù)據(jù)包內(nèi)容的邏輯大體如下圖所示：

四、其他用法及擴(kuò)展

多Trace點(diǎn)匯總分析

netcap 可以統(tǒng)計(jì)數(shù)據(jù)包經(jīng)過(guò)多個(gè)點(diǎn)的時(shí)間，然后匯總輸出，從而分析性能，舉個(gè)例子，使用下面的命令：

netcap skb -f tracepoint:net:netif_receive_skb,ip_local_deliver@1,ip_local_deliver_finish@3,icmp_rcv@1 -e "host 10.227.0.72 and icmp" -i eth0  --gather --gather-output-color cyan

可以觀察到輸出如下，根據(jù)到達(dá) trace 點(diǎn)的時(shí)間，就能夠分析出數(shù)據(jù)包性能損耗在哪里，或者在哪里可能引入了延遲。

擴(kuò)展功能

用戶可以自定義自己的過(guò)濾函數(shù)和輸出函數(shù)，這里舉例如下，

netcap skb -f icmp_rcv@1 -e "host 10.227.0.72" -i eth0 --user-filter skb_user_filter.c --user-action skb_user_action.c --user-output-color green

其中擴(kuò)展過(guò)濾文件 skb_user_filter.c 如下：

// Return 0 means it's not need, pls filter out it.
static inline int xcap_user_filter(void *ctx, void *pkt, u16 trace_index) 
{
    return 1;
}

這個(gè)擴(kuò)展函數(shù)的返回值如果是 0，表示在 tcpdump 語(yǔ)法的過(guò)濾后，再進(jìn)行一次用戶自定義過(guò)濾，比如可以方便的寫幾行腳本，然后按照 skb->mark 來(lái)過(guò)濾。

其中擴(kuò)展輸出文件 skb_user_action.c 如下：

struct  xcap_user_extend {
    int         a; // format: 0x%x
    uint32_t    b; // 


    int64_t     c;     
    uint8_t       x1; // format: %c
    uint8_t       x2; // format: 0x%x
    uint16_t      x3; // format: 0x%x
};


// Return 0 means not need to ouput
static inline int xcap_user_action(void *ctx, void *pkt, u32 pkt_len, struct xcap_user_extend *user, u16 trace_index)
{
    user->a = 0x12345678;
    user->b = 1000;
    user->c = 2002;
    user->x1 = 'M';
    user->x2 = 0x11;
    user->x3 = 0xabcd;


    return 1;
}

其中 struct xcap_user_extend 是用戶自定義的結(jié)構(gòu)體，想輸出什么信息，就在這個(gè)結(jié)構(gòu)體定義并賦值即可。結(jié)構(gòu)體可支持的類型如下 (注:不支持指針，也不支持?jǐn)?shù)組)：int8_t, uint8_t, char, int16_t, uint16_t, int, uint32_t,int64_t, uint64_t 。

這樣就可以附帶一些信息輸出了，如下圖：

五、未來(lái)展望

在開(kāi)發(fā)者的日常工作中，網(wǎng)絡(luò)抓包工具成為了網(wǎng)絡(luò)工程師、測(cè)試工程師等必備的技能之一，字節(jié)跳動(dòng) STE 團(tuán)隊(duì)開(kāi)源的 netcap 網(wǎng)絡(luò)抓包工具，期望能夠幫助大家提高定位內(nèi)核網(wǎng)絡(luò)丟包問(wèn)題的效率，非常歡迎開(kāi)發(fā)者們一起加入并貢獻(xiàn) PR，共同推進(jìn)開(kāi)源項(xiàng)目發(fā)展。未來(lái)我們也將在以下幾個(gè)方向進(jìn)行優(yōu)化，敬請(qǐng)關(guān)注。

• 對(duì) DPDK 的進(jìn)一步支持，由于 usdt 的上游庫(kù)存在問(wèn)題，故無(wú)法支持應(yīng)用程序的 usdt，有興趣的讀者可以修改支持。
• 對(duì)多內(nèi)核版本的統(tǒng)一支持。
• 在自定義輸出的時(shí)候，數(shù)據(jù)包較多的情況下，會(huì)出現(xiàn)打印錯(cuò)亂，原因是 tcpdump 的輸出信息和用戶自定義的輸出信息共同使用了標(biāo)準(zhǔn)輸出，未來(lái)也將針對(duì)該問(wèn)題做后續(xù)優(yōu)化。