[[381734]]

本文轉(zhuǎn)載自微信公眾號(hào)「LoyenWang」，作者LoyenWang。轉(zhuǎn)載本文請(qǐng)聯(lián)系LoyenWang公眾號(hào)。    

背景

• Read the fucking source code! --By 魯迅
• A picture is worth a thousand words. --By 高爾基

說(shuō)明：

1. KVM版本：5.9.1
2. QEMU版本：5.0.0
3. 工具：Source Insight 3.5， Visio
4. 文章同步在博客園：https://www.cnblogs.com/LoyenWang/

新的一年， 大家牛起來(lái)!

祝小姐姐們：

落雁沉魚(yú) 蘭質(zhì)蕙心 明眸皓齒 螓首蛾眉 天生麗質(zhì) 天香國(guó)色 杏臉桃腮 煦色韶光 涎玉沫珠 宜嗔宜喜 遠(yuǎn)山芙蓉 艷色絕世 余霞成綺 阿嬌金屋 逞嬌呈美 國(guó)色天香 花顏月貌 絕色佳人 暗香盈袖 閉月羞花 傾國(guó)傾城 溫婉嫻淑 千嬌百媚 儀態(tài)萬(wàn)千...

祝男的：

新年好。

1. 概述

先來(lái)張圖：

• 圖中羅列了四個(gè)關(guān)鍵模塊：Virtio Device、Virtio Driver、Virtqueue、Notification(eventfd/irqfd);
• Virtio Driver：前端部分，處理用戶(hù)請(qǐng)求，并將I/O請(qǐng)求轉(zhuǎn)移到后端;
• Virtio Device：后端部分，由Qemu來(lái)實(shí)現(xiàn)，接收前端的I/O請(qǐng)求，并通過(guò)物理設(shè)備進(jìn)行I/O操作;
• Virtqueue：中間層部分，用于數(shù)據(jù)的傳輸;
• Notification：交互方式，用于異步事件的通知;

想在一篇文章中寫(xiě)完這四個(gè)模塊，有點(diǎn)too yong too simple，所以，看起來(lái)又是一個(gè)系列文章了。

本文先從Qemu側(cè)的virtio device入手，我會(huì)選擇從一個(gè)實(shí)際的設(shè)備來(lái)闡述，沒(méi)錯(cuò)，還是上篇文章中提到的網(wǎng)絡(luò)設(shè)備。

2. 流程分析

在Qemu的網(wǎng)卡虛擬化時(shí)，通常會(huì)創(chuàng)建一個(gè)虛擬網(wǎng)卡前端和虛擬網(wǎng)卡后端，如下圖：

• 在虛擬機(jī)創(chuàng)建的時(shí)候指定參數(shù)：-netdev tap, id = tap0， -device virtio-net-pci, netdev=tap0;
• 創(chuàng)建一個(gè)Tap網(wǎng)卡后端設(shè)備;
• 創(chuàng)建一個(gè)Virtio-Net網(wǎng)卡前端設(shè)備;
• 網(wǎng)卡前端設(shè)備和后端設(shè)備進(jìn)行交互，最終與Host的驅(qū)動(dòng)完成數(shù)據(jù)的收發(fā);

全文圍繞著Tap設(shè)備的創(chuàng)建和Virtio-Net設(shè)備的創(chuàng)建展開(kāi)。

入口流程如下：

• Qemu的代碼閱讀起來(lái)還是比較費(fèi)勁的，各種盤(pán)根錯(cuò)節(jié)，里邊充斥著面向?qū)ο蟮乃枷?，先給自己挖個(gè)坑，后續(xù)會(huì)專(zhuān)題研究的，this is for you, you have my words.;
• 圖中與本文相關(guān)的有三個(gè)模塊：1)模塊初始化;2)網(wǎng)絡(luò)設(shè)備初始化;3)設(shè)備初始化;

1. Qemu中設(shè)備模擬通過(guò)type_init先編譯進(jìn)系統(tǒng)，在module_call_init時(shí)進(jìn)行回調(diào)，比如圖中的xxx_register_types，在這些函數(shù)中都是根據(jù)TypeInfo類(lèi)型信息來(lái)創(chuàng)建具體的實(shí)現(xiàn);
2. net_init_client用來(lái)創(chuàng)建網(wǎng)絡(luò)設(shè)備，比如Tap設(shè)備;
3. device_init_func根據(jù)Qemu命令的傳入?yún)?shù)創(chuàng)建虛擬設(shè)備，比如Virtio-Net;

下邊進(jìn)入細(xì)節(jié)，the devil is in the details。

3. tap創(chuàng)建

從上文中，我們知道，Tap與Virtio-Net屬于前后端的關(guān)系，最終是通過(guò)結(jié)構(gòu)體分別指向?qū)Ψ?，如下圖：

• NetClientState是網(wǎng)卡模擬的核心結(jié)構(gòu)，表示網(wǎng)絡(luò)設(shè)備中的幾個(gè)端點(diǎn)，兩個(gè)端點(diǎn)通過(guò)peer指向?qū)Ψ?

創(chuàng)建Tap設(shè)備的主要工作就是創(chuàng)建一個(gè)NetClientState結(jié)構(gòu)，并添加到net_clients鏈表中：

函數(shù)的調(diào)用細(xì)節(jié)如下圖：

• 處理流程只關(guān)注了核心的處理流程，整個(gè)過(guò)程有很多關(guān)于傳入?yún)?shù)的處理，選擇性忽略了;
• net_tap_init：與Host的tun驅(qū)動(dòng)進(jìn)行交互，其實(shí)質(zhì)就是打開(kāi)該設(shè)備文件，并進(jìn)行相應(yīng)的配置等;
• net_tap_fd_init：根據(jù)net_tap_info結(jié)構(gòu)，創(chuàng)建NetClientState，并進(jìn)行相關(guān)設(shè)置，這里邊net_tap_info結(jié)構(gòu)體中的接收函數(shù)指針用于實(shí)際的數(shù)據(jù)傳輸處理;
• tap_read_poll用于將fd添加到Qemu的AioContext中，用于異步響應(yīng)，當(dāng)有數(shù)據(jù)來(lái)臨時(shí)，捕獲事件并進(jìn)行處理;

以上就是Tap后端的創(chuàng)建過(guò)程，下文將針對(duì)前端創(chuàng)建了。

4. virtio-net創(chuàng)建

這是一個(gè)復(fù)雜的流程。

4.1 數(shù)據(jù)結(jié)構(gòu)

Qemu中用C語(yǔ)言實(shí)現(xiàn)了面向?qū)ο蟮哪Ｐ?，用于?duì)設(shè)備進(jìn)行抽象，精妙!

針對(duì)Virtio-Net設(shè)備，結(jié)構(gòu)體及拓?fù)浣M織關(guān)系如下圖：

• DeviceState作為所有設(shè)備的父類(lèi)，其中派生了VirtIODevice和PCIDevice，而本文研究的Virtio-Net派生自VirtIODevice;
• Qemu中會(huì)虛擬一個(gè)PCI總線(xiàn)，同時(shí)創(chuàng)建virtio-net-pci，virtio-balloon-pci，virtio-scsi-pci等PCI代理設(shè)備，這些代理設(shè)備掛載在PCI總線(xiàn)上，同時(shí)會(huì)創(chuàng)建Virtio總線(xiàn)，用于掛載最終的設(shè)備，比如VirtIONet;
• PCI代理設(shè)備就是一個(gè)紐帶;

4.2 流程分析

與設(shè)備創(chuàng)建相關(guān)的三個(gè)函數(shù)，可以從device_init_func入口跟蹤得知：

• 當(dāng)Qemu命令通過(guò)-device傳入?yún)?shù)時(shí)，device_init_func會(huì)根據(jù)參數(shù)去查找設(shè)備，并最終調(diào)用到該設(shè)備對(duì)應(yīng)的類(lèi)初始化函數(shù)、對(duì)象初始化函數(shù)、以及realize函數(shù);
• 所以，我們的分析就是這三個(gè)入口;

4.2.1 class_init

• 在網(wǎng)卡虛擬化過(guò)程中，參數(shù)只需要指定PCI代理設(shè)備即可，也就是-device virtio-net-pci, netdev=tap0，從而會(huì)調(diào)用到virtio_net_pci_class_init函數(shù);
• 由于實(shí)現(xiàn)了類(lèi)的繼承關(guān)系，在子類(lèi)初始化之前，需要先調(diào)用父類(lèi)的實(shí)現(xiàn)，圖中也表明了繼承關(guān)系以及調(diào)用函數(shù)順序;
• C語(yǔ)言實(shí)現(xiàn)繼承，也就是將父對(duì)象放置在自己結(jié)構(gòu)體的開(kāi)始位置，圖中的顏色能看出來(lái);

4.2.2 instance_init

類(lèi)初始化結(jié)束后，開(kāi)始對(duì)象的創(chuàng)建：

• 針對(duì)Virtio-Net-PCI的實(shí)例化比較簡(jiǎn)單，作為代理，負(fù)責(zé)將它的后繼對(duì)象初始化，也就是本文的前端設(shè)備Virtio-Net;

4.2.3 realize

• realize的調(diào)用，比較繞，簡(jiǎn)單來(lái)說(shuō)，它的類(lèi)繼承關(guān)系中存在多個(gè)realize的函數(shù)指針，最終會(huì)從父類(lèi)開(kāi)始執(zhí)行，一直調(diào)用到子類(lèi)，而這些函數(shù)指針的初始化在什么時(shí)候做的呢?沒(méi)錯(cuò)，就是在class_init類(lèi)初始化的時(shí)候，進(jìn)行了賦值，細(xì)節(jié)不表，結(jié)論可靠;
• 最終的調(diào)用關(guān)系就如圖了;

到目前為止，我們似乎都還沒(méi)有看到Virtio-Net設(shè)備的相關(guān)操作，不用著急，已經(jīng)很接近真相了：

• virtio_net_pci_realize函數(shù)，會(huì)觸發(fā)virtio_device_realize的調(diào)用，該函數(shù)是一個(gè)通用的virtio設(shè)備實(shí)現(xiàn)函數(shù)，所有的virtio設(shè)備都會(huì)調(diào)用，而我們的前端設(shè)備Virtio-Net也是virtio設(shè)備;
• virtio_net_device_realize就到了我們的主角了，它進(jìn)行了virtio通用的設(shè)置(后續(xù)在數(shù)據(jù)通信中再分析)，還創(chuàng)建了一個(gè)NetClientState端點(diǎn)，與Tap設(shè)備對(duì)應(yīng)，分別指向了對(duì)方，惺惺相惜，各自安好;
• virtio_bus_device_plugged表示設(shè)備插入總線(xiàn)時(shí)的處理，完成的工作就是按照PCI總線(xiàn)規(guī)劃，配置各類(lèi)信息，以便與Guest OS中的virtio驅(qū)動(dòng)交互，后續(xù)的文章再分析了;

本文基本捋清了虛擬網(wǎng)卡前端設(shè)備和后端設(shè)備的創(chuàng)建過(guò)程，完成的工作只是綁定了彼此，數(shù)據(jù)交互以及通知機(jī)制，留給后續(xù)吧。

參考

《 Virtual I/O Device (VIRTIO) Version 1.1》

https://www.redhat.com/en/blog/virtio-devices-and-drivers-overview-headjack-and-phone