【原創】Linux虛擬化KVM-Qemu分析（九）之virtio設備

背景

• Read the fucking source code! --By 魯迅
• A picture is worth a thousand words. --By 高爾基

說明：

1. KVM版本：5.9.1
2. QEMU版本：5.0.0
3. 工具：Source Insight 3.5， Visio
4. 文章同步在博客園：https://www.cnblogs.com/LoyenWang/

新的一年， 大家牛起來！
祝小姐姐們：
落雁沉魚 蘭質蕙心 明眸皓齒 螓首蛾眉 天生麗質 天香國色 杏臉桃腮 煦色韶光 涎玉沫珠 宜嗔宜喜 遠山芙蓉 豔色絕世 餘霞成綺 阿嬌金屋 逞嬌呈美 國色天香 花顏月貌 絕色佳人 暗香盈袖 閉月羞花 傾國傾城 溫婉嫺淑 千嬌百媚 儀態萬千...

祝男的：
新年好。

1. 概述

先來張圖：

• 圖中羅列了四個關鍵模塊：Virtio Device、Virtio Driver、Virtqueue、Notification（eventfd/irqfd）；
• Virtio Driver：前端部分，處理用戶請求，並將I/O請求轉移到後端；
• Virtio Device：後端部分，由Qemu來實現，接收前端的I/O請求，並通過物理設備進行I/O操作；
• Virtqueue：中間層部分，用於數據的傳輸；
• Notification：交互方式，用於異步事件的通知；

 
想在一篇文章中寫完這四個模塊，有點too yong too simple，所以，看起來又是一個系列文章了。
本文先從Qemu側的virtio device入手，我會選擇從一個實際的設備來闡述，沒錯，還是上篇文章中提到的網絡設備。

2. 流程分析

在Qemu的網卡虛擬化時，通常會創建一個虛擬網卡前端和虛擬網卡後端，如下圖：

• 在虛擬機創建的時候指定參數：-netdev tap, id = tap0， -device virtio-net-pci, netdev=tap0；
• 創建一個Tap網卡後端設備；
• 創建一個Virtio-Net網卡前端設備；
• 網卡前端設備和後端設備進行交互，最終與Host的驅動完成數據的收發；

全文圍繞着Tap設備的創建和Virtio-Net設備的創建展開。

入口流程如下：

• Qemu的代碼閱讀起來還是比較費勁的，各種盤根錯節，裏邊充斥着面向對象的思想，先給自己挖個坑，後續會專題研究的，this is for you, you have my words.;
• 圖中與本文相關的有三個模塊：1）模塊初始化；2）網絡設備初始化；3）設備初始化；
  1. Qemu中設備模擬通過type_init先編譯進系統，在module_call_init時進行回調，比如圖中的xxx_register_types，在這些函數中都是根據TypeInfo類型信息來創建具體的實現信息；
  2. net_init_client用來創建網絡設備，比如Tap設備；
  3. device_init_func根據Qemu命令的傳入參數創建虛擬設備，比如Virtio-Net；

下邊進入細節，the devil is in the details。

3. tap創建

從上文中，我們知道，Tap與Virtio-Net屬於前後端的關係，最終是通過結構體分別指向對方，如下圖：

• NetClientState是網卡模擬的核心結構，表示網絡設備中的幾個端點，兩個端點通過peer指向對方；

創建Tap設備的主要工作就是創建一個NetClientState結構，並添加到net_clients鏈表中：

函數的調用細節如下圖：

• 處理流程只關注了核心的處理流程，整個過程有很多關於傳入參數的處理，選擇性忽略了；
• net_tap_init：與Host的tun驅動進行交互，其實質就是打開該設備文件，並進行相應的配置等；
• net_tap_fd_init：根據net_tap_info結構，創建NetClientState，並進行相關設置，這裏邊net_tap_info結構體中的接收函數指針用於實際的數據傳輸處理；
• tap_read_poll用於將fd添加到Qemu的AioContext中，用於異步響應，當有數據來臨時，捕獲事件並進行處理；

以上就是Tap後端的創建過程，下文將針對前端創建了。

4. virtio-net創建

這是一個複雜的流程。

4.1 數據結構

Qemu中用C語言實現了面向對象的模型，用於對設備進行抽象，精妙！
針對Virtio-Net設備，結構體及拓撲組織關係如下圖：

• DeviceState作爲所有設備的父類，其中派生了VirtIODevice和PCIDevice，而本文研究的Virtio-Net派生自VirtIODevice；
• Qemu中會虛擬一個PCI總線，同時創建virtio-net-pci，virtio-balloon-pci，virtio-scsi-pci等PCI代理設備，這些代理設備掛載在PCI總線上，同時會創建Virtio總線，用於掛載最終的設備，比如VirtIONet；
• PCI代理設備就是一個紐帶；

4.2 流程分析

與設備創建相關的三個函數，可以從device_init_func入口跟蹤得知：

• 當Qemu命令通過-device傳入參數時，device_init_func會根據參數去查找設備，並最終調用到該設備對應的類初始化函數、對象初始化函數、以及realize函數；
• 所以，我們的分析就是這三個入口；

4.2.1 class_init

• 在網卡虛擬化過程中，參數只需要指定PCI代理設備即可，也就是-device virtio-net-pci, netdev=tap0，從而會調用到virtio_net_pci_class_init函數；
• 由於實現了類的繼承關係，在子類初始化之前，需要先調用父類的實現，圖中也表明了繼承關係以及調用函數順序；
• C語言實現繼承，也就是將父對象放置在自己結構體的開始位置，圖中的顏色能看出來；

4.2.2 instance_init

類初始化結束後，開始對象的創建：

• 針對Virtio-Net-PCI的實例化比較簡單，作爲代理，負責將它的後繼對象初始化，也就是本文的前端設備Virtio-Net；

4.2.3 realize

• realize的調用，比較繞，簡單來說，它的類繼承關係中存在多個realize的函數指針，最終會從父類開始執行，一直調用到子類，而這些函數指針的初始化在什麼時候做的呢？沒錯，就是在class_init類初始化的時候，進行了賦值，細節不表，結論可靠；
• 最終的調用關係就如圖了；

到目前爲止，我們似乎都還沒有看到Virtio-Net設備的相關操作，不用着急，已經很接近真相了：

• virtio_net_pci_realize函數，會觸發virtio_device_realize的調用，該函數是一個通用的virtio設備實現函數，所有的virtio設備都會調用，而我們的前端設備Virtio-Net也是virtio設備；
• virtio_net_device_realize就到了我們的主角了，它進行了virtio通用的設置（後續在數據通信中再分析），還創建了一個NetClientState端點，與Tap設備對應，分別指向了對方，惺惺相惜，各自安好；
• virtio_bus_device_plugged表示設備插入總線時的處理，完成的工作就是按照PCI總線規劃，配置各類信息，以便與Guest OS中的virtio驅動交互，後續的文章再分析了；

本文基本捋清了虛擬網卡前端設備和後端設備的創建過程，完成的工作只是綁定了彼此，數據交互以及通知機制，留給後續吧。

參考

《 Virtual I/O Device (VIRTIO) Version 1.1》
https://www.redhat.com/en/blog/virtio-devices-and-drivers-overview-headjack-and-phone

歡迎關注個人公衆號，不定期更新技術文章。