[[431515]]

本文轉(zhuǎn)載自微信公眾號(hào)「LoyenWang」，作者LoyenWang。轉(zhuǎn)載本文請(qǐng)聯(lián)系LoyenWang公眾號(hào)。

背景

• Read the fucking source code! --By 魯迅
• A picture is worth a thousand words. --By 高爾基

說(shuō)明：

• Kernel版本：4.14
• ARM64處理器，Contex-A53，雙核
• 使用工具：Source Insight 3.5， Visio

1. 概述

• V4L2(Video for Linux 2)：Linux內(nèi)核中關(guān)于視頻設(shè)備驅(qū)動(dòng)的框架，對(duì)上向應(yīng)用層提供統(tǒng)一的接口，對(duì)下支持各類復(fù)雜硬件的靈活擴(kuò)展;
• V4L2框架，主要包括v4l2-core、meida framework、videobuf2等模塊，這也是本文將要展開(kāi)的內(nèi)容，僅提綱挈領(lǐng);

開(kāi)始吧。

2. v4l2-core

2.1 應(yīng)用視角

先從應(yīng)用的角度來(lái)看如何使用v4l2吧：

假如要進(jìn)行視頻數(shù)據(jù)采集，大體的步驟如上圖左側(cè)所示：

• 打開(kāi)設(shè)備文件/dev/videoX;
• 根據(jù)打開(kāi)的設(shè)備，查詢?cè)O(shè)備能力集;
• 設(shè)置視頻數(shù)據(jù)的格式、參數(shù)等;
• 分配buffer，這個(gè)buffer可以是用戶態(tài)分配的，也可以是從內(nèi)核中獲取的;
• 開(kāi)始視頻流采集工作;
• 將buffer enqueue到v4l2框架，底層負(fù)責(zé)將視頻數(shù)據(jù)填充后，應(yīng)用層再將buffer dequeue以便獲取數(shù)據(jù)，然后再將buffer enqueue，如此循環(huán)往復(fù);

上圖右側(cè)是v4l2-core的大體框架，右側(cè)是對(duì)硬件的抽象，要想理解好它，可以先看一下較常見(jiàn)的硬件拓?fù)浣Y(jié)構(gòu)：

通常一個(gè)camera的模組如圖所示，通常包括Lens、Sensor、CSI接口等，其中CSI接口用于視頻數(shù)據(jù)的傳輸;

SoC的Mipi接口對(duì)接Camera，并通過(guò)I2C/SPI控制camera模組;

Camera模組中也可以包含ISP模塊，用于對(duì)圖像進(jìn)行處理，有的SoC中也集成了ISP的IP，接收camera的raw數(shù)據(jù)后，進(jìn)行圖像處理;

2.2 數(shù)據(jù)結(jié)構(gòu)

如果以上圖的硬件為例，對(duì)攝像頭的硬件該怎么來(lái)抽象呢?沒(méi)錯(cuò)，就是以v4l2_device和v4l2_subdev來(lái)進(jìn)行抽象,以v4l2_device來(lái)代表整個(gè)輸入設(shè)備，以v4l2_subdev來(lái)代表子模塊，比如CSI、Sensor等;

• v4l2_device：對(duì)視頻設(shè)備的整體進(jìn)行抽象，可以看成是一個(gè)紐帶，將各個(gè)子設(shè)備聯(lián)系在一起，通常它會(huì)嵌入在其他結(jié)構(gòu)體中以提供v4l2框架的功能，比如strcut isp_device;
• v4l2_subdev：對(duì)子設(shè)備進(jìn)行抽象，該結(jié)構(gòu)體中包含的struct v4l2_subdev_ops是一個(gè)完備的操作函數(shù)集，用于對(duì)接各種不同的子設(shè)備，比如video、audio、sensor等，同時(shí)還有一個(gè)核心的函數(shù)集struct v4l2_subdev_core_ops，提供更通用的功能。子設(shè)備驅(qū)動(dòng)根據(jù)設(shè)備特點(diǎn)實(shí)現(xiàn)該函數(shù)集中的某些函數(shù)即可;
• video_device：用于向系統(tǒng)注冊(cè)字符設(shè)備節(jié)點(diǎn)，以便用戶空間可以進(jìn)行交互，包括各類設(shè)置以及數(shù)據(jù)buffer的獲取等，在該結(jié)構(gòu)體中也能看到struct v4l2_ioctl_ops和struct vb2_queue結(jié)構(gòu)體字段，這些與上文中的應(yīng)用層代碼編寫(xiě)息息相關(guān);
• 如果子設(shè)備不需要與應(yīng)用層交互，struct v4l2_subdev中內(nèi)嵌的video_device也可以不向系統(tǒng)注冊(cè)字符設(shè)備;
• video_device結(jié)構(gòu)體，可以內(nèi)嵌在其他結(jié)構(gòu)體中，以便提供用戶層交互的功能，比如struct isp_video;
• 針對(duì)圖中回調(diào)函數(shù)集，v4l2-core提供了一些實(shí)現(xiàn)，所以driver在實(shí)現(xiàn)時(shí)，非特殊情況下可以不用重復(fù)造輪子;

2.3 流程分析

來(lái)進(jìn)一步看一下內(nèi)部的注冊(cè)，及調(diào)用流程吧：

• 在驅(qū)動(dòng)實(shí)現(xiàn)中，驅(qū)動(dòng)結(jié)構(gòu)體中內(nèi)嵌struct video_device，同時(shí)實(shí)現(xiàn)struct v4l2_file_operations結(jié)構(gòu)體中的函數(shù)，最終通過(guò)video_register_device向提供注冊(cè);
• v4l2_register_device函數(shù)通過(guò)cdev_add向系統(tǒng)注冊(cè)字符設(shè)備，并指定了file_operations，用戶空間調(diào)用open/read/write/ioctl等接口，便可回調(diào)到驅(qū)動(dòng)實(shí)現(xiàn)中;
• v4l2_register_device函數(shù)中，通過(guò)device_register向系統(tǒng)注冊(cè)設(shè)備，會(huì)在/sys文件系統(tǒng)下創(chuàng)建節(jié)點(diǎn);

完成注冊(cè)后，用戶空間便可通過(guò)文件描述符來(lái)進(jìn)行訪問(wèn)，從應(yīng)用層看，大部分都是通過(guò)ioctl接口來(lái)完成，流程如下：

用戶層的ioctl回調(diào)到__video_do_ioctl中，該函數(shù)會(huì)對(duì)系統(tǒng)提供的struct v4l2_ioctl_info v4l2_ioctls[]表進(jìn)行查詢，找到對(duì)應(yīng)的項(xiàng)后進(jìn)行調(diào)用;

驅(qū)動(dòng)做的工作就是填空題，實(shí)現(xiàn)對(duì)應(yīng)的回調(diào)，在合適的時(shí)候被調(diào)用;

下一個(gè)小節(jié)，讓我們看看更復(fù)雜一點(diǎn)的情況。

3. media framework

3.1 問(wèn)題引入

為了更好的描述，本節(jié)以omap3isp為例，先看一下它的硬件構(gòu)成：

• CSI：camera接口，接收?qǐng)D像數(shù)據(jù)，RGB/YUV/JPEG等;
• CCDC：視頻處理前端，CCDC為圖像傳感器和數(shù)字視頻源提供接口，并處理圖像數(shù)據(jù);
• Preview/Resizer：視頻處理后端，Preview提供預(yù)覽功能，可針對(duì)不同類型的傳感器進(jìn)行定制，Resizer提供將輸入圖像數(shù)據(jù)按所需的顯示或視頻編碼分辨率調(diào)整大小的方法;

H3A/HIST：靜態(tài)統(tǒng)計(jì)模塊，H3A支持AF、AWB、AE的回路控制，HIST根據(jù)輸入數(shù)據(jù)，提供各種3A算法所需的統(tǒng)計(jì)數(shù)據(jù);

上述硬件模塊，可以對(duì)應(yīng)到驅(qū)動(dòng)結(jié)構(gòu)體struct isp_device中的各個(gè)字段。

omap3isp的硬件模塊，支持多種數(shù)據(jù)流通路，它并不是唯一的，以RGB為例，如下圖：

• Raw RGB數(shù)據(jù)進(jìn)入ISP模塊后，可以在運(yùn)行過(guò)程中，根據(jù)實(shí)際的需求進(jìn)行通路設(shè)置;
• 所以，重點(diǎn)是：它需要?jiǎng)討B(tài)設(shè)置路徑!

那么，軟件該如何滿足這種需求呢?

3.2 框架

沒(méi)錯(cuò)，pipeline框架的引入可以解決這個(gè)問(wèn)題。說(shuō)來(lái)很巧，我曾經(jīng)也實(shí)現(xiàn)過(guò)一個(gè)類似的框架，在閱讀media framework時(shí)有一種似曾相識(shí)的感覺(jué)，核心的思想大體一致。

• 模塊之間相互獨(dú)立，通過(guò)struct media_entity來(lái)進(jìn)行抽象，通常會(huì)將struct media_entity嵌入到其他結(jié)構(gòu)中，以支持media framework功能;
• entity模塊包含struct media_pad，pad可以認(rèn)為是端口，與其他模塊進(jìn)行聯(lián)系的媒介，針對(duì)特定模塊來(lái)說(shuō)它是確定的;
• pad通過(guò)struct media_link來(lái)建立連接，指定source和sink，即可將通路建立起來(lái);
• 各個(gè)模塊之間最終建立一條數(shù)據(jù)流，便是一條pipeline了，同一條pipeline中的模塊，可以根據(jù)前一個(gè)模塊查找到下一個(gè)模塊，因此也可以很方便進(jìn)行遍歷，并做進(jìn)一步的設(shè)置操作;

因此，只需要將struct media_entity嵌入到特定子模塊中，最終便可以將子模塊串聯(lián)起來(lái)，構(gòu)成數(shù)據(jù)流。所以，omap3isp的驅(qū)動(dòng)中，數(shù)據(jù)流就如下圖所示：

• video devnode代表video device，也就是前文中提到的導(dǎo)出到用戶空間的節(jié)點(diǎn)，用于與用戶進(jìn)行控制及數(shù)據(jù)交互;
• 每個(gè)模塊分別有source pad和sink pad，從連接圖就可以看出，數(shù)據(jù)通路靈活多變;
• 至于數(shù)據(jù)通路選擇問(wèn)題，可以在驅(qū)動(dòng)初始化的時(shí)候進(jìn)行鏈接創(chuàng)建，比如isp_create_links;

還是看一下數(shù)據(jù)結(jié)構(gòu)吧：

• media_device：與v4l2_device類似，也是負(fù)責(zé)將各個(gè)子模塊集中進(jìn)行管理，同時(shí)在注冊(cè)的時(shí)候，會(huì)向系統(tǒng)注冊(cè)設(shè)備節(jié)點(diǎn)，方便用戶層進(jìn)行操作;
• media_entity、media_pad、media_link等結(jié)構(gòu)體的功能在上文中描述過(guò)，注意，這幾個(gè)結(jié)構(gòu)體會(huì)添加到media_device的鏈表中，同時(shí)它們結(jié)構(gòu)體的開(kāi)始字段都需是struct media_gobj，該結(jié)構(gòu)中的mdev將會(huì)指向它所屬的media_device。這種設(shè)計(jì)方便結(jié)構(gòu)之間的查找;
• media_entity中包含多個(gè)media_pad，同時(shí)media_pad又會(huì)指向它所屬的media_entity;
• media_graph和media_pipeline是media_entity的集合，直觀來(lái)理解，就是由一些模塊構(gòu)成的一條數(shù)據(jù)通路，由一個(gè)統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)來(lái)組織管理;

羅列一下常見(jiàn)的幾個(gè)接口吧，細(xì)節(jié)不表了：

/* 初始化entity的pads */ 
int media_entity_pads_init(struct media_entity *entity, u16 num_pads, 
        struct media_pad *pads); 
 
/* 在兩個(gè)entity之間創(chuàng)建link */ 
int media_create_pad_links(const struct media_device *mdev, 
      const u32 source_function, 
      struct media_entity *source, 
      const u16 source_pad, 
      const u32 sink_function, 
      struct media_entity *sink, 
      const u16 sink_pad, 
      u32 flags, 
      const bool allow_both_undefined); 
 
/* 開(kāi)始graph的遍歷，從指定的entity開(kāi)始 */ 
void media_graph_walk_start(struct media_graph *graph, 
       struct media_entity *entity); 
 
/* 啟動(dòng)pipeline */ 
__must_check int media_pipeline_start(struct media_entity *entity, 
          struct media_pipeline *pipe); 

將media framework和v4l2_device及v4l2_subdev結(jié)合起來(lái)，就可以將各個(gè)子設(shè)備構(gòu)建pipeline，完美!

4. videobuf2

4.1 框架分析

• 框架可以分成兩個(gè)部分看：控制流+數(shù)據(jù)流，上文已經(jīng)大概描述了控制流，數(shù)據(jù)流的部分就是video buffer了。
• V4L2的buffer管理是通過(guò)videobuf2來(lái)完成的，它充當(dāng)用戶空間和驅(qū)動(dòng)之間的中間層，并提供low-level，模塊化的內(nèi)存管理功能;

• 上圖大體包含了videobuf2的框架;
• vb2_queue：核心的數(shù)據(jù)結(jié)構(gòu)，用于描述buffer的隊(duì)列，其中struct vb2_buffer *bufs[]是存放buffer節(jié)點(diǎn)的數(shù)組，該數(shù)組中的成員代表了vb2 buffer，并將在queued_list和done_list兩個(gè)隊(duì)列中進(jìn)行流轉(zhuǎn);
• struct vb2_buf_ops：buffer的操作函數(shù)集，由驅(qū)動(dòng)來(lái)實(shí)現(xiàn)，并由框架通過(guò)call_bufop宏來(lái)對(duì)特定的函數(shù)進(jìn)行調(diào)用;
• struct vb2_mem_ops：內(nèi)存buffer分配函數(shù)接口，buffer類型分為三種：1)虛擬地址和物理地址都分散，可以通過(guò)dma-sg來(lái)完成;2)物理地址分散，虛擬地址連續(xù)，可以通過(guò)vmalloc分配;3)物理地址連續(xù)，可以通過(guò)dma-contig來(lái)完成;三種類型也vb2框架中都有實(shí)現(xiàn)，框架可以通過(guò)call_memop來(lái)進(jìn)行調(diào)用;
• struct vb2_ops：vb2隊(duì)列操作函數(shù)集，由驅(qū)動(dòng)來(lái)實(shí)現(xiàn)對(duì)應(yīng)的接口，并在框架中通過(guò)call_vb_qop宏被調(diào)用;

4.2 流程分析

本節(jié)以omap3isp為例進(jìn)行簡(jiǎn)要分析，感覺(jué)直接看圖就可以了：

buffer申請(qǐng) 

buffer enqueue 

buffer dequeue 

stream on 

行文至此，主體講完了，相信看完本文應(yīng)該有個(gè)大概的輪廓了，還有一些細(xì)節(jié)未進(jìn)一步描述，就此打住。

參考

https://lwn.net/Articles/416649/

《OMAP35x Technical Reference Manual (Rev. Y).pdf》