Linux 中斷子系統(tǒng)的驅(qū)動解析
GIC 驅(qū)動
這里主要分析 linux kernel 中 GIC v3 中斷控制器的代碼(drivers/irqchip/irq-gic-v3.c)。
設(shè)備樹
先來看下一個中斷控制器的設(shè)備樹信息:
- gic: interrupt-controller@51a00000 {
- compatible = "arm,gic-v3";
- reg = <0x0 0x51a00000 0 0x10000>, /* GIC Dist */
- <0x0 0x51b00000 0 0xC0000>, /* GICR */
- <0x0 0x52000000 0 0x2000>, /* GICC */
- <0x0 0x52010000 0 0x1000>, /* GICH */
- <0x0 0x52020000 0 0x20000>; /* GICV */
- #interrupt-cells = <3>;
- interrupt-controller;
- interrupts = <GIC_PPI 9
- (GIC_CPU_MASK_SIMPLE(6) | IRQ_TYPE_LEVEL_HIGH)>;
- interrupt-parent = <&gic>;
- };
- compatible:用于匹配GICv3驅(qū)動
- reg :GIC的物理基地址,分別對應(yīng)GICD,GICR,GICC…
- #interrupt-cells:這是一個中斷控制器節(jié)點的屬性。它聲明了該中斷控制器的中斷指示符(interrupts)中 cell 的個數(shù)
- interrupt-controller: 表示該節(jié)點是一個中斷控制器
- interrupts:分別代表中斷類型,中斷號,中斷類型, PPI中斷親和, 保留字段
關(guān)于設(shè)備數(shù)的各個字段含義,詳細(xì)可以參考 Documentation/devicetree/bindings 下的對應(yīng)信息。
初始化
1. irq chip driver 的聲明:
- IRQCHIP_DECLARE(gic_v3, "arm,gic-v3", gic_of_init);
定義 IRQCHIP_DECLARE 之后,相應(yīng)的內(nèi)容會保存到 __irqchip_of_table 里邊:
- #define IRQCHIP_DECLARE(name, compat, fn) OF_DECLARE_2(irqchip, name, compat, fn)
- #define OF_DECLARE_2(table, name, compat, fn) \
- _OF_DECLARE(table, name, compat, fn, of_init_fn_2)
- #define _OF_DECLARE(table, name, compat, fn, fn_type) \
- static const struct of_device_id __of_table_##name \
- __used __section(__##table##_of_table) \
- = { .compatible = compat, \
- .data = (fn == (fn_type)NULL) ? fn : fn }
__irqchip_of_table 在鏈接腳本 vmlinux.lds 里,被放到了 __irqchip_begin 和 __irqchip_of_end 之間,該段用于存放中斷控制器信息:
- #ifdef CONFIG_IRQCHIP
- #define IRQCHIP_OF_MATCH_TABLE() \
- . = ALIGN(8); \
- VMLINUX_SYMBOL(__irqchip_begin) = .; \
- *(__irqchip_of_table) \
- *(__irqchip_of_end)
- #endif
在內(nèi)核啟動初始化中斷的函數(shù)中,of_irq_init 函數(shù)會去查找設(shè)備節(jié)點信息,該函數(shù)的傳入?yún)?shù)就是 __irqchip_of_table 段,由于 IRQCHIP_DECLARE 已經(jīng)將信息填充好了,of_irq_init 函數(shù)會根據(jù) “arm,gic-v3” 去查找對應(yīng)的設(shè)備節(jié)點,并獲取設(shè)備的信息。or_irq_init 函數(shù)中,最終會回調(diào) IRQCHIP_DECLARE 聲明的回調(diào)函數(shù),也就是 gic_of_init,而這個函數(shù)就是 GIC 驅(qū)動的初始化入口。
2. gic_of_init 流程:
- static int __init gic_of_init(struct device_node *node, struct device_node *parent)
- {
- ......
- dist_base = of_iomap(node, 0); ------(1)
- if (!dist_base) {
- pr_err("%pOF: unable to map gic dist registers\n", node);
- return -ENXIO;
- }
- err = gic_validate_dist_version(dist_base); ------(2)
- if (err) {
- pr_err("%pOF: no distributor detected, giving up\n", node);
- goto out_unmap_dist;
- }
- if (of_property_read_u32(node, "#redistributor-regions", &nr_redist_regions)) ------(3)
- nr_redist_regions = 1;
- rdist_regs = kzalloc(sizeof(*rdist_regs) * nr_redist_regions, GFP_KERNEL);
- if (!rdist_regs) {
- err = -ENOMEM;
- goto out_unmap_dist;
- }
- for (i = 0; i < nr_redist_regions; i++) { ------(4)
- struct resource res;
- int ret;
- ret = of_address_to_resource(node, 1 + i, &res);
- rdist_regs[i].redist_base = of_iomap(node, 1 + i);
- if (ret || !rdist_regs[i].redist_base) {
- pr_err("%pOF: couldn't map region %d\n", node, i);
- err = -ENODEV;
- goto out_unmap_rdist;
- }
- rdist_regs[i].phys_base = res.start;
- }
- if (of_property_read_u64(node, "redistributor-stride", &redist_stride)) ------(5)
- redist_stride = 0;
- err = gic_init_bases(dist_base, rdist_regs, nr_redist_regions, ------(6)
- redist_stride, &node->fwnode);
- if (err)
- goto out_unmap_rdist;
- gic_populate_ppi_partitions(node); ------(7)
- gic_of_setup_kvm_info(node);
- return 0;
- ......
- return err;
- }
- 映射 GICD 的寄存器地址空間。
- 驗證 GICD 的版本是 GICv3 還是 GICv4(主要通過讀GICD_PIDR2寄存器bit[7:4]. 0x1代表GICv1, 0x2代表GICv2…以此類推)。
- 通過 DTS 讀取 redistributor-regions 的值。
- 為一個 GICR 域分配基地址。
- 通過 DTS 讀取 redistributor-stride 的值。
- 下面詳細(xì)介紹。
- 設(shè)置一組 PPI 的親和性。
- static int __init gic_init_bases(void __iomem *dist_base,
- struct redist_region *rdist_regs,
- u32 nr_redist_regions,
- u64 redist_stride,
- struct fwnode_handle *handle)
- {
- ......
- typer = readl_relaxed(gic_data.dist_base + GICD_TYPER); ------(1)
- gic_data.rdists.id_bits = GICD_TYPER_ID_BITS(typer);
- gic_irqs = GICD_TYPER_IRQS(typer);
- if (gic_irqs > 1020)
- gic_irqs = 1020;
- gic_data.irq_nr = gic_irqs;
- gic_data.domain = irq_domain_create_tree(handle, &gic_irq_domain_ops, ------(2)
- &gic_data);
- gic_data.rdists.rdist = alloc_percpu(typeof(*gic_data.rdists.rdist));
- gic_data.rdists.has_vlpis = true;
- gic_data.rdists.has_direct_lpi = true;
- ......
- set_handle_irq(gic_handle_irq); ------(3)
- gic_update_vlpi_properties(); ------(4)
- if (IS_ENABLED(CONFIG_ARM_GIC_V3_ITS) && gic_dist_supports_lpis())
- its_init(handle, &gic_data.rdists, gic_data.domain); ------(5)
- gic_smp_init(); ------(6)
- gic_dist_init(); ------(7)
- gic_cpu_init(); ------(8)
- gic_cpu_pm_init(); ------(9)
- return 0;
- ......
- }
- 確認(rèn)支持 SPI 中斷號最大的值為多少。
- 向系統(tǒng)中注冊一個 irq domain 的數(shù)據(jù)結(jié)構(gòu),irq_domain 主要作用是將硬件中斷號映射到 irq number,后面會做詳細(xì)的介紹。
- 設(shè)定 arch 相關(guān)的 irq handler。gic_irq_handle 是內(nèi)核 gic 中斷處理的入口函數(shù),后面會做詳細(xì)的介紹。
- gic 虛擬化相關(guān)的內(nèi)容。
- 初始化 ITS。
- 設(shè)置 SMP 核間交互的回調(diào)函數(shù),用于 IPI,回到函數(shù)為 gic_raise_softir。
- 初始化 Distributor。
- 初始化 CPU interface。
- 初始化 GIC 電源管理。
中斷的映射
當(dāng)早期的系統(tǒng)只存在一個中斷控制器,而且中斷數(shù)目也不多的時候,一個很簡單的做法就是一個中斷號對應(yīng)到中斷控制器的一個號,可以說是簡單的線性映射:
但當(dāng)一個系統(tǒng)中有多個中斷控制器,而且中斷號也逐漸增加的時候。linux 內(nèi)核為了應(yīng)對此問題,引入了 irq_domain 的概念。
irq_domain 的引入相當(dāng)于一個中斷控制器就是一個 irq_domain。這樣一來所有的中斷控制器就會出現(xiàn)級聯(lián)的布局。利用樹狀的結(jié)構(gòu)可以充分的利用 irq 數(shù)目,而且每一個 irq_domain 區(qū)域可以自己去管理自己 interrupt 的特性。
每一個中斷控制器對應(yīng)多個中斷號, 而硬件中斷號在不同的中斷控制器上是會重復(fù)編碼的, 這時僅僅用硬中斷號已經(jīng)不能唯一標(biāo)識一個外設(shè)中斷,因此 linux kernel 提供了一個虛擬中斷號的概念。
接下來我們看下硬件中斷號是如何映射到虛擬中斷號的。
數(shù)據(jù)結(jié)構(gòu)
在看硬件中斷號映射到虛擬中斷號之前,先來看下幾個比較重要的數(shù)據(jù)結(jié)構(gòu)。
- struct irq_desc 描述一個外設(shè)的中斷,稱之中斷描述符。
- struct irq_desc {
- struct irq_common_data irq_common_data;
- struct irq_data irq_data;
- unsigned int __percpu *kstat_irqs;
- irq_flow_handler_t handle_irq;
- ......
- struct irqaction *action;
- ......
- } ____cacheline_internodealigned_in_smp;
- irq_data:中斷控制器的硬件數(shù)據(jù)
- handle_irq:中斷控制器驅(qū)動的處理函數(shù),指向一個 struct irqaction 的鏈表,一個中斷源可以多個設(shè)備共享,所以一個 irq_desc 可以掛載多個 action,由鏈表結(jié)構(gòu)組織起來
- action:設(shè)備驅(qū)動的處理函數(shù)
struct irq_data 包含中斷控制器的硬件數(shù)據(jù)。
- struct irq_data {
- u32 mask;
- unsigned int irq;
- unsigned long hwirq;
- struct irq_common_data *common;
- struct irq_chip *chip;
- struct irq_domain *domain;
- #ifdef CONFIG_IRQ_DOMAIN_HIERARCHY
- struct irq_data *parent_data;
- #endif
- void *chip_data;
- };
- irq:虛擬中斷號
- hwirq:硬件中斷號
- chip:對應(yīng)的 irq_chip 數(shù)據(jù)結(jié)構(gòu)
- domain:對應(yīng)的 irq_domain 數(shù)據(jù)結(jié)構(gòu)
struct irq_chip 用于對中斷控制器的硬件操作。
- struct irq_chip {
- struct device *parent_device;
- const char *name;
- unsigned int (*irq_startup)(struct irq_data *data);
- void (*irq_shutdown)(struct irq_data *data);
- void (*irq_enable)(struct irq_data *data);
- void (*irq_disable)(struct irq_data *data);
- void (*irq_ack)(struct irq_data *data);
- void (*irq_mask)(struct irq_data *data);
- void (*irq_mask_ack)(struct irq_data *data);
- void (*irq_unmask)(struct irq_data *data);
- void (*irq_eoi)(struct irq_data *data);
- int (*irq_set_affinity)(struct irq_data *data, const struct cpumask *dest, bool force);
- int (*irq_retrigger)(struct irq_data *data);
- int (*irq_set_type)(struct irq_data *data, unsigned int flow_type);
- int (*irq_set_wake)(struct irq_data *data, unsigned int on);
- void (*irq_bus_lock)(struct irq_data *data);
- void (*irq_bus_sync_unlock)(struct irq_data *data);
- ......
- };
- parent_device:指向父設(shè)備
- name:/proc/interrupts 中顯示的名字
- irq_startup:啟動中斷,如果設(shè)置成 NULL,則默認(rèn)為 enable
- irq_shutdown:關(guān)閉中斷,如果設(shè)置成 NULL,則默認(rèn)為 disable
- irq_enable:中斷使能,如果設(shè)置成 NULL,則默認(rèn)為 chip->unmask
- irq_disable:中斷禁止
- irq_ack:開始新的中斷
- irq_mask:中斷源屏蔽
- irq_mask_ack:應(yīng)答并屏蔽中斷
- irq_unmask:解除中斷屏蔽
- irq_eoi:中斷處理結(jié)束后調(diào)用
- irq_set_affinity:在 SMP 中設(shè)置 CPU 親和力
- irq_retrigger:重新發(fā)送中斷到 CPU
- irq_set_type:設(shè)置中斷觸發(fā)類型
- irq_set_wake:使能/禁止電源管理中的喚醒功能
- irq_bus_lock:慢速芯片總線上的鎖
- irq_bus_sync_unlock:同步釋放慢速總線芯片的鎖
struct irq_domain 與中斷控制器對應(yīng),完成硬件中斷號 hwirq 到 virq 的映射。
- struct irq_domain {
- struct list_head link;
- const char *name;
- const struct irq_domain_ops *ops;
- void *host_data;
- unsigned int flags;
- unsigned int mapcount;
- /* Optional data */
- struct fwnode_handle *fwnode;
- enum irq_domain_bus_token bus_token;
- struct irq_domain_chip_generic *gc;
- #ifdef CONFIG_IRQ_DOMAIN_HIERARCHY
- struct irq_domain *parent;
- #endif
- #ifdef CONFIG_GENERIC_IRQ_DEBUGFS
- struct dentry *debugfs_file;
- #endif
- /* reverse map data. The linear map gets appended to the irq_domain */
- irq_hw_number_t hwirq_max;
- unsigned int revmap_direct_max_irq;
- unsigned int revmap_size;
- struct radix_tree_root revmap_tree;
- unsigned int linear_revmap[];
- };
- link:用于將 irq_domain 連接到全局鏈表 irq_domain_list 中
- name:irq_domain 的名稱
- ops:irq_domain 映射操作函數(shù)集
- mapcount:映射好的中斷的數(shù)量
- fwnode:對應(yīng)中斷控制器的 device node
- parent:指向父級 irq_domain 的指針,用于支持級聯(lián) irq_domain
- hwirq_max:該 irq_domain 支持的中斷最大數(shù)量
- linear_revmap[]:hwirq->virq 反向映射的線性表
struct irq_domain_ops 是 irq_domain 映射操作函數(shù)集。
- struct irq_domain_ops {
- int (*match)(struct irq_domain *d, struct device_node *node,
- enum irq_domain_bus_token bus_token);
- int (*select)(struct irq_domain *d, struct irq_fwspec *fwspec,
- enum irq_domain_bus_token bus_token);
- int (*map)(struct irq_domain *d, unsigned int virq, irq_hw_number_t hw);
- void (*unmap)(struct irq_domain *d, unsigned int virq);
- int (*xlate)(struct irq_domain *d, struct device_node *node,
- const u32 *intspec, unsigned int intsize,
- unsigned long *out_hwirq, unsigned int *out_type);
- ......
- };
- match:用于中斷控制器設(shè)備與 irq_domain 的匹配
- map:用于硬件中斷號與 Linux 中斷號的映射
- xlate:通過 device_node,解析硬件中斷號和觸發(fā)方式
struct irqaction 主要是用來存設(shè)備驅(qū)動注冊的中斷處理函數(shù)。
- struct irqaction {
- irq_handler_t handler;
- void *dev_id;
- ......
- unsigned int irq;
- unsigned int flags;
- ......
- const char *name;
- struct proc_dir_entry *dir;
- } ____cacheline_internodealigned_in_smp;
- handler:設(shè)備驅(qū)動里的中斷處理函數(shù)
- dev_id:設(shè)備 id
- irq:中斷號
- flags:中斷標(biāo)志,注冊時設(shè)置,比如上升沿中斷,下降沿中斷等
- name:中斷名稱,產(chǎn)生中斷的硬件的名字
- dir:指向 /proc/irq/ 相關(guān)的信息
這里,我們用一張圖來匯總下上面的數(shù)據(jù)結(jié)構(gòu):
上面的結(jié)構(gòu)體 struct irq_desc 是設(shè)備驅(qū)動加載的過程中完成的,讓設(shè)備樹中的中斷能與具體的中斷描述符 irq_desc 匹配,其中 struct irqaction 保存著設(shè)備的中斷處理函數(shù)。右邊框內(nèi)的結(jié)構(gòu)體主要是在中斷控制器驅(qū)動加載的過程中完成的,其中 struct irq_chip 用于對中斷控制器的硬件操作,struct irq_domain 用于硬件中斷號到 Linux irq 的映射。
下面我們結(jié)合代碼看下中斷控制器驅(qū)動和設(shè)備驅(qū)動是如何創(chuàng)建這些結(jié)構(gòu)體,并且硬中斷和虛擬中斷號是如何完成映射的。
中斷控制器注冊 irq_domain
通過 __irq_domain_add 初始化 irq_domain 數(shù)據(jù)結(jié)構(gòu),然后把 irq_domain 添加到全局的鏈表 irq_domain_list 中。
外設(shè)的驅(qū)動創(chuàng)建硬中斷和虛擬中斷號的映射關(guān)系
設(shè)備的驅(qū)動在初始化的時候可以調(diào)用 irq_of_parse_and_map 這個接口函數(shù)進(jìn)行該 device node 中和中斷相關(guān)的內(nèi)容的解析,并建立映射關(guān)系
- of_irq_parse_one 函數(shù)用于解析DTS文件中設(shè)備定義的屬性,如"reg", “interrupt”
- irq_find_matching_fwspec 遍歷 irq_domain_list 鏈表,找到 device node 匹配的 irq_domain
- gic_irq_domain_translate 解析出中斷信息,比如硬件中斷號 hwirq,中斷觸發(fā)方式
- irq_domain_alloc_descs 分配一個虛擬的中斷號 virq,分配和初始化中斷描述符 irq_desc
- gic_irq_domain_alloc 為 hwirq 和 virq 創(chuàng)建映射關(guān)系。內(nèi)部會通過 irq_domain_set_info 調(diào)用 irq_domain_set_hwirq_and_chip,然后通過 virq 獲取 irq_data 結(jié)構(gòu)體,并將 hwirq 設(shè)置到 irq_data->hwirq 中, 最終完成 hwirq 到 virq 的映射
- irq_domain_set_info 根據(jù)硬件中斷號的范圍設(shè)置 irq_desc->handle_irq 的指針,共享中斷入口為 handle_fasteoi_irq,私有中斷入口為 handle_percpu_devid_irq
最后,我們可以通過 /proc/interrupts 下的值來看下它們的關(guān)系:
現(xiàn)在,我們已經(jīng)知道內(nèi)核為硬件中斷號與 Linux 中斷號做了映射,相關(guān)數(shù)據(jù)結(jié)構(gòu)的綁定及初始化,并且設(shè)置了中斷處理函數(shù)執(zhí)行的入口。接下來我們再看下設(shè)備的中斷是怎么來注冊的?
中斷的注冊
設(shè)備驅(qū)動中,獲取到了 irq 中斷號后,通常就會采用 request_irq/request_threaded_irq 來注冊中斷,其中 request_irq 用于注冊普通處理的中斷。request_threaded_irq 用于注冊線程化處理的中斷,線程化中斷的主要目的把中斷上下文的任務(wù)遷移到線程中,減少系統(tǒng)關(guān)中斷的時間,增強(qiáng)系統(tǒng)的實時性。
- static inline int __must_check
- request_irq(unsigned int irq, irq_handler_t handler, unsigned long flags,
- const char *name, void *dev)
- {
- return request_threaded_irq(irq, handler, NULL, flags, name, dev);
- }
其中 irq 是 linux 中斷號,handler 是中斷處理函數(shù),flags 是中斷標(biāo)志位,name 是中斷的名字。在講具體的注冊流程前,先看一下主要的中斷標(biāo)志位:
- #define IRQF_SHARED 0x00000080 //多個設(shè)備共享一個中斷號,需要外設(shè)硬件支持
- #define IRQF_PROBE_SHARED 0x00000100 //中斷處理程序允許sharing mismatch發(fā)生
- #define __IRQF_TIMER 0x00000200 //時鐘中斷
- #define IRQF_PERCPU 0x00000400 //屬于特定CPU的中斷
- #define IRQF_NOBALANCING 0x00000800 //禁止在CPU之間進(jìn)行中斷均衡處理
- #define IRQF_IRQPOLL 0x00001000 //中斷被用作輪訓(xùn)
- #define IRQF_ONESHOT 0x00002000 //一次性觸發(fā)的中斷,不能嵌套,1)在硬件中斷處理完成后才能打開中斷;2)在中斷線程化中保持關(guān)閉狀態(tài),直到該中斷源上的所有thread_fn函數(shù)都執(zhí)行完
- #define IRQF_NO_SUSPEND 0x00004000 //系統(tǒng)休眠喚醒操作中,不關(guān)閉該中斷
- #define IRQF_FORCE_RESUME 0x00008000 //系統(tǒng)喚醒過程中必須強(qiáng)制打開該中斷
- #define IRQF_NO_THREAD 0x00010000 //禁止中斷線程化
- #define IRQF_EARLY_RESUME 0x00020000 //系統(tǒng)喚醒過程中在syscore階段resume,而不用等到設(shè)備resume階段
- #define IRQF_COND_SUSPEND 0x00040000 //與NO_SUSPEND的用戶共享中斷時,執(zhí)行本設(shè)備的中斷處理函數(shù)
創(chuàng)建完成后,通過 ps 命令可以查看系統(tǒng)中的中斷線程,注意這些線程是實時線程 SCHED_FIFO:
- # ps -A | grep "irq/"
- root 1749 2 0 0 irq_thread 0 S [irq/433-imx_drm]
- root 1750 2 0 0 irq_thread 0 S [irq/439-imx_drm]
- root 1751 2 0 0 irq_thread 0 S [irq/445-imx_drm]
- root 1752 2 0 0 irq_thread 0 S [irq/451-imx_drm]
- root 2044 2 0 0 irq_thread 0 S [irq/279-isl2902]
- root 2192 2 0 0 irq_thread 0 S [irq/114-mmc0]
- root 2199 2 0 0 irq_thread 0 S [irq/115-mmc1]
- root 2203 2 0 0 irq_thread 0 S [irq/322-5b02000]
- root 2361 2 0 0 irq_thread 0 S [irq/294-4-0051]