前言
在前一篇博文（ARM GICv3中断控制器）中， 介绍了GIC的一些基本概念，本文主要分析了linux kernel中GIC v3中断控制器的代码(drivers/irqchip/irq-gic-v3.c)
linux kernel版本是linux 4.19.29, 体系结构是arm64.
GICv3 DTS设备描述
首先，在讨论GICv3驱动代码分析前，先看下GICv3在DTS里是怎么定义的。
一个gicv3定义的例子
gic: interrupt-controller@2c010000 {
compatible = "arm,gic-v3";
#interrupt-cells = <4>;
#address-cells = <2>;
#size-cells = <2>;
ranges;
interrupt-controller;
redistributor-stride = <0x0 0x40000>; // 256kB stride
#redistributor-regions = <2>;
reg = <0x0 0x2c010000 0 0x10000>, // GICD
<0x0 0x2d000000 0 0x800000>, // GICR 1: CPUs 0-31
<0x0 0x2e000000 0 0x800000>; // GICR 2: CPUs 32-63
<0x0 0x2c040000 0 0x2000>, // GICC
<0x0 0x2c060000 0 0x2000>, // GICH
<0x0 0x2c080000 0 0x2000>; // GICV
interrupts = <1 9 4>;
gic-its@2c200000 {
compatible = "arm,gic-v3-its";
msi-controller;
#msi-cells = <1>;
reg = <0x0 0x2c200000 0 0x20000>;
};
gic-its@2c400000 {
compatible = "arm,gic-v3-its";
msi-controller;
#msi-cells = <1>;
reg = <0x0 0x2c400000 0 0x20000>;
};
};
- compatible: 用于匹配GICv3驱动
- #interrupt-cells: 这是一个中断控制器节点的属性。它声明了该中断控制器的中断指示符(-interrupts)中 cell 的个数
- #address-cells ， #size-cells， ranges：用于寻址， #address-cells表示reg中address元素的个数，#size-cells用来表示length元素的个数
- interrupt-controller: 表示该节点是一个中断控制器
- redistributor-stride： 一个GICR的大小
- #redistributor-regions: GICR域个数。
- reg ：GIC的物理基地址，分别对应GICD,GICR,GICC…
- interrupts： 分别代表中断类型，中断号，中断类型， PPI中断亲和， 保留字段。
a为0表示SPI，1表示PPI；b表示中断号（注意SPI/PPI的中断号范围）；c为1表示沿中断，4表示电平中断。 - msi-controller: 表示节点是MSI控制器
GICv3 初始化流程
1. irq chip driver声明
IRQCHIP_DECLARE(gic_v3, "arm,gic-v3", gic_of_init);
定义IRQCHIP_DECLARE之后，相应的内容会保存到__irqchip_of_table里边。
#define IRQCHIP_DECLARE(name, compat, fn) OF_DECLARE_2(irqchip, name, compat, fn)
#define OF_DECLARE_2(table, name, compat, fn) \
_OF_DECLARE(table, name, compat, fn, of_init_fn_2)
#define _OF_DECLARE(table, name, compat, fn, fn_type) \
static const struct of_device_id __of_table_##name \
__used __section(__##table##_of_table) \
= { .compatible = compat, \
.data = (fn == (fn_type)NULL) ? fn : fn }
__irqchip_of_table在vmlinux.lds文件里边被放到了__irqchip_begin和__irqchip_of_end之间
#ifdef CONFIG_IRQCHIP
#define IRQCHIP_OF_MATCH_TABLE() \
. = ALIGN(8); \
VMLINUX_SYMBOL(__irqchip_begin) = .; \
*(__irqchip_of_table) \
*(__irqchip_of_end)
#endif
__irqchip_begin和__irqchip_of_end的内容被drivers/irqchip/irqchip.c文件读出并根据其在device tree里边的内容进行初始化。
2. gic_of_init流程
static int __init gic_of_init(struct device_node *node, struct device_node *parent)
{
void __iomem *dist_base;
struct redist_region *rdist_regs;
u64 redist_stride;
u32 nr_redist_regions;
int err, i;
dist_base = of_iomap(node, 0); ------------- (1)
if (!dist_base) {
pr_err("%pOF: unable to map gic dist registers\n", node);
return -ENXIO;
}
err = gic_validate_dist_version(dist_base); --------------- (2)
if (err) {
pr_err("%pOF: no distributor detected, giving up\n", node);
goto out_unmap_dist;
}
if (of_property_read_u32(node, "#redistributor-regions", &nr_redist_regions)) ------- (3)
nr_redist_regions = 1;
rdist_regs = kcalloc(nr_redist_regions, sizeof(*rdist_regs),
GFP_KERNEL);
if (!rdist_regs) {
err = -ENOMEM;
goto out_unmap_dist;
}
for (i = 0; i < nr_redist_regions; i++) { --------- (4)
struct resource res;
int ret;
ret = of_address_to_resource(node, 1 + i, &res);
rdist_regs[i].redist_base = of_iomap(node, 1 + i);
if (ret || !rdist_regs[i].redist_base) {
pr_err("%pOF: couldn't map region %d\n", node, i);
err = -ENODEV;
goto out_unmap_rdist;
}
rdist_regs[i].phys_base = res.start;
}
if (of_property_read_u64(node, "redistributor-stride", &redist_stride)) ----------- (5)
redist_stride = 0;
err = gic_init_bases(dist_base, rdist_regs, nr_redist_regions,
redist_stride, &node->fwnode); ------------- (6)
if (err)
goto out_unmap_rdist;
gic_populate_ppi_partitions(node); -------------- (7)
if (static_branch_likely(&supports_deactivate_key))
gic_of_setup_kvm_info(node);
return 0;
out_unmap_rdist:
for (i = 0; i < nr_redist_regions; i++)
if (rdist_regs[i].redist_base)
iounmap(rdist_regs[i].redist_base);
kfree(rdist_regs);
out_unmap_dist:
iounmap(dist_base);
return err;
}
(1)映射GICD的寄存器地址空间。 通过设备结点直接进行设备内存区间的 ioremap()，index是内存段的索引。若设备结点的reg属性有多段，可通过index标示要ioremap的是哪一段，只有1段的情况, index为0。采用Device Tree后，大量的设备驱动通过of_iomap()进行映射，而不再通过传统的ioremap。
(2) 验证GICD的版本是否为GICv3 or GICv4。 主要通过读GICD_PIDR2寄存器bit[7:4]. 0x1代表GICv1， 0x2代表GICv2…以此类推。
(3) 通过DTS读取redistributor-regions的值。redistributor-regions代表GICR独立的区域数量（地址连续）。
假设一个64核的arm64 服务器，redistributor-regions=2， 那么64个核可以用2个连续的GICR连续空间表示。
(4) 为一个GICR域 分配基地址。
(5) 通过DTS读取redistributor-stride的值. redistributor-stride代表GICR域中每一个GICR的大小，正常情况下一个CPU对应一个GICR（redistributor-stride必须是64KB的倍数）
(6) 主要处理流程，下面介绍。
(7) 可以设置一组PPI的亲和性。 参考e3825ba1a commit的描述
3. gic_init_bases流程
static int __init gic_init_bases(void __iomem *dist_base,
struct redist_region *rdist_regs,
u32 nr_redist_regions,
u64 redist_stride,
struct fwnode_handle *handle)
{
u32 typer;
int gic_irqs;
int err;
gic_data.fwnode = handle;
gic_data.dist_base = dist_base;
gic_data.redist_regions = rdist_regs;
gic_data.nr_redist_regions = nr_redist_regions;
gic_data.redist_stride = redist_stride;
/*
* Find out how many interrupts are supported.
* The GIC only supports up to 1020 interrupt sources (SGI+PPI+SPI)
*/
typer = readl_relaxed(gic_data.dist_base + GICD_TYPER); ------------- (1)
gic_data.rdists.gicd_typer = typer;
gic_irqs = GICD_TYPER_IRQS(typer);
if (gic_irqs > 1020)
gic_irqs = 1020;
gic_data.irq_nr = gic_irqs;
gic_data.domain = irq_domain_create_tree(handle, &gic_irq_domain_ops,
&gic_data); -------------- (2)
irq_domain_update_bus_token(gic_data.domain, DOMAIN_BUS_WIRED); ------------- (3)
gic_data.rdists.rdist = alloc_percpu(typeof(*gic_data.rdists.rdist));
gic_data.rdists.has_vlpis = true;
gic_data.rdists.has_direct_lpi = true;
if (WARN_ON(!gic_data.domain) || WARN_ON(!gic_data.rdists.rdist)) {
err = -ENOMEM;
goto out_free;
}
gic_data.has_rss = !!(typer & GICD_TYPER_RSS); ------------ (4)
pr_info("Distributor has %sRange Selector support\n",
gic_data.has_rss ? "" : "no ");
if (typer & GICD_TYPER_MBIS) {
err = mbi_init(handle, gic_data.domain); ------------ (5)
if (err)
pr_err("Failed to initialize MBIs\n");
}
set_handle_irq(gic_handle_irq); ------------------- (6)
gic_update_vlpi_properties(); ------------------- (7)
if (IS_ENABLED(CONFIG_ARM_GIC_V3_ITS) && gic_dist_supports_lpis())
its_init(handle, &gic_data.rdists, gic_data.domain); ------------- (8)
gic_smp_init(); ----------(9)
gic_dist_init(); ----------(10)
gic_cpu_init(); ----------(11)
gic_cpu_pm_init(); ----------(12)
return 0;
out_free:
if (gic_data.domain)
irq_domain_remove(gic_data.domain);
free_percpu(gic_data.rdists.rdist);
return err;
}
(1) 确认支持SPI 中断号最大的值为多少，GICv3最多支持1020个中断（SPI+SGI+SPI）.GICD_TYPER寄存器bit[4:0], 如果该字段的值为N，则最大SPI INTID为32（N + 1）-1。 例如，0x00011指定最大SPI INTID为127。
(2) 向系统中注册一个irq domain的数据结构. irq_domain主要作用是将硬件中断号映射到IRQ number。 可以参考[Linux内核笔记之中断映射]
(3) 用于区分MSI域。 比如一个域用作PCI/MSI， 一个域用作wired IRQS.
(4) 判断GICD 是否支持rss, rss(Range Selector Support)表示SGI中断亲和性的范围 GICD_TYPER寄存器bit[26], 如果该字段为0，表示中断路由(IRI) 支持affinity 0-15的SGI，如果该字段为1， 表示支持affinity 0 - 255的SGI
(5) 判断是否支持通过写GICD寄存器生成消息中断。GICD_TYPER寄存器bit[16]
(6) 设定arch相关的irq handler。gic_irq_handle是内核gic中断处理的入口函数, 可以参考系列文章 [Linux 内核笔记之高层中断处理]
(7) 更新vlpi相关配置。gic虚拟化相关。
(8) 初始化ITS。 Interrupt Translation Service, 用来解析LPI中断。 初始化之前需要先判断GIC是否支持LPI，该功能在ARM里是可选的。可以参考系列文章[ARM GICv3 ITS介绍及代码分析]。
(9) 该函数主要包含两个作用。 1.设置核间通信函数。当一个CPU core上的软件控制行为需要传递到其他的CPU上的时候，就会调用这个callback函数(例如在某一个CPU上运行的进程调用了系统调用进行reboot）。对于GIC v3，这个callback定义为gic_raise_softirq. 2. 设置CPU 上下线流程中和GIC相关的状态机
(10) 初始化GICD。
(11) 初始化CPU interface.
(12) 初始化GIC电源管理。
参考资料
IHI0069D_gic_architecture_specification