前言
在前一篇博文（ARM GICv3中斷控制器）中， 介紹了GIC的一些基本概念，本文主要分析了linux kernel中GIC v3中斷控制器的代碼(drivers/irqchip/irq-gic-v3.c)
linux kernel版本是linux 4.19.29, 體系結構是arm64.
GICv3 DTS設備描述
首先，在討論GICv3驅動代碼分析前，先看下GICv3在DTS裏是怎麼定義的。
一個gicv3定義的例子
gic: interrupt-controller@2c010000 {
compatible = "arm,gic-v3";
#interrupt-cells = <4>;
#address-cells = <2>;
#size-cells = <2>;
ranges;
interrupt-controller;
redistributor-stride = <0x0 0x40000>; // 256kB stride
#redistributor-regions = <2>;
reg = <0x0 0x2c010000 0 0x10000>, // GICD
<0x0 0x2d000000 0 0x800000>, // GICR 1: CPUs 0-31
<0x0 0x2e000000 0 0x800000>; // GICR 2: CPUs 32-63
<0x0 0x2c040000 0 0x2000>, // GICC
<0x0 0x2c060000 0 0x2000>, // GICH
<0x0 0x2c080000 0 0x2000>; // GICV
interrupts = <1 9 4>;
gic-its@2c200000 {
compatible = "arm,gic-v3-its";
msi-controller;
#msi-cells = <1>;
reg = <0x0 0x2c200000 0 0x20000>;
};
gic-its@2c400000 {
compatible = "arm,gic-v3-its";
msi-controller;
#msi-cells = <1>;
reg = <0x0 0x2c400000 0 0x20000>;
};
};
- compatible: 用於匹配GICv3驅動
- #interrupt-cells: 這是一箇中斷控制器節點的屬性。它聲明瞭該中斷控制器的中斷指示符(-interrupts)中 cell 的個數
- #address-cells ， #size-cells， ranges：用於尋址， #address-cells表示reg中address元素的個數，#size-cells用來表示length元素的個數
- interrupt-controller: 表示該節點是一箇中斷控制器
- redistributor-stride： 一個GICR的大小
- #redistributor-regions: GICR域個數。
- reg ：GIC的物理基地址，分別對應GICD,GICR,GICC…
- interrupts： 分別代表中斷類型，中斷號，中斷類型， PPI中斷親和， 保留字段。
a爲0表示SPI，1表示PPI；b表示中斷號（注意SPI/PPI的中斷號範圍）；c爲1表示沿中斷，4表示電平中斷。 - msi-controller: 表示節點是MSI控制器
GICv3 初始化流程
1. irq chip driver聲明
IRQCHIP_DECLARE(gic_v3, "arm,gic-v3", gic_of_init);
定義IRQCHIP_DECLARE之後，相應的內容會保存到__irqchip_of_table裏邊。
#define IRQCHIP_DECLARE(name, compat, fn) OF_DECLARE_2(irqchip, name, compat, fn)
#define OF_DECLARE_2(table, name, compat, fn) \
_OF_DECLARE(table, name, compat, fn, of_init_fn_2)
#define _OF_DECLARE(table, name, compat, fn, fn_type) \
static const struct of_device_id __of_table_##name \
__used __section(__##table##_of_table) \
= { .compatible = compat, \
.data = (fn == (fn_type)NULL) ? fn : fn }
__irqchip_of_table在vmlinux.lds文件裏邊被放到了__irqchip_begin和__irqchip_of_end之間
#ifdef CONFIG_IRQCHIP
#define IRQCHIP_OF_MATCH_TABLE() \
. = ALIGN(8); \
VMLINUX_SYMBOL(__irqchip_begin) = .; \
*(__irqchip_of_table) \
*(__irqchip_of_end)
#endif
__irqchip_begin和__irqchip_of_end的內容被drivers/irqchip/irqchip.c文件讀出並根據其在device tree裏邊的內容進行初始化。
2. gic_of_init流程
static int __init gic_of_init(struct device_node *node, struct device_node *parent)
{
void __iomem *dist_base;
struct redist_region *rdist_regs;
u64 redist_stride;
u32 nr_redist_regions;
int err, i;
dist_base = of_iomap(node, 0); ------------- (1)
if (!dist_base) {
pr_err("%pOF: unable to map gic dist registers\n", node);
return -ENXIO;
}
err = gic_validate_dist_version(dist_base); --------------- (2)
if (err) {
pr_err("%pOF: no distributor detected, giving up\n", node);
goto out_unmap_dist;
}
if (of_property_read_u32(node, "#redistributor-regions", &nr_redist_regions)) ------- (3)
nr_redist_regions = 1;
rdist_regs = kcalloc(nr_redist_regions, sizeof(*rdist_regs),
GFP_KERNEL);
if (!rdist_regs) {
err = -ENOMEM;
goto out_unmap_dist;
}
for (i = 0; i < nr_redist_regions; i++) { --------- (4)
struct resource res;
int ret;
ret = of_address_to_resource(node, 1 + i, &res);
rdist_regs[i].redist_base = of_iomap(node, 1 + i);
if (ret || !rdist_regs[i].redist_base) {
pr_err("%pOF: couldn't map region %d\n", node, i);
err = -ENODEV;
goto out_unmap_rdist;
}
rdist_regs[i].phys_base = res.start;
}
if (of_property_read_u64(node, "redistributor-stride", &redist_stride)) ----------- (5)
redist_stride = 0;
err = gic_init_bases(dist_base, rdist_regs, nr_redist_regions,
redist_stride, &node->fwnode); ------------- (6)
if (err)
goto out_unmap_rdist;
gic_populate_ppi_partitions(node); -------------- (7)
if (static_branch_likely(&supports_deactivate_key))
gic_of_setup_kvm_info(node);
return 0;
out_unmap_rdist:
for (i = 0; i < nr_redist_regions; i++)
if (rdist_regs[i].redist_base)
iounmap(rdist_regs[i].redist_base);
kfree(rdist_regs);
out_unmap_dist:
iounmap(dist_base);
return err;
}
(1)映射GICD的寄存器地址空間。 通過設備結點直接進行設備內存區間的 ioremap()，index是內存段的索引。若設備結點的reg屬性有多段，可通過index標示要ioremap的是哪一段，只有1段的情況, index爲0。採用Device Tree後，大量的設備驅動通過of_iomap()進行映射，而不再通過傳統的ioremap。
(2) 驗證GICD的版本是否爲GICv3 or GICv4。 主要通過讀GICD_PIDR2寄存器bit[7:4]. 0x1代表GICv1， 0x2代表GICv2…以此類推。
(3) 通過DTS讀取redistributor-regions的值。redistributor-regions代表GICR獨立的區域數量（地址連續）。
假設一個64核的arm64 服務器，redistributor-regions=2， 那麼64個核可以用2個連續的GICR連續空間表示。
(4) 爲一個GICR域 分配基地址。
(5) 通過DTS讀取redistributor-stride的值. redistributor-stride代表GICR域中每一個GICR的大小，正常情況下一個CPU對應一個GICR（redistributor-stride必須是64KB的倍數）
(6) 主要處理流程，下面介紹。
(7) 可以設置一組PPI的親和性。 參考e3825ba1a commit的描述
3. gic_init_bases流程
static int __init gic_init_bases(void __iomem *dist_base,
struct redist_region *rdist_regs,
u32 nr_redist_regions,
u64 redist_stride,
struct fwnode_handle *handle)
{
u32 typer;
int gic_irqs;
int err;
gic_data.fwnode = handle;
gic_data.dist_base = dist_base;
gic_data.redist_regions = rdist_regs;
gic_data.nr_redist_regions = nr_redist_regions;
gic_data.redist_stride = redist_stride;
/*
* Find out how many interrupts are supported.
* The GIC only supports up to 1020 interrupt sources (SGI+PPI+SPI)
*/
typer = readl_relaxed(gic_data.dist_base + GICD_TYPER); ------------- (1)
gic_data.rdists.gicd_typer = typer;
gic_irqs = GICD_TYPER_IRQS(typer);
if (gic_irqs > 1020)
gic_irqs = 1020;
gic_data.irq_nr = gic_irqs;
gic_data.domain = irq_domain_create_tree(handle, &gic_irq_domain_ops,
&gic_data); -------------- (2)
irq_domain_update_bus_token(gic_data.domain, DOMAIN_BUS_WIRED); ------------- (3)
gic_data.rdists.rdist = alloc_percpu(typeof(*gic_data.rdists.rdist));
gic_data.rdists.has_vlpis = true;
gic_data.rdists.has_direct_lpi = true;
if (WARN_ON(!gic_data.domain) || WARN_ON(!gic_data.rdists.rdist)) {
err = -ENOMEM;
goto out_free;
}
gic_data.has_rss = !!(typer & GICD_TYPER_RSS); ------------ (4)
pr_info("Distributor has %sRange Selector support\n",
gic_data.has_rss ? "" : "no ");
if (typer & GICD_TYPER_MBIS) {
err = mbi_init(handle, gic_data.domain); ------------ (5)
if (err)
pr_err("Failed to initialize MBIs\n");
}
set_handle_irq(gic_handle_irq); ------------------- (6)
gic_update_vlpi_properties(); ------------------- (7)
if (IS_ENABLED(CONFIG_ARM_GIC_V3_ITS) && gic_dist_supports_lpis())
its_init(handle, &gic_data.rdists, gic_data.domain); ------------- (8)
gic_smp_init(); ----------(9)
gic_dist_init(); ----------(10)
gic_cpu_init(); ----------(11)
gic_cpu_pm_init(); ----------(12)
return 0;
out_free:
if (gic_data.domain)
irq_domain_remove(gic_data.domain);
free_percpu(gic_data.rdists.rdist);
return err;
}
(1) 確認支持SPI 中斷號最大的值爲多少，GICv3最多支持1020箇中斷（SPI+SGI+SPI）.GICD_TYPER寄存器bit[4:0], 如果該字段的值爲N，則最大SPI INTID爲32（N + 1）-1。 例如，0x00011指定最大SPI INTID爲127。
(2) 向系統中註冊一個irq domain的數據結構. irq_domain主要作用是將硬件中斷號映射到IRQ number。 可以參考[Linux內核筆記之中斷映射]
(3) 用於區分MSI域。 比如一個域用作PCI/MSI， 一個域用作wired IRQS.
(4) 判斷GICD 是否支持rss, rss(Range Selector Support)表示SGI中斷親和性的範圍 GICD_TYPER寄存器bit[26], 如果該字段爲0，表示中斷路由(IRI) 支持affinity 0-15的SGI，如果該字段爲1， 表示支持affinity 0 - 255的SGI
(5) 判斷是否支持通過寫GICD寄存器生成消息中斷。GICD_TYPER寄存器bit[16]
(6) 設定arch相關的irq handler。gic_irq_handle是內核gic中斷處理的入口函數, 可以參考系列文章 [Linux 內核筆記之高層中斷處理]
(7) 更新vlpi相關配置。gic虛擬化相關。
(8) 初始化ITS。 Interrupt Translation Service, 用來解析LPI中斷。 初始化之前需要先判斷GIC是否支持LPI，該功能在ARM裏是可選的。可以參考系列文章[ARM GICv3 ITS介紹及代碼分析]。
(9) 該函數主要包含兩個作用。 1.設置核間通信函數。當一個CPU core上的軟件控制行爲需要傳遞到其他的CPU上的時候，就會調用這個callback函數(例如在某一個CPU上運行的進程調用了系統調用進行reboot）。對於GIC v3，這個callback定義爲gic_raise_softirq. 2. 設置CPU 上下線流程中和GIC相關的狀態機
(10) 初始化GICD。
(11) 初始化CPU interface.
(12) 初始化GIC電源管理。
參考資料
IHI0069D_gic_architecture_specification