Mellanox CX4網卡SMP affinity的奇怪現象

做Mellanox網卡實驗時遇到了一個奇怪的現象。注意，我在實驗中關閉了超線程，以下的討論均爲CPU真核。

在關閉irqbalance的情況下，我注意到設置/proc/irq/irq_num/smp_affinity或smp_affinity_list（兩者等價）之後，實際上中斷仍然只由smp_affinity_list中的第一個CPU處理。查找官方文檔，在Mellanox的《What is IRQ Affinity》發現他們正是這麼實現的。

開啓irqbalance之後，smp_affinity將自動設置。我們實驗室的機器有兩個CPU，分別在兩個NUMA node上。可以看到多隊列網卡的每個中斷都由和網卡在同一個NUMA結點的CPU的core處理。這其實很重要，如果中斷在不同NUMA結點的CPU core處理，性能將大幅下降，我將在其他文章中描述這一現象，這裏不展開了。