有了armv8架構訪問內存的理解,我們來看下linux在內存這塊的初始化就更容易理解了。
創建啓動頁表:
在彙編代碼階段的head.S文件中,負責創建映射關係的函數是create_page_tables。create_page_tables函數負責identity mapping和kernel image mapping。
identity map:是指把idmap_text區域的物理地址映射到相等的虛擬地址上,這種映射完成後,其虛擬地址等於物理地址。idmap_text區域都是一些打開MMU相關的代碼。
kernel image map:將kernel運行需要的地址(kernel txt、rodata、data、bss等等)進行映射。
arch/arm64/kernel/head.S:
ENTRY(stext)
bl preserve_boot_args
bl el2_setup // Drop to EL1, w0=cpu_boot_mode
adrp x23, __PHYS_OFFSET
and x23, x23, MIN_KIMG_ALIGN - 1 // KASLR offset, defaults to 0
bl set_cpu_boot_mode_flag
bl __create_page_tables
/*
* The following calls CPU setup code, see arch/arm64/mm/proc.S for
* details.
* On return, the CPU will be ready for the MMU to be turned on and
* the TCR will have been set.
*/
bl __cpu_setup // initialise processor
b __primary_switch
ENDPROC(stext)
__create_page_tables主要執行的就是identity map和kernel image map:
__create_page_tables:
......
create_pgd_entry x0, x3, x5, x6
mov x5, x3 // __pa(__idmap_text_start)
adr_l x6, __idmap_text_end // __pa(__idmap_text_end)
create_block_map x0, x7, x3, x5, x6
/*
* Map the kernel image (starting with PHYS_OFFSET).
*/
adrp x0, swapper_pg_dir
mov_q x5, KIMAGE_VADDR + TEXT_OFFSET // compile time __va(_text)
add x5, x5, x23 // add KASLR displacement
create_pgd_entry x0, x5, x3, x6
adrp x6, _end // runtime __pa(_end)
adrp x3, _text // runtime __pa(_text)
sub x6, x6, x3 // _end - _text
add x6, x6, x5 // runtime __va(_end)
create_block_map x0, x7, x3, x5, x6
......
其中調用create_pgd_entry進行PGD及所有中間level(PUD, PMD)頁表的創建,調用create_block_map進行PTE頁表的映射。關於四級頁表的關係如下圖所示,這裏就不進一步解釋了。
彙編結束後的內存映射關係如下圖所示:
當執行完上面的map之後,MMU就已經打開了並且開始進入C代碼運行階段,那麼下一步就要對dtb進行映射了。
fixmap區之dtb map:
在執行setup_arch中,會最先進行early_fixmap_init(),這個函數就是用來map dtb的,但是它只會建立dtb對應的這段物理地址中間level的頁表entry,而最後一個level的頁表映射則通過setup_machine_fdt函數裏的fixmap_remap_fdt來創建。
void *__init fixmap_remap_fdt(phys_addr_t dt_phys)
{
void *dt_virt;
int size;
dt_virt = __fixmap_remap_fdt(dt_phys, &size, PAGE_KERNEL_RO);
if (!dt_virt)
return NULL;
memblock_reserve(dt_phys, size);
return dt_virt;
}
fixmap_remap_fdt主要是爲fdt建立地址映射,在該函數的最後,順便就調用memblock_reserve保留了該段內存。
可以看出dtb的映射採用的是fixmap,所謂fixmap就是固定映射,它需要我們明確的知道想要映射的物理地址,並把這段地址映射到想要映射的虛擬地址上。當然這裏固定映射還有些片面,因爲在fixmap機制實現上,也有支持動態分配虛擬地址的功能,這個功能主要用於臨時fixmap映射(這個臨時映射就是用來執行early ioremap使用的。),而dtb的映射屬於永久映射。
fixmap區之early ioremap:
對於一些硬件需要在內存管理系統起來之前就要工作的,我們就可以使用這種機制來映射內存給這些硬件driver使用。各個模塊在使用完early ioremap的地址後,需要儘快把這段映射的虛擬地址釋放掉,這樣才能反覆被其他模塊繼續申請使用。
early_ioremap_init會調用early_ioremap_setup:
可見它的實現是依賴fixmap的,所以它必須要在early_fixmap_init之後才能運行。
注意:如果想要在夥伴系統初始化之前進行設備寄存器的訪問,那麼可以考慮early IO remap機制。
至此我們已經知道dtb和early ioremap都是在fixmap區的,如下圖:
系統內存的佈局:
完成dtb的map之後,內核可以訪問這一段的內存了,通過解析dtb中的內容,內核可以勾勒出整個內存佈局的情況,爲後續內存管理初始化奠定基礎。這一步主要在setup_machine_fdt中完成。這裏就不看代碼了,其調用流程是:setup_machine_fdt->early_init_dt_scan->early_init_dt_scan_nodes
就像註釋中所示內核根據dtb的不同node勾勒出choosen node,root node,memory node相應內存區域。
除了這3個node,還有一個reserved-memory node,它是在上面講到dtb map的時候fixmap_remap_fdt函數做的。下面我們看下這4個node的具體實現。
choosen node該節點有一個bootargs屬性,該屬性定義了內核的啓動參數,比如mem= xx,此外,還處理initrd相關的property,並保存在initrd_start和initrd_end這兩個全局變量中。
root node 與內存無關,暫時不詳述,以後有機會講到device tree系列再詳述。
memory node
通過memblock_add加入到memblock.memory對應的memblock_type鏈表中進行管理。
接下來到arm64_memblock_init函數:
void __init arm64_memblock_init(void)
{
......
memblock_reserve(__pa_symbol(_text), _end - _text); 1.kernel image保留區
#ifdef CONFIG_BLK_DEV_INITRD
if (initrd_start) {
memblock_reserve(initrd_start, initrd_end - initrd_start); 2.initrd保留區
/* the generic initrd code expects virtual addresses */
initrd_start = __phys_to_virt(initrd_start);
initrd_end = __phys_to_virt(initrd_end);
}
#endif
early_init_fdt_scan_reserved_mem(); 3.dts中配置爲保留的區域
......
}
reserve內核代碼、數據區等(_text到_end那一段,具體的內容可以參考內核鏈接腳本)
保留initital ramdisk image區域(從initrd_start到initrd_end區域)
reserved-memory node 如下所示:
通過上面的一系列操作,需要動態管理的內存已經被放到了memory type和reserved type這兩個region中了,現在內存已經被memblock模塊所管理了,這只是啓動後的第一步......