Linux的內(nèi)存尋址方式
本文轉(zhuǎn)載自微信公眾號「Linux澡堂子」,作者冷面不冷。轉(zhuǎn)載本文請聯(lián)系Linux澡堂子眾號。
為什么要內(nèi)存管理:
早期的程序都是直接運(yùn)行在物理地址上,也就是說這個程序所需要的空間不超過該機(jī)器的物理內(nèi)存就不會有問題,但實(shí)際場景中都是多任務(wù),多進(jìn)程的,這種物理地址reserved給各個進(jìn)程是不靠譜的。舉個栗子:假如有3個程序a,b,c,a需要10M,b需要100M,c需要20M,總內(nèi)存就120M,按照之前的分配方式,前10M給a,10M-110M給b,系統(tǒng)還剩10M,但是c需要20M,顯然剩下的內(nèi)存是不夠c用的。怎么辦?
1.效率問題
可能你會想到當(dāng)c程序跑的時候把b程序數(shù)據(jù)寫到磁盤上,等運(yùn)行b的時候再數(shù)據(jù)從磁盤寫回來,先不說無法滿足b,c程序并行跑的需求,就連頻繁的io操作帶來的耗時問題也是無法接收的。
2.進(jìn)程地址隔離問題
除了效率問題,reserved給進(jìn)程的空間如果需要被別的進(jìn)程訪問會出現(xiàn)崩潰。比如a進(jìn)程訪問的空間是前10M,但是a程序中有一段代碼訪問10-110M的話就有可能導(dǎo)致b程序的崩潰,所以進(jìn)程的地址空間需要彼此隔離。
3.重定位問題
現(xiàn)實(shí)場景中不可能是單任務(wù)在分好的內(nèi)存中運(yùn)行,當(dāng)多任務(wù)并行跑的情況下在動態(tài)申請釋放內(nèi)存的時候有可能申請到其它進(jìn)程里的地址,這時候需要重定位到新的地址。
內(nèi)存管理無非就是想辦法解決上面三個問題,如何提高內(nèi)存的使用效率?如何使進(jìn)程的地址空間隔離?如何解決程序運(yùn)行時的重定位問題?
內(nèi)存管理如何從虛擬地址映射到物理地址:
內(nèi)存管理從虛擬地址映射到物理地址的過程也就是解決上面3個問題的過程。內(nèi)存管理用分段機(jī)制和分頁機(jī)制分別解決了上面的3個問題,大概過程如下圖:
分段機(jī)制:
只要程序分了段,把整個段平移到任何位置后,段內(nèi)的地址相對段基址是不變的,無論段基址是多少,只要給出段內(nèi)偏移地址,cpu就能訪問到正確的指令。于是加載用戶程序時,只要將整個段的內(nèi)容復(fù)制到新的位置,再將段基址寄存器中的地址改成該地址,程序便可準(zhǔn)確地運(yùn)行,因?yàn)槌绦蛑杏玫氖嵌蝺?nèi)偏移地址,相對新的段基址,該偏移地址處的內(nèi)容內(nèi)容還是一樣的。
可以看出分段機(jī)制解決了進(jìn)程間隔離和重定位的問題。這個動作是在硬件里做的,但是有的硬件是沒有分段機(jī)制的,作為跨平臺的linux就用了具有更通用性的分頁機(jī)制來解決線性地址到虛擬地址到物理地址的轉(zhuǎn)換。
分頁機(jī)制:
可以參考《CPU是如何訪問內(nèi)存的?》了解一級頁表的概念,linux為了兼容32位和64位,通常采用四級頁表,頁全局目錄,頁上級目錄,頁中間目錄,頁表:
這里不詳細(xì)解釋linux是如何通過四級頁表來做線性地址(虛擬地址)到物理地址的轉(zhuǎn)化。網(wǎng)上有很多,推薦https://www.cnblogs.com/linhaostudy/p/10038100.html#autoid-2-2-0。
進(jìn)程在切換的時候就是根據(jù)task_struct找到mm_struct里的pgd字段,取得新進(jìn)程的頁全局目錄,然后填充到CR3寄存器,就完成了頁的切換。
動手看下mmu分頁尋址的過程:
上代碼:
- #include <linux/module.h>
- #include <linux/kernel.h>
- #include <linux/init.h>
- #include <linux/sched.h>
- #include <linux/pid.h>
- #include <linux/mm.h>
- #include <asm/pgtable.h>
- #include <asm/page.h>
- MODULE_DESCRIPTION("vitual address to physics address");
- static int pid;
- static unsigned long va;
- module_param(pid,int,0644); //從命令行傳遞參數(shù)(變量,類型,權(quán)限)
- module_param(va,ulong,0644); //va表示的是虛擬地址
- static int find_pgd_init(void)
- {
- unsigned long pa = 0; //pa表示的物理地址
- struct task_struct *pcb_tmp = NULL;
- pgd_t *pgd_tmp = NULL;
- pud_t *pud_tmp = NULL;
- pmd_t *pmd_tmp = NULL;
- pte_t *pte_tmp = NULL;
- printk(KERN_INFO"PAGE_OFFSET = 0x%lx\n",PAGE_OFFSET); //頁表中有多少個項(xiàng)
- /*pud和pmd等等 在線性地址中占據(jù)多少位*/
- printk(KERN_INFO"PGDIR_SHIFT = %d\n",PGDIR_SHIFT);
- //注意:在32位系統(tǒng)中 PGD和PUD是相同的
- printk(KERN_INFO"PUD_SHIFT = %d\n",PUD_SHIFT);
- printk(KERN_INFO"PMD_SHIFT = %d\n",PMD_SHIFT);
- printk(KERN_INFO"PAGE_SHIFT = %d\n",PAGE_SHIFT);
- printk(KERN_INFO"PTRS_PER_PGD = %d\n",PTRS_PER_PGD); //每個PGD里面有多少個ptrs
- printk(KERN_INFO"PTRS_PER_PUD = %d\n",PTRS_PER_PUD);
- printk(KERN_INFO"PTRS_PER_PMD = %d\n",PTRS_PER_PMD); //PMD中有多少個項(xiàng)
- printk(KERN_INFO"PTRS_PER_PTE = %d\n",PTRS_PER_PTE);
- printk(KERN_INFO"PAGE_MASK = 0x%lx\n",PAGE_MASK); //頁的掩碼
- struct pid *p = NULL;
- p = find_vpid(pid); //通過進(jìn)程的pid號數(shù)字找到struct pid的結(jié)構(gòu)體
- pcb_tmp = pid_task(p,PIDTYPE_PID); //通過pid的結(jié)構(gòu)體找到進(jìn)程的task struct
- printk(KERN_INFO"pgd = 0x%p\n",pcb_tmp->mm->pgd);
- // 判斷給出的地址va是否合法(va<vm_end)
- if(!find_vma(pcb_tmp->mm,va)){
- printk(KERN_INFO"virt_addr 0x%lx not available.\n",va);
- return 0;
- }
- pgd_tmp = pgd_offset(pcb_tmp->mm,va); //返回線性地址va,在頁全局目錄中對應(yīng)表項(xiàng)的線性地址
- printk(KERN_INFO"pgd_tmp = 0x%p\n",pgd_tmp);
- //pgd_val獲得pgd_tmp所指的頁全局目錄項(xiàng)
- //pgd_val是將pgd_tmp中的值打印出來
- printk(KERN_INFO"pgd_val(*pgd_tmp) = 0x%lx\n",pgd_val(*pgd_tmp));
- if(pgd_none(*pgd_tmp)){ //判斷pgd有沒有映射
- printk(KERN_INFO"Not mapped in pgd.\n");
- return 0;
- }
- pud_tmp = pud_offset(pgd_tmp,va); //返回va對應(yīng)的頁上級目錄項(xiàng)的線性地址
- printk(KERN_INFO"pud_tmp = 0x%p\n",pud_tmp);
- printk(KERN_INFO"pud_val(*pud_tmp) = 0x%lx\n",pud_val(*pud_tmp));
- if(pud_none(*pud_tmp)){
- printk(KERN_INFO"Not mapped in pud.\n");
- return 0;
- }
- pmd_tmp = pmd_offset(pud_tmp,va); //返回va在頁中間目錄中對應(yīng)表項(xiàng)的線性地址
- printk(KERN_INFO"pmd_tmp = 0x%p\n",pmd_tmp);
- printk(KERN_INFO"pmd_val(*pmd_tmp) = 0x%lx\n",pmd_val(*pmd_tmp));
- if(pmd_none(*pmd_tmp)){
- printk(KERN_INFO"Not mapped in pmd.\n");
- return 0;
- }
- //在這里,把原來的pte_offset_map()改成了pte_offset_kernel
- pte_tmp = pte_offset_kernel(pmd_tmp,va); //pte指的是 找到表
- printk(KERN_INFO"pte_tmp = 0x%p\n",pte_tmp);
- printk(KERN_INFO"pte_val(*pte_tmp) = 0x%lx\n",pte_val(*pte_tmp));
- if(pte_none(*pte_tmp)){ //判斷有沒有映射
- printk(KERN_INFO"Not mapped in pte.\n");
- return 0;
- }
- if(!pte_present(*pte_tmp)){
- printk(KERN_INFO"pte not in RAM.\n");
- return 0;
- }
- pa = (pte_val(*pte_tmp) & PAGE_MASK) ;//物理地址的計(jì)算方法
- printk(KERN_INFO"virt_addr 0x%lx in RAM Page is 0x%lx .\n",va,pa);
- //printk(KERN_INFO"contect in 0x%lx is 0x%lx\n",pa,*(unsigned long *)((char *)pa + PAGE_OFFSET));
- return 0;
- }
- static void __exit find_pgd_exit(void)
- {
- printk(KERN_INFO"Goodbye!\n");
- }
- module_init(find_pgd_init);
- module_exit(find_pgd_exit);
- MODULE_LICENSE("GPL");
可以看出虛擬地址ffff99b488d48000對應(yīng)的物理地址是80000000c8d48000。這個過程也是mmu的過程。