Linux內(nèi)存的分配和釋放是怎么回事兒?
了解內(nèi)存分配機制(共享映射與請求分頁)
通過 pmap 命令,可以獲取用戶進程邏輯地址空間中映射的內(nèi)存信息:
- pmap -x $pid
其中 -x 表示獲取詳細信息。
下面是一個例子:
- pmap -x $(pidof emacs) |head -20
其中,“Address(地址)”指的進程的邏輯地址空間。
“Kbytes”列表示的是對應(yīng)邏輯地址的容量,以Kb為單位
“RSS”列表示的是實際使用的物理內(nèi)存容量,由于分頁機制的存在,這個值一般要比”Kbytes”的值要少。
“Mapping”列為邏輯內(nèi)存的映射方式,其中”[annon]“表示通過malloc函數(shù)來分配的堆空間(匿名內(nèi)存),”[stack]“為進程的??臻g,這兩種映射都是將物理內(nèi)存映射到進程的邏輯內(nèi)存上去。 而”emacs-25.3″,”libpixbufloader-svg.so”等文件名則表示它們執(zhí)行的是文件映射,他們對應(yīng)的是磁盤上的文件。當這些文件被讀入高速緩存后,相應(yīng)的內(nèi)存空間被映射成進程的邏輯內(nèi)存。
當出現(xiàn)多個程序共同使用相同的文件映射(共享庫)時,它們可以共享磁盤高速緩存中的同一空間,從而節(jié)省物理內(nèi)存的使用量,這種技術(shù)就是”共享映射”技術(shù)。
除了共享庫外,進程的fork也使用了共享映射技術(shù)。 當父進程fork子進程時,Linux內(nèi)核并不對內(nèi)存中的內(nèi)容進行實際上的復(fù)制,而是將映射到父進程邏輯地址空間內(nèi)的那部分內(nèi)容原封不動地共享映射到子進程的邏輯地址空間內(nèi)。 但為了防止父進程和子進程的內(nèi)存操作相互影響,Linux內(nèi)核在進行共享映射時,相應(yīng)的內(nèi)存區(qū)域會暫時設(shè)置為寫保護。 當某一方進程試圖操作內(nèi)存時,會引發(fā)只讀異常。內(nèi)核檢測到這個異常后,會復(fù)制操作的這個內(nèi)存頁,從而使兩個進程都可進行獨立寫入。 這種在寫入時復(fù)制的機制叫做“寫時復(fù)制(copy-on-write)”
另一方面,進程將可執(zhí)行文件或共享庫文件內(nèi)容讀入內(nèi)存并映射到進程邏輯地址空間上時,并不會讀入全部的文件內(nèi)容,而是先標記”該文件的內(nèi)容已經(jīng)被映射到邏輯地址空間內(nèi)”. 當進程訪問邏輯地址空間時,由于不存在對應(yīng)的物理內(nèi)存,會引發(fā)換頁錯誤的異常。內(nèi)容檢測到該異常后會將所需部分以內(nèi)存頁為單位讀入內(nèi)存中。 這種只讀入所需內(nèi)容的機制,叫做請求分頁。
了解內(nèi)存釋放機制
當其他進程需要新的物理內(nèi)存時,就涉及到如何將尚有數(shù)據(jù)殘余的物理內(nèi)存釋放或換出來的問題了。
當需要新物理內(nèi)存時,會優(yōu)先釋放Inactive(file)和Active(file)中記錄的內(nèi)存頁,只需要將臟數(shù)據(jù)寫入文件中再釋放內(nèi)存頁即可。
而Inactive(anon)和Active(anon)內(nèi)存頁則需要將內(nèi)容交換到物理磁盤上的swap中后再釋放。 具體來說,Linux會在進程頁表上做一個標記,標記出換出內(nèi)存所對應(yīng)的邏輯地址。 當進程訪問該邏輯地址時,會產(chǎn)生相應(yīng)物理內(nèi)存不存在的異常,Linux內(nèi)核檢測到這個異常后,會再次將數(shù)據(jù)從swap中加載入空閑內(nèi)存,并重新配置頁表信息。
Linux內(nèi)核使用兩種機制來加快換出處理速度:
- 一種是預(yù)讀。
當某一個內(nèi)存頁需要換入時,Linux內(nèi)核會將其后的幾個內(nèi)存頁一起換入。因為進程連續(xù)訪問多個內(nèi)存頁的可能性很大。預(yù)讀的頁數(shù)為內(nèi)核參數(shù) vm.page-cluster 決定為 2^vm.page-cluster.
- 另一種是交換緩存。
即在換入某個內(nèi)存頁后,物理磁盤上交換空間中仍然保留原數(shù)據(jù),這種狀態(tài)的內(nèi)存會記錄在“交換緩存”的列表上。這樣當需要再次換出記錄在“交換緩存”上的內(nèi)存頁的數(shù)據(jù)時,就無需再次換入了。
每個進程的內(nèi)存使用情況可以通過查看 /proc/進程ID/status 來查看
- cat /proc/$(pidof emacs)/status
- Name: emacs
- Umask: 0022
- State: S (sleeping)
- Tgid: 6769
- Ngid: 0
- Pid: 6769
- PPid: 1
- TracerPid: 0
- Uid: 1000 1000 1000 1000
- Gid: 1000 1000 1000 1000
- FDSize: 64
- Groups: 986 998 1000
- NStgid: 6769
- NSpid: 6769
- NSpgid: 6769
- NSsid: 6769
- VmPeak: 567040 kB
- VmSize: 567040 kB
- VmLck: 0 kB
- VmPin: 0 kB
- VmHWM: 241176 kB
- VmRSS: 241176 kB
- RssAnon: 204544 kB
- RssFile: 36604 kB
- RssShmem: 28 kB
- VmData: 231712 kB
- VmStk: 1596 kB
- VmExe: 2332 kB
- VmLib: 47832 kB
- VmPTE: 1008 kB
- VmSwap: 0 kB
- HugetlbPages: 0 kB
- CoreDumping: 0
- Threads: 4
- SigQ: 1/15456
- SigPnd: 0000000000000000
- ShdPnd: 0000000000000000
- SigBlk: 0000000000000000
- SigIgn: 0000000004381000
- SigCgt: 00000001db816eff
- CapInh: 0000000000000000
- CapPrm: 0000000000000000
- CapEff: 0000000000000000
- CapBnd: 0000003fffffffff
- CapAmb: 0000000000000000
- NoNewPrivs: 0
- Seccomp: 0
- Cpus_allowed: 3
- Cpus_allowed_list: 0-1
- Mems_allowed: 1
- Mems_allowed_list: 0
- voluntary_ctxt_switches: 12951
- nonvoluntary_ctxt_switches: 21641
其中比較有用的項有:
VmData
data段的大小
VmExe
text段的大小
VmHWM
當前物理內(nèi)存使用量的***值
WmLck
用mlock鎖定的內(nèi)存大小
VmLib
共享庫的使用量
VmPTE
頁面表的大小
VmPeak
當前物理內(nèi)存的***值
VmRSS
物理內(nèi)存的實際使用量
VmSize
邏輯地址的大小
VmStk
堆棧的大小
VmSwap
交換空間的使用量