淺談Linux內(nèi)存管理機制
經(jīng)常遇到一些剛接觸Linux的新手會問內(nèi)存占用怎么那么多?
在Linux中經(jīng)常發(fā)現(xiàn)空閑內(nèi)存很少,似乎所有的內(nèi)存都被系統(tǒng)占用了,表面感覺是內(nèi)存不夠用了,其實不然。這是Linux內(nèi)存管理的一個優(yōu)秀特性,在這方面,區(qū)別于Windows的內(nèi)存管理。主要特點是,無論物理內(nèi)存有多大,Linux 都將其充份利用,將一些程序調(diào)用過的硬盤數(shù)據(jù)讀入內(nèi)存,利用內(nèi)存讀寫的高速特性來提高Linux系統(tǒng)的數(shù)據(jù)訪問性能。而Windows是只在需要內(nèi)存時,才為應(yīng)用程序分配內(nèi)存,并不能充分利用大容量的內(nèi)存空間。換句話說,每增加一些物理內(nèi)存,Linux都將能充分利用起來,發(fā)揮了硬件投資帶來的好處,而Windows只將其做為擺設(shè),即使增加8GB甚至更大。
Linux的這一特性,主要是利用空閑的物理內(nèi)存,劃分出一部份空間,做為cache、buffers ,以此提高數(shù)據(jù)訪問性能。
頁高速緩存(cache)是Linux內(nèi)核實現(xiàn)的一種主要磁盤緩存。它主要用來減少對磁盤的I/O操作。具體地講,是通過把磁盤中的數(shù)據(jù)緩存到物理內(nèi)存中,把對磁盤的訪問變?yōu)閷ξ锢?內(nèi)存的訪問。
磁盤高速緩存的價值在于兩個方面:***,訪問磁盤的速度要遠遠低于訪問內(nèi)存的速度,因此,從內(nèi)存訪問數(shù)據(jù)比從磁盤訪問速度更快。第二,數(shù)據(jù)一旦被訪問,就很有可能在短期內(nèi)再次被訪問到。
下面來了解下Linux內(nèi)存管理機制:
一、物理內(nèi)存和虛擬內(nèi)存
我們知道,直接從物理內(nèi)存讀寫數(shù)據(jù)要比從硬盤讀寫數(shù)據(jù)要快的多,因此,我們希望所有數(shù)據(jù)的讀取和寫入都在內(nèi)存完成,而內(nèi)存是有限的,這樣就引出了物理內(nèi)存與虛擬內(nèi)存的概念。
物理內(nèi)存就是系統(tǒng)硬件提供的內(nèi)存大小,是真正的內(nèi)存,相對于物理內(nèi)存,在Linux下還有一個虛擬內(nèi)存的概念,虛擬內(nèi)存就是為了滿足物理內(nèi)存的不足而提出的策略,它是利用磁盤空間虛擬出的一塊邏輯內(nèi)存,用作虛擬內(nèi)存的磁盤空間被稱為交換空間(Swap Space)。
作為物理內(nèi)存的擴展,Linux會在物理內(nèi)存不足時,使用交換分區(qū)的虛擬內(nèi)存,更詳細的說,就是內(nèi)核會將暫時不用的內(nèi)存塊信息寫到交換空間,這樣以來,物理內(nèi)存得到了釋放,這塊內(nèi)存就可以用于其它目的,當需要用到原始的內(nèi)容時,這些信息會被重新從交換空間讀入物理內(nèi)存。
Linux的內(nèi)存管理采取的是分頁存取機制,為了保證物理內(nèi)存能得到充分的利用,內(nèi)核會在適當?shù)臅r候?qū)⑽锢韮?nèi)存中不經(jīng)常使用的數(shù)據(jù)塊自動交換到虛擬內(nèi)存中,而將經(jīng)常使用的信息保留到物理內(nèi)存。
要深入了解Linux內(nèi)存運行機制,需要知道下面提到的幾個方面:
- Linux系統(tǒng)會不時的進行頁面交換操作,以保持盡可能多的空閑物理內(nèi)存,即使并沒有什么事情需要內(nèi)存,Linux也會交換出暫時不用的內(nèi)存頁面。這可以避免等待交換所需的時間。
- Linux進行頁面交換是有條件的,不是所有頁面在不用時都交換到虛擬內(nèi)存,Linux內(nèi)核根據(jù)”最近最經(jīng)常使用“算法,僅僅將一些不經(jīng)常使用的頁面文件交換到虛擬內(nèi)存,有時我們會看到這么一個現(xiàn)象:Linux物理內(nèi)存還有很多,但是交換空間也使用了很多。其實,這并不奇怪,例如,一個占用很大內(nèi)存的進程運行時,需要耗費很多內(nèi)存資源,此時就會有一些不常用頁面文件被交換到虛擬內(nèi)存中,但后來這個占用很多內(nèi)存資源的進程結(jié)束并釋放了很多內(nèi)存時,剛才被交換出去的頁面文件并不會自動的交換進物理內(nèi)存,除非有這個必要,那么此刻系統(tǒng)物理內(nèi)存就會空閑很多,同時交換空間也在被使用,就出現(xiàn)了剛才所說的現(xiàn)象了。關(guān)于這點,不用擔心什么,只要知道是怎么一回事就可以了。
- 交換空間的頁面在使用時會首先被交換到物理內(nèi)存,如果此時沒有足夠的物理內(nèi)存來容納這些頁面,它們又會被馬上交換出去,如此以來,虛擬內(nèi)存中可能沒有足夠空間來存儲這些交換頁面,最終會導致Linux出現(xiàn)假死機、服務(wù)異常等問題,Linux雖然可以在一段時間內(nèi)自行恢復,但是恢復后的系統(tǒng)已經(jīng)基本不可用了。
因此,合理規(guī)劃和設(shè)計Linux內(nèi)存的使用,是非常重要的.
二、內(nèi)存的監(jiān)控
作為一名Linux系統(tǒng)管理員,監(jiān)控內(nèi)存的使用狀態(tài)是非常重要的,通過監(jiān)控有助于了解內(nèi)存的使用狀態(tài),比如內(nèi)存占用是否正常,內(nèi)存是否緊缺等等,監(jiān)控內(nèi)存最常使用的命令有free、top等,下面是某個系統(tǒng)free的輸出:
- [root@linuxeye ~]# free
- total used free shared buffers cached
- Mem: 3894036 3473544 420492 0 72972 1332348
- -/+ buffers/cache: 2068224 1825812
- Swap: 4095992 906036 3189956
每個選項的含義:
***行:
total:物理內(nèi)存的總大小
used:已經(jīng)使用的物理內(nèi)存大小
free:空閑的物理內(nèi)存大小
shared:多個進程共享的內(nèi)存大小
buffers/cached:磁盤緩存的大小
第二行Mem:代表物理內(nèi)存使用情況
第三行(-/+ buffers/cached):代表磁盤緩存使用狀態(tài)
第四行:Swap表示交換空間內(nèi)存使用狀態(tài)
free命令輸出的內(nèi)存狀態(tài),可以通過兩個角度來查看:一個是從內(nèi)核的角度來看,一個是從應(yīng)用層的角度來看的。
從內(nèi)核的角度來查看內(nèi)存的狀態(tài)
就是內(nèi)核目前可以直接分配到,不需要額外的操作,即為上面free命令輸出中第二行Mem項的值,可以看出,此系統(tǒng)物理內(nèi)存有3894036K,空閑的內(nèi)存只有420492K,也就是40M多一點,我們來做一個這樣的計算:
3894036 – 3473544 = 420492
其實就是總的物理內(nèi)存減去已經(jīng)使用的物理內(nèi)存得到的就是空閑的物理內(nèi)存大小,注意這里的可用內(nèi)存值420492并不包含處于buffers和cached狀態(tài)的內(nèi)存大小。
如果你認為這個系統(tǒng)空閑內(nèi)存太小,那你就錯了,實際上,內(nèi)核完全控制著內(nèi)存的使用情況,Linux會在需要內(nèi)存的時候,或在系統(tǒng)運行逐步推進時,將buffers和cached狀態(tài)的內(nèi)存變?yōu)閒ree狀態(tài)的內(nèi)存,以供系統(tǒng)使用。
從應(yīng)用層的角度來看系統(tǒng)內(nèi)存的使用狀態(tài)
也就是Linux上運行的應(yīng)用程序可以使用的內(nèi)存大小,即free命令第三行 -/+ buffers/cached 的輸出,可以看到,此系統(tǒng)已經(jīng)使用的內(nèi)存才2068224K,而空閑的內(nèi)存達到1825812K,繼續(xù)做這樣一個計算:
420492+(72972+1332348)=1825812
通過這個等式可知,應(yīng)用程序可用的物理內(nèi)存值是Mem項的free值加上buffers和cached值之和,也就是說,這個free值是包括buffers和cached項大小的,對于應(yīng)用程序來說,buffers/cached占有的內(nèi)存是可用的,因為buffers/cached是為了提高文件讀取的性能,當應(yīng)用程序需要用到內(nèi)存的時候,buffers/cached會很快地被回收,以供應(yīng)用程序使用。
buffers與cached的異同
在Linux 操作系統(tǒng)中,當應(yīng)用程序需要讀取文件中的數(shù)據(jù)時,操作系統(tǒng)先分配一些內(nèi)存,將數(shù)據(jù)從磁盤讀入到這些內(nèi)存中,然后再將數(shù)據(jù)分發(fā)給應(yīng)用程序;當需要往文件中寫數(shù)據(jù)時,操作系統(tǒng)先分配內(nèi)存接收用戶數(shù)據(jù),然后再將數(shù)據(jù)從內(nèi)存寫到磁盤上。然而,如果有大量數(shù)據(jù)需要從磁盤讀取到內(nèi)存或者由內(nèi)存寫入磁盤時,系統(tǒng)的讀寫性能就變得非常低下,因為無論是從磁盤讀數(shù)據(jù),還是寫數(shù)據(jù)到磁盤,都是一個很消耗時間和資源的過程,在這種情況下,Linux引入了buffers和cached機制。
buffers與cached都是內(nèi)存操作,用來保存系統(tǒng)曾經(jīng)打開過的文件以及文件屬性信息,這樣當操作系統(tǒng)需要讀取某些文件時,會首先在buffers與cached內(nèi)存區(qū)查找,如果找到,直接讀出傳送給應(yīng)用程序,如果沒有找到需要數(shù)據(jù),才從磁盤讀取,這就是操作系統(tǒng)的緩存機制,通過緩存,大大提高了操作系統(tǒng)的性能。但buffers與cached緩沖的內(nèi)容卻是不同的。
buffers是用來緩沖塊設(shè)備做的,它只記錄文件系統(tǒng)的元數(shù)據(jù)(metadata)以及 tracking in-flight pages,而cached是用來給文件做緩沖。更通俗一點說:buffers主要用來存放目錄里面有什么內(nèi)容,文件的屬性以及權(quán)限等等。而cached直接用來記憶我們打開過的文件和程序。
為了驗證我們的結(jié)論是否正確,可以通過vi打開一個非常大的文件,看看cached的變化,然后再次vi這個文件,感覺一下兩次打開的速度有何異同,是不是第二次打開的速度明顯快于***次呢?
接著執(zhí)行下面的命令:
- find /* -name *.conf
看看buffers的值是否變化,然后重復執(zhí)行find命令,看看兩次顯示速度有何不同。
Linux操作系統(tǒng)的內(nèi)存運行原理,很大程度上是根據(jù)服務(wù)器的需求來設(shè)計的,例如系統(tǒng)的緩沖機制會把經(jīng)常使用到的文件和數(shù)據(jù)緩存在cached中,linux總是在力求緩存更多的數(shù)據(jù)和信息,這樣再次需要這些數(shù)據(jù)時可以直接從內(nèi)存中取,而不需要有一個漫長的磁盤操作,這種設(shè)計思路提高了系統(tǒng)的整體性能。
參考:http://ixdba.blog.51cto.com/2895551/541355