在Linux中，有很多命令或工具查看內(nèi)存使用情況，今天我們來看看如何查看進程消耗、占用的內(nèi)存情況，Linux的內(nèi)存管理和相關概念要比Windows復雜一些。在此之前，我們需要了解一下Linux系統(tǒng)下面有關內(nèi)存的專用名詞和專業(yè)術語概念：

物理內(nèi)存和虛擬內(nèi)存

物理內(nèi)存：就是系統(tǒng)硬件提供的內(nèi)存大小，是真正的內(nèi)存，一般叫做內(nèi)存條。也叫隨機存取存儲器(random access memory，RAM)又稱作“隨機存儲器”，是與CPU直接交換數(shù)據(jù)的內(nèi)部存儲器，也叫主存(內(nèi)存)。

虛擬內(nèi)存：相對于物理內(nèi)存，在Linux下還有一個虛擬內(nèi)存的概念，虛擬內(nèi)存就是為了滿足物理內(nèi)存的不足而提出的策略，它是利用磁盤空間虛擬出的一塊邏輯內(nèi)存，用作虛擬內(nèi)存的磁盤空間被稱為交換空間(Swap Space)。Linux會在物理內(nèi)存不足時，使用虛擬內(nèi)存，內(nèi)核會把暫時不用的內(nèi)存塊信息寫到虛擬內(nèi)存，這樣物理內(nèi)存就得到了釋放，這塊兒內(nèi)存就可以用于其他目的，而需要用到這些內(nèi)容的時候，這些信息就會被重新從虛擬內(nèi)存讀入物理內(nèi)存。

Linux的buffers與cached

在Linux中經(jīng)常發(fā)現(xiàn)空閑的內(nèi)存很少，似乎所有的內(nèi)存都被消耗殆盡了，表面上看是內(nèi)存不夠用了，很多新手看到內(nèi)存被“消耗殆盡”非常緊張，其實這個是因為Linux系統(tǒng)將空閑的內(nèi)存用來做磁盤文件數(shù)據(jù)的緩存。這個導致你的系統(tǒng)看起來處于內(nèi)存非常緊急的狀況。但是實際上不是這樣。這個區(qū)別于Windows的內(nèi)存管理。Linux會利用空閑的內(nèi)存來做cached & buffers。

buffers是指用來給塊設備做的緩沖大小(塊設備的讀寫緩沖區(qū))，它只記錄文件系統(tǒng)的metadata以及 tracking in-flight pages.

Buffers are associated with a specific block device, and cover caching of filesystem metadata as well as tracking in-flight pages. The cache only contains parked file data. That is, the buffers remember what’s in directories, what file permissions are, and keep track of what memory is being written from or read to for a particular block device. The cache only contains the contents of the files themselves.

cached是作為page cache的內(nèi)存, 文件系統(tǒng)的cache。你讀寫文件的時候，Linux內(nèi)核為了提高讀寫性能與速度，會將文件在內(nèi)存中進行緩存，這部分內(nèi)存就是Cache Memory(緩存內(nèi)存)。即使你的程序運行結束后，Cache Memory也不會自動釋放。這就會導致你在Linux系統(tǒng)中程序頻繁讀寫文件后，你會發(fā)現(xiàn)可用物理內(nèi)存會很少。其實這緩存內(nèi)存(Cache Memory)在你需要使用內(nèi)存的時候會自動釋放，所以你不必擔心沒有內(nèi)存可用

Cached is the size of the page cache. Buffers is the size of in-memory block I/O buffers. Cached matters; Buffers is largely irrelevant.

Cached is the size of the Linux page cache, minus the memory in the swap cache, which is represented by SwapCached (thus the total page cache size is Cached + SwapCached). Linux performs all file I/O through the page cache. Writes are implemented as simply marking as dirty the corresponding pages in the page cache; the flusher threads then periodically write back to disk any dirty pages. Reads are implemented by returning the data from the page cache; if the data is not yet in the cache, it is first populated. On a modern Linux system, Cached can easily be several gigabytes. It will shrink only in response to memory pressure. The system will purge the page cache along with swapping data out to disk to make available more memory as needed.

Buffers are in-memory block I/O buffers. They are relatively short-lived. Prior to Linux kernel version 2.4, Linux had separate page and buffer caches. Since 2.4, the page and buffer cache are unified and Buffers is raw disk blocks not represented in the page cache—i.e., not file data. The Buffers metric is thus of minimal importance. On most systems, Buffers is often only tens of megabytes.

Linux共享內(nèi)存

共享內(nèi)存是進程間通信中最簡單的方式之一。共享內(nèi)存允許兩個或更多進程訪問同一塊內(nèi)存，就如同 malloc() 函數(shù)向不同進程返回了指向同一個物理內(nèi)存區(qū)域的指針。當一個進程改變了這塊地址中的內(nèi)容的時候，其它進程都會察覺到這個。其實所謂共享內(nèi)存，就是多個進程間共同地使用同一段物理內(nèi)存空間，它是通過將同一段物理內(nèi)存映射到不同進程的虛擬空間來實現(xiàn)的。由于映射到不同進程的虛擬空間中，不同進程可以直接使用，不需要像消息隊列那樣進行復制，所以共享內(nèi)存的效率很高。共享內(nèi)存可以通過mmap()映射普通文件機制來實現(xiàn)，也可以System V共享內(nèi)存機制來實現(xiàn)，System V是通過映射特殊文件系統(tǒng)shm中的文件實現(xiàn)進程間的共享內(nèi)存通信，也就是說每個共享內(nèi)存區(qū)域?qū)厥馕募到y(tǒng)shm中的一個文件。

另外，我們還必須了解RSS、PSS、USS等相關概念：

• VSS – Virtual Set Size 虛擬耗用內(nèi)存(包含共享庫占用的內(nèi)存)
• RSS – Resident Set Size 實際使用物理內(nèi)存(包含共享庫占用的內(nèi)存)
• PSS – Proportional Set Size 實際使用的物理內(nèi)存(比例分配共享庫占用的內(nèi)存)
• USS – Unique Set Size 進程獨自占用的物理內(nèi)存(不包含共享庫占用的內(nèi)存)

RSS(Resident set size)，使用top命令可以查詢到，是最常用的內(nèi)存指標，表示進程占用的物理內(nèi)存大小。但是，將各進程的RSS值相加，通常會超出整個系統(tǒng)的內(nèi)存消耗，這是因為RSS中包含了各進程間共享的內(nèi)存。

PSS(Proportional set size)所有使用某共享庫的程序均分該共享庫占用的內(nèi)存時，每個進程占用的內(nèi)存。顯然所有進程的PSS之和就是系統(tǒng)的內(nèi)存使用量。它會更準確一些，它將共享內(nèi)存的大小進行平均后，再分攤到各進程上去。

USS(Unique set size )進程獨自占用的內(nèi)存，它是PSS中自己的部分，它只計算了進程獨自占用的內(nèi)存大小，不包含任何共享的部分。

所以下面介紹的命令，有些查看進程的虛擬內(nèi)存使用，有些是查看進程的RSS或?qū)嶋H物理內(nèi)存。在講述的時候，我們會標注這些信息。

top命令查看

執(zhí)行top命令后，執(zhí)行SHIFT +F ，可以選擇按某列排序，例如選擇n后，就會按字段%MEM排序

當然也可以使用shift+m 或大寫鍵M 讓top命令按字段%MEM來排序，當然你也可以按VIRT(虛擬內(nèi)存)、SWAP(進程使用的SWAP空間)、RES(實際使用物理內(nèi)存,當然這里由于涉及共享內(nèi)存緣故，你看到的實際內(nèi)存非常大)

%MEM — Memory usage (RES)

A task’s currently used share of available physical memory

VIRT — virtual memory

The total amount of virtual memory used by the task. It includes all code, data and shared libraries plus pages that have been swapped out. (Note: you can define the STATSIZE=1 environment variable and the VIRT will be calculated from the /proc/#/state VmSize field.)

VIRT = SWAP + RES

SWAP — Swapped size (kb)

The swapped out portion of a task’s total virtual memory image.

RES — Resident size (kb)

RES = CODE + DATA.

是否有人會覺得奇怪，為什么%MEM這一列的值加起來會大于100呢? 這個是因為這里計算的時候包含了共享內(nèi)存的緣故，另外由于共享內(nèi)存的緣故，你看到進程使用VIRT或RES都非常高。由于大部分的物理內(nèi)存通常在多個應用程序之間共享，名為實際使用物理內(nèi)存(RSS，對應top命令里面的RES)的這個標準的內(nèi)存耗用衡量指標會大大高估內(nèi)存耗用情況。

ps命令查看

使用ps命令找出占用內(nèi)存資源最多的20個進程(數(shù)量可以任意設置)

# ps aux | head -1;ps aux |grep -v PID |sort -rn -k +4 | head -20 
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND 
oracle   32147 11.0 51.2 13252080 12666320 ?   Rs   Aug24 163:16 ora_s000_SCM2 
oracle   32149 14.2 50.9 13250344 12594264 ?   Ss   Aug24 210:41 ora_s001_SCM2 
oracle   32153  4.2 49.6 13250820 12279432 ?   Ss   Aug24  62:27 ora_s003_SCM2 
oracle   32155  2.5 48.6 13250268 12040732 ?   Ss   Aug24  38:21 ora_s004_SCM2 
oracle   32157  1.2 44.5 13250296 11011708 ?   Ss   Aug24  18:31 ora_s005_SCM2 
oracle   32151  2.7 39.7 13350436 9829944 ?    Ss   Aug24  41:18 ora_s002_SCM2 
oracle   32159  0.5 38.9 13250704 9625764 ?    Ss   Aug24   8:18 ora_s006_SCM2 
oracle   32161  0.2 26.3 13250668 6507244 ?    Ss   Aug24   3:38 ora_s007_SCM2 
oracle   32129  0.0 25.5 13299084 6324644 ?    Ss   Aug24   1:25 ora_dbw0_SCM2 
oracle   32181  0.0 15.8 13250152 3913260 ?    Ss   Aug24   0:56 ora_s017_SCM2 
oracle   32145  2.7 15.3 13255256 3786456 ?    Ss   Aug24  40:11 ora_d000_SCM2 
oracle   32127  0.0 15.2 13248996 3762860 ?    Ss   Aug24   0:05 ora_mman_SCM2 
oracle   32163  0.0 14.2 13250108 3525160 ?    Ss   Aug24   1:04 ora_s008_SCM2 
oracle   32165  0.0  8.1 13250172 2007704 ?    Ss   Aug24   0:37 ora_s009_SCM2 
oracle   32169  0.0  6.6 13250060 1656864 ?    Ss   Aug24   0:08 ora_s011_SCM2 
oracle   32177  0.0  6.0 13250148 1498760 ?    Ss   Aug24   0:12 ora_s015_SCM2 
oracle   32187  0.0  5.1 13250084 1267384 ?    Ss   Aug24   0:06 ora_s020_SCM2 
oracle   32179  0.0  5.1 13250584 1280156 ?    Ss   Aug24   0:05 ora_s016_SCM2 
oracle   32167  0.0  5.0 13250060 1248668 ?    Ss   Aug24   0:08 ora_s010_SCM2 
oracle   32175  0.0  3.4 13250596 857380 ?     Ss   Aug24   0:03 ora_s014_SCM2 
 
#ps -eo pmem,pcpu,rss,vsize,args | sort -k 1 -n -r | less 

查看進程占用的實際物理內(nèi)存(與smem看到實際物理內(nèi)存大小有出入，這里解釋一下：SIZE: 進程使用的地址空間, 如果進程映射了100M的內(nèi)存, 進程的地址空間將報告為100M內(nèi)存. 事實上, 這個大小不是一個程序?qū)嶋H使用的內(nèi)存數(shù). 所以這里看到的內(nèi)存跟smem看到的大小有出入)

ps -eo size,pid,user,command --sort -size | awk '{ hr=$1/1024 ; printf("%13.2f Mb ",hr) } { for ( x=4 ; x<=NF ; x++ ) { printf("%s ",$x) } print "" }' |cut -d "" -f2 | cut -d "-" -f1 

ps aux | awk '{print $6/1024 " MB\t\t" $11}' | sort -n 

smem命令查看

關于smem命令，這里不做介紹，直接參考鏈接Linux監(jiān)控工具介紹系列——smem

#smem -rs pss 

pmap命令查看

# ps -ef | grep tomcat 
# pmap 32341 

# pmap -x 32341 

The -x option can be used to provide information about the memory allocation and mapping types per mapping. The amount of resident, non-shared anonymous, and locked memory is shown for each mapping。

python腳本查看

網(wǎng)上有個python腳本計算程序或進程的內(nèi)存使用情況，地址位于https://raw.githubusercontent.com/pixelb/ps_mem/master/ps_mem.py

python ps_mem.py

[root@mylnx03 ~]# python ps_mem.py -h 
Usage: ps_mem [OPTION]... 
Show program core memory usage 
   
  -h, -help                   Show this help 
  -p <pid>[,pid2,...pidN]     Only show memory usage PIDs in the specified list 
  -s, --split-args            Show and separate by, all command line arguments 
  -t, --total                 Show only the total value 
  -d, --discriminate-by-pid   Show by process rather than by program 
  -S, --swap                  Show swap information 
  -w <N>                      Measure and show process memory every N seconds 
[root@mylnx03 ~]# python ps_mem.py  -p 32341 
 Private  +   Shared  =  RAM used       Program 
   
411.2 MiB + 184.0 KiB = 411.4 MiB       java 
--------------------------------- 
                        411.4 MiB 
================================= 

參考資料：

• https://stackoverflow.com/questions/131303/how-to-measure-actual-memory-usage-of-an-application-or-process
• http://www.cnblogs.com/kerrycode/p/5079319.html
• https://raw.githubusercontent.com/pixelb/ps_mem/master/ps_mem.py