騰訊二面:大白你了解共享內(nèi)存嗎?
本文轉(zhuǎn)載自微信公眾號(hào)「CS指南」,作者大白 。轉(zhuǎn)載本文請(qǐng)聯(lián)系 CS指南公眾號(hào)。
--------------當(dāng)日上午,大白正在找借口請(qǐng)假面試-----------
一個(gè)陽(yáng)光明媚的中午,大白在領(lǐng)導(dǎo)辦公室
大白:領(lǐng)導(dǎo)我這牙疼還是沒(méi)好,下午還得去找那個(gè)醫(yī)生開(kāi)點(diǎn)藥,不行不行,太疼了....我現(xiàn)在就得去了。
領(lǐng)導(dǎo):......
--------------------當(dāng)日下午,騰訊大樓--------------------
面試官:大白,上一輪的面試官反映你水平不錯(cuò),我看你和上一輪的面試官聊了 進(jìn)程通信中的管道 ,那么我們今天要不接著上個(gè)話(huà)題聊一聊吧。你還用過(guò)其它方式進(jìn)行進(jìn)程通信嗎?
大白:除了上次講的管道的方式外,我還經(jīng)常用 共享內(nèi)存 的方式進(jìn)行進(jìn)程通信。
面試官:那我們今天就好好聊聊共享內(nèi)存這種進(jìn)程通信方式吧。
----------------------面試正式開(kāi)始------------------------
面試官:要不你先簡(jiǎn)單說(shuō)說(shuō)什么是 共享內(nèi)存 吧!
大白:我們知道各進(jìn)程之間是獨(dú)立存在,互不影響的。有沒(méi)有一種方式讓這些進(jìn)程之間產(chǎn)生聯(lián)系呢?當(dāng)然有!那就是共享內(nèi)存。共享內(nèi)存是進(jìn)程間通信中最簡(jiǎn)單的方式之一。站在進(jìn)程的角度來(lái)說(shuō),共享內(nèi)存就是可以同時(shí)被多個(gè)進(jìn)程訪問(wèn)的內(nèi)存。由于所有進(jìn)程共享同一塊內(nèi)存,因此這種通信方式效率非常高。
面試官:要不你再給我講講,為什么進(jìn)程間的內(nèi)存不是共享的吧?
大白:(內(nèi)心:啥?準(zhǔn)備了好幾天的進(jìn)程通信,你問(wèn)出來(lái)個(gè)這?)我想想啊......其實(shí)這個(gè)問(wèn)題也還比較容易想明白了。舉一個(gè)例子,假設(shè)有 2 個(gè)進(jìn)程同時(shí)想讓某一物理地址保存一個(gè)值,A 進(jìn)程想讓這個(gè)物理地址保存 1,B 進(jìn)程想讓這個(gè)物理地址保存 2。那么這個(gè)物理地址到底應(yīng)該保存哪個(gè)值?所以,為了將每個(gè)進(jìn)程隔離開(kāi),設(shè)計(jì)者就想到一個(gè)辦法,操作系統(tǒng)會(huì)給每個(gè)進(jìn)程分配一個(gè)虛擬地址。然后將不同進(jìn)程的虛擬地址和不同內(nèi)存的物理地址進(jìn)行映射。每次進(jìn)程想要寫(xiě)入數(shù)據(jù),先訪問(wèn)虛擬地址,然后內(nèi)存再將這個(gè)地址轉(zhuǎn)換成物理地址,這樣不同進(jìn)程運(yùn)行的時(shí)候,寫(xiě)入的是不同物理地址,就不會(huì)有沖突了。這就是進(jìn)程獨(dú)享內(nèi)存空間的原理。我下面給您畫(huà)個(gè)圖。實(shí)際中虛擬內(nèi)存和物理內(nèi)存都會(huì)被分成大小相等的頁(yè),然后進(jìn)行映射。但是由于我們這次面試的重點(diǎn)不在此,圖就簡(jiǎn)略一點(diǎn),表明關(guān)系就好。
面試官:你剛才提到了 虛擬地址 ?為什么要引入虛擬地址呢?運(yùn)行過(guò)程中還得進(jìn)行虛擬地址和物理地址進(jìn)行轉(zhuǎn)換。我看看物理內(nèi)存有多大,直接把一段物理空間交給一個(gè)進(jìn)程不好嗎?然后這段空間不允許別的進(jìn)程進(jìn)行操作。這樣不更省事?
大白:(內(nèi)心:這個(gè)面試官怕不是個(gè)哈皮吧...)嗯...是這樣的,原因主要有 3 個(gè)方面:
操作系統(tǒng)是不希望一個(gè)普通的進(jìn)程可以直接對(duì)物理地址寫(xiě)數(shù)據(jù)的。如果一個(gè)普通的進(jìn)程可以隨意的向物理地址中寫(xiě)數(shù)據(jù)。那么一個(gè)惡意進(jìn)程一旦知道別的進(jìn)程的物理地址,那不是很容易就把別的進(jìn)程的數(shù)據(jù)篡改了嘛。
每個(gè)進(jìn)程在創(chuàng)建之初,它所需要的內(nèi)存大小都是不確定的。如果按照您的說(shuō)法直接給進(jìn)程分配固定的物理內(nèi)存,假如兩個(gè)進(jìn)程在創(chuàng)建之初都直接各自分配了 1G 的物理空間。但實(shí)際運(yùn)行起來(lái),A 進(jìn)程只用了 100M,而 B 進(jìn)程需要 1.9 G。那么給 A 進(jìn)程分配的空間就浪費(fèi)了,而給 B 進(jìn)程分配的空間又不夠。都采用虛擬地址,表面看上去每個(gè)進(jìn)程都可以獨(dú)占內(nèi)存的所有空間。在進(jìn)程運(yùn)行的途中再對(duì)虛擬地址和物理地址進(jìn)行轉(zhuǎn)換,可以有效的利用空間。甚至在內(nèi)存不足的情況下,還可以把進(jìn)程的內(nèi)存存到硬盤(pán)里,切換到該進(jìn)程時(shí)再?gòu)挠脖P(pán)讀取。
虛擬內(nèi)存可以為每個(gè)進(jìn)程提供一個(gè)一致的地址空間,這樣程序員就不需要管理內(nèi)存了,這也降低了編程的復(fù)雜度。
面試官:可以可以,沒(méi)難住你。那你現(xiàn)在講講進(jìn)程通信為什么又要共享內(nèi)存了吧?
大白:因?yàn)橛袝r(shí)候兩個(gè)進(jìn)程需要進(jìn)行大量的通信,并且傳遞的都是比較大的數(shù)據(jù)。那么采用管道或者消息隊(duì)列的方式就不方便了。這不如兩個(gè)進(jìn)程都拿出一塊虛擬地址,映射到相同的物理內(nèi)存中。這樣進(jìn)程間需要傳送的數(shù)據(jù)就不需要來(lái)回拷貝了,這邊一寫(xiě)那邊立馬看到了。共享內(nèi)存理論上是最快的進(jìn)程通信方式,不過(guò)有個(gè)弊端就是不能跨物理機(jī)進(jìn)程通信,如果需要跨物理機(jī)進(jìn)行進(jìn)程通信,建議用套接字。
面試官:共享內(nèi)存讓進(jìn)程間的通信更加簡(jiǎn)單,效率也不錯(cuò)。但是,這種方式也存在一個(gè)比較明顯的缺點(diǎn)—沒(méi)有提供同步的機(jī)制。你簡(jiǎn)單說(shuō)說(shuō)該如何解決吧?
大白:嗯嗯,確實(shí)!我們需要通過(guò)一些手段保證在數(shù)據(jù)被寫(xiě)入之前不允許其他進(jìn)程從共享內(nèi)存中讀取。比較常見(jiàn)的解決辦是通過(guò) 信號(hào)量 來(lái)進(jìn)行同步。
面試官:我之前就聽(tīng)說(shuō)你八股文背的賊溜,現(xiàn)在看來(lái)果然名不虛傳。我想看看你代碼能力,你給我用代碼實(shí)現(xiàn)一下共享內(nèi)存可以不?
大白:沒(méi)問(wèn)題呀!首先我給您講下思路吧!分四步就可以完成啦;
(1)既然需要用共享內(nèi)存,首先需要?jiǎng)?chuàng)建一個(gè)共享內(nèi)存或者得到一個(gè)共享內(nèi)存。這一步要用到一個(gè)函數(shù)就是 shmget。
- int shmget(key_t key,size_t size, int flag);
- //key:用來(lái)定位共享內(nèi)存
- //size:用來(lái)指定共享內(nèi)存的大小
- //flag:用來(lái)表示創(chuàng)建共享內(nèi)存的方式,如果賦值是 IPC_CREAT 表示創(chuàng)建一個(gè)新的
- //返回值:共享內(nèi)存標(biāo)識(shí)符
(2)通過(guò)第一步創(chuàng)建好了共享內(nèi)存,但是如果一個(gè)進(jìn)程想要訪問(wèn)這段共享內(nèi)存,那么就需要將共享內(nèi)存加載到自己的虛擬地址空間中。而加載的這個(gè)過(guò)程就需要用到下面這個(gè)函數(shù)。
- void *shmat(int shmid, const void *shmaddr, int shmflag);
- //shmid:傳入共享內(nèi)存標(biāo)識(shí)符
- //shmaddr:指定共享內(nèi)存映射的地址
- //shmflag:標(biāo)識(shí)內(nèi)存關(guān)聯(lián)后的讀寫(xiě)權(quán)限
- //返回值:返回共享內(nèi)存映射到進(jìn)程空間的起始地址。
(3)經(jīng)過(guò)前兩步,所有與共享內(nèi)存進(jìn)行關(guān)聯(lián)的進(jìn)程,就可以進(jìn)行通信了。這一步不需要什么特殊的函數(shù),直接往共享內(nèi)存中寫(xiě)入,或者從中讀取就可以啦。
(4)如果內(nèi)存共享使用完畢,那么就需要解除綁點(diǎn),然后再刪除共享內(nèi)存對(duì)象。這需要用到下面兩個(gè)函數(shù)。
- int shmdt(void *addr);
- //addr:共享內(nèi)存的起始地址
- void *shmctl(int shm_id, int cmd, struct shmid_ds *buf);
- //shm_id:共享內(nèi)存標(biāo)識(shí)符
- //cmd:對(duì)共享內(nèi)存的操作,如果用IPC_RMID表示要將共享內(nèi)存刪去。
- //buf:共享內(nèi)存管理結(jié)構(gòu)體。
面試官:好的,你的思路我明白啦,可以開(kāi)始寫(xiě)代碼啦。那個(gè)我怕你頭文件的引用記不清,我直接給你寫(xiě)在下邊吧。你一會(huì)直接引用就好啦。
- //shared_memory.h
- #include <stdio.h>
- #include <sys/types.h>
- #include <sys/ipc.h>
- #include <sys/shm.h> //剛才介紹的幾個(gè)函數(shù)都在這個(gè)庫(kù)中
- #include <unistd.h>
- #define PATHNAME "/home/dabai/server.c" //路徑名,用它來(lái)獲取共享內(nèi)存標(biāo)識(shí)符的key
- #define PROJ_ID 0x6666 //整數(shù)標(biāo)識(shí)符
- #define SIZE 4096 //共享內(nèi)存的大小
大白:感謝感謝,那我就直接寫(xiě)代碼啦。
- //server.c
- #include "shared_memory.h"
- int main()
- {
- key_t key = ftok(PATHNAME, PROJ_ID); //建立共享內(nèi)存需要一個(gè)區(qū)域標(biāo)識(shí)符來(lái)標(biāo)識(shí)共享內(nèi)存區(qū)域,ftok把已經(jīng)存在的路徑名和整數(shù)標(biāo)識(shí)符轉(zhuǎn)換成一個(gè)整數(shù) IPC 鍵值。
- //如果key創(chuàng)建失敗則返回值小于0,應(yīng)該有個(gè)打印錯(cuò)誤并結(jié)束程序的操作,為了代碼簡(jiǎn)潔我就不寫(xiě)啦。
- int shm = shmget(key, SIZE, IPC_CREAT | IPC_EXCL | 0666); //創(chuàng)建新的共享內(nèi)存,返回共享內(nèi)存標(biāo)識(shí)符
- //如果共享內(nèi)存創(chuàng)建失敗則返回值小于0,應(yīng)該有個(gè)打印錯(cuò)誤并結(jié)束程序的操作,為了代碼簡(jiǎn)潔我就不寫(xiě)啦。
- printf("key: %x\n", key);
- printf("shm: %d\n", shm);
- char* mem = shmat(shm, NULL, 0); //關(guān)聯(lián)共享內(nèi)存
- //這里還是應(yīng)該檢查下是否關(guān)聯(lián)成功為了代碼簡(jiǎn)潔我就省略了
- int i = 0;
- while (1){
- mem[i] = 'a'; //進(jìn)程可以根據(jù)自己的需要在這里對(duì)共享內(nèi)存進(jìn)行寫(xiě)入或讀出。
- i++;
- }
- shmdt(mem); //共享內(nèi)存去關(guān)聯(lián)
- shmctl(shm, IPC_RMID, NULL); //釋放共享內(nèi)存
- return 0;
- }
- //這部分代碼參考了 https://blog.csdn.net/chenlong_cxy/article/details/121184624,這篇博客的代碼寫(xiě)的比較完善,大家如果感興趣可以去學(xué)習(xí)下。
面試官:我記得你剛才跟我說(shuō)更推薦用套接字?
大白:我沒(méi)說(shuō)...是個(gè)幻覺(jué)。
面試官:對(duì)了,信號(hào)量也沒(méi)細(xì)問(wèn)。今天先放過(guò)你吧,我也該下班了,我給你通過(guò)面試了。不知道 leader 會(huì)給你加面不。套接字的問(wèn)題等你入職后咱們聊一聊。
大白:好嘞,感謝感謝。
參考資料:
極客時(shí)間《趣談 Linux 操作系統(tǒng)》
https://blog.csdn.net/chenlong_cxy/article/details/121184624
https://juejin.cn/post/6844903507594575886
https://snailclimb.gitee.io/javaguide/#/?id=%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F