實戰(zhàn)講解Linux進程內(nèi)存空間
哈嘍,我是子牙,一個很卷的硬核男人
深入研究計算機底層、Windows內(nèi)核、Linux內(nèi)核、Hotspot源碼……聚焦做那些大家想學(xué)沒地方學(xué)的課程。為了保證課程質(zhì)量及教學(xué)效果,一年磨一劍,三年先后做了這些課程:手寫JVM、手寫OS、帶你用純匯編寫OS、手寫64位多核OS、實戰(zhàn)Linux內(nèi)核…
最近抽空把之前對Linux進程內(nèi)存空間的研究整理了一下,分享給大家。依然,這篇文章與你以前看到的所有相關(guān)文章或視頻都不同,無論是廣度,還是深度,更重要的,我都會在Linux內(nèi)核中證明給你看!
32位時代已經(jīng)過去很久了,所以本篇文章為了保持干凈整潔,只講64位。32位與64位其實相差不大,甚至可以說,32位因為可操作內(nèi)存空間更少,反而更復(fù)雜些,感興趣的小伙伴舉一反三,自行研究
閱讀完本篇文章,這些問題你能得到答案:
一個進程的內(nèi)存空間長啥樣子
一個進程的用戶空間、內(nèi)核空間分別長啥樣子
進程的用戶空間與內(nèi)核空間都有空洞(hole)嗎?如何證明?
我們編寫的一個C語言程序,是如何變成Linux進程的?
malloc底層是如何實現(xiàn)的?什么時候是通過brk申請內(nèi)存?什么時候是通過mmap申請內(nèi)存?如何證明?
如何證明進程用戶空間中的堆(heap)是向上增長的?
如何證明進程用戶空間中的映射區(qū)(mmap)是向下增長的?
Linux內(nèi)核中與此知識點相關(guān)的資料或源碼怎么看?
想獨立研究Linux內(nèi)核,能獨立看得到Linux內(nèi)核,有書或視頻推薦嗎?
道生一,一生二,二生三,三生萬物。本篇文章就從這個程序開始吧
圖片
這個程序包含了一個程序會使用內(nèi)存的所有情況:未初始化的全局變量,初始化了的全局變量、靜態(tài)字符串、函數(shù)參數(shù)、局部變量、通過mmap從映射區(qū)分配內(nèi)存、通過malloc從堆區(qū)分配內(nèi)存
來看下結(jié)果
圖片
接下來我們就來分析:不同的變量對應(yīng)著不同的使用內(nèi)存的情況,這些變量為什么是這樣的值?它們都分布在Linux進程內(nèi)存空間的哪個區(qū)域?
一個64位進程的內(nèi)存空間的完整態(tài)長這樣
圖片
內(nèi)核空間是所有進程共享的,長這樣。本篇文章主要講Linux進程用戶空間,這個我就不展開了
Linux進程的內(nèi)核空間,內(nèi)核源碼中有個文件詳細(xì)列出來了,路徑
/linux-5.4.259/Documentation/x86/x86_64/mm.rst
Linux進程的用戶空間,內(nèi)核源碼中沒有給出明確的答案,需要我們閱讀源碼去分析
我們研究一個技術(shù)點,除了要研究它靜態(tài)的時候,還有研究它的運行時,才能建立起對它的完整認(rèn)知。光看源碼,你能推理出Linux進程用戶空間由哪些部分組成,但是你沒辦法知道哪些區(qū)域之間是有空洞(hole)的,但是通過看它的運行時,你就能得到答案!
圖片
最終得出Linux進程用戶空間最嚴(yán)謹(jǐn)?shù)膱D
圖片
亞里士多德說:我愛我?guī)?,我更愛真理。意思是:我尊重我的老師柏拉圖,但是我認(rèn)為天外有天,人外有人,我要不斷的突破老師給我的認(rèn)知、我自己的認(rèn)知局限,最終建立我自己的認(rèn)知,批判,最終確定為真理,堅持之。
我覺得我們求知者,要有開宗立派的決心,而不是盲從!更不是覺得誰就是不可逾越的天!這就要求我們?nèi)フ莆毡驹粗R,去學(xué)習(xí)更多、思考更多,融會貫通,舉一反三,不斷突破自己的局限!所以你看我的文章或者聽我的視頻,總能聽到不一樣的,總能豁然開朗,因為我深諳此道理!
教育最大的不公平,不是國家的不同、城市的不同、學(xué)校的不同……其實本質(zhì)就是老師的不同。我發(fā)現(xiàn)真正厲害的老師,能夠教出厲害學(xué)生的老師,都是開竅之人!他們獨立思考、獨特的觀點、獨特的做事風(fēng)格,總能讓你耳目一新!
試想:如果所有進程的env,arg、stack、mmap、head、data、code都在固定的地址,那么黑客想取這些信息是不是就非常方便,于是就出現(xiàn)了ASLR(地址空間隨機化),用于隨機化進程的地址空間布局,即每個進程的內(nèi)存區(qū)域、某個程序每次運行的內(nèi)存地址都是不一樣的
如何查看你的Linux系統(tǒng)是否開啟了ASLR呢?
cat /proc/sys/kernel/randomize_va_space
有三種可能的結(jié)果:
0:關(guān)閉
1:半隨機:共享庫、棧、mmap以及VDSO將被隨機化
2:開啟
注意:修改ASLR只影響新創(chuàng)建的進程地址空間,不影響已經(jīng)存在的進程地址空間。真怕有人拿著問題來問:子牙老師,我改了沒生效啊……我已經(jīng)見怪不怪了
那如何修改呢?常用方式有兩種(root權(quán)限)
1、sysctl -w kernel.randomize_va_space=0
2、echo 0 > /proc/sys/kernel/randomize_va_space
我們用gdb調(diào)試程序的時候,如果開了ASLR會非常不方便,所以默認(rèn)是關(guān)閉的
圖片
即Linux的ASLR是開啟的,gdb會關(guān)閉調(diào)試進程的ASLR
如果想打開呢?
set disable-randomization on
set disable-randomization off
Linux內(nèi)核發(fā)展至今,東西真的超級多!我最開始研究的時候也是一塊一塊的吃透,然后再試圖將相關(guān)知識點進行關(guān)聯(lián)。零散的知識是沒有威力的,關(guān)聯(lián)起來才能理解得更深刻!
04ELF文件與進程內(nèi)存空間
Linux進程是怎么來的?是Linux運行可執(zhí)行文件來的。Linux下的可執(zhí)行文件是ELF文件結(jié)構(gòu)
圖片
Windows下的可執(zhí)行文件是PE文件結(jié)構(gòu)。為什么Linux不能運行Windows程序,就是因為Linux內(nèi)核設(shè)計的時候,不支持PE文件結(jié)構(gòu),即無法解析它。那是否搞個PE文件解析器就可以了呢?如果是不依賴庫函數(shù)的程序,確實是可以的。但是不依賴庫函數(shù),這個程序就相當(dāng)于不用操作系統(tǒng)的能力,那也干不了什么事
所以如果你想做這么一件事:在Linux下運行Windows程序。那么大體上你需要做到:實現(xiàn)PE文件解析器、實現(xiàn)支撐程序運行的各種庫。我后期準(zhǔn)備在我自己寫的操作系統(tǒng)上支持運行Windows程序、Linux程序,是不是很酷!我覺得有個自己寫的JVM、OS,最有趣的就是我研究一個東西,我覺得很有趣,我有基礎(chǔ)環(huán)境支撐我去進一步研究它!
接下來我們就來看一下,我們寫的這個程序,ELF文件長啥樣子,你可以通過以下命令去查看
查看ELF文件的頭:readelf -h test-1
圖片
我們研究它的內(nèi)存空間,就取它的節(jié)表
readelf -SW test-1
圖片
Address這一欄有值的,就是要載入內(nèi)存的,我們來看下這兩個值是怎么來的
圖片
end_code的值就是.eh_fram的Address+Size得來的
end_data的值就是.data的Address+Size得來的
其他值都是運行時生成的,無法計算。比如brk,你通過malloc申請內(nèi)存,就會改變它,比如
圖片
我使用malloc申請內(nèi)存時,我怎么知道它是走的brk還是mmap呢?看運行結(jié)果,閾值大概是128K,即0x20000
圖片
那怎么確定heap是向上增長的呢?看運行結(jié)果
圖片
怎么確定mmap是向下增長的呢?看運行結(jié)果
圖片
恭喜你!徹底掌握了Linux進程內(nèi)存空間布局!
關(guān)于ELF文件結(jié)構(gòu)、PE文件結(jié)構(gòu),如果你想深入學(xué)習(xí),推薦看這本書
圖片
05實戰(zhàn)Linux內(nèi)核
這個數(shù)據(jù)你在用戶態(tài)是看不到的,需要編寫Linux驅(qū)動
圖片
Linux是用匯編+C語言實現(xiàn)的,所以Linux驅(qū)動也只能用匯編+C語言實現(xiàn)
圖片
其實作為一個coder,就算你是搞業(yè)務(wù)開發(fā)的,只要你想走出這條路,匯編跟C語言都是必須要學(xué)會的!不會這兩門語言,你會發(fā)現(xiàn),你能研究的東西很少很少……那些應(yīng)用層的東西、語言層面的、機制層面的,研究得再多,在高手眼中,你還是菜鳥!裁員的時候還是有的份!因為大家都走過這條路,都知道具備什么樣的底層實力才能成為高手!國內(nèi)的計算機高手真的不是特別多,感覺大家都畏懼去研究底層,一看到匯編、C語言代碼就退縮。
在計算機世界里,這兩門語言是承上啟下的。匯編、C語言玩明白了,C++無師自通!
圖片
06總結(jié)
本篇文章為大家分享了64位Linux進程的內(nèi)存空間布局,并詳細(xì)講了進程的用戶空間
關(guān)于Linux進程的用戶空間內(nèi)存布局,Linux內(nèi)核源碼中是沒有提供明確的答案的,不像內(nèi)核空間內(nèi)存布局,是有明確答案的
我們通過閱讀Linux內(nèi)核源碼,做實驗,推導(dǎo)出了Linux進程的用戶空間內(nèi)存布局,并從ELF文件、運行時,詳細(xì)講解了每一層。并通過malloc分配內(nèi)存講到了面試中經(jīng)常問到的問題
最后,恭喜大家,這就是Linux進程用戶空間內(nèi)存布局的全部,你已經(jīng)掌握了它!