為什么Linux和macOS不需要碎片整理?
為什么這么設(shè)計(jì)(Why’s THE Design)是一系列關(guān)于計(jì)算機(jī)領(lǐng)域中程序設(shè)計(jì)決策的文章,我們?cè)谶@個(gè)系列的每一篇文章中都會(huì)提出一個(gè)具體的問題并從不同的角度討論這種設(shè)計(jì)的優(yōu)缺點(diǎn)、對(duì)具體實(shí)現(xiàn)造成的影響。
相信今天很多的軟件工程師使用的都是 Linux 或者 macOS 系統(tǒng),與 Windows 不同,我們很難看到磁盤碎片整理這一概念,從個(gè)人的經(jīng)驗(yàn)來看,作者在過去七八年沒有在 macOS 中整理過磁盤的碎片,你在今天的磁盤工具中也找不到相關(guān)的操作,只能通過 diskutil 命令設(shè)置某一塊磁盤是否開啟或者關(guān)閉碎片整理。
圖 1 - macOS 磁盤工具
我們?cè)?前一篇文章 中曾經(jīng)分析過為什么早期 Windows 操作系統(tǒng)每隔一段時(shí)間可能需要整理磁盤上的碎片[^1],該問題背后有兩個(gè)原因,其一是 Windows 使用的 FAT 是很簡(jiǎn)單的文件系統(tǒng),該文件系統(tǒng)的設(shè)計(jì)決定了同一份文件可能會(huì)散落在磁盤的不同位置,其二是固態(tài)硬盤在上古時(shí)代沒有普及,機(jī)械硬盤的隨機(jī)讀寫性能很差。
Linux 和 macOS 系統(tǒng)不需要碎片整理的原因與 Windows 需要碎片整理的原因正好相反:
- Linux 和 macOS 使用的文件系統(tǒng)或者降低了碎片發(fā)生的概率或者實(shí)現(xiàn)自動(dòng)整理碎片的特性;
- 固態(tài)硬盤與機(jī)械硬盤具有不同的特性,碎片整理可能不僅對(duì)提高讀寫性能沒有顯著的幫助,還不利于硬件的使用壽命;
文件系統(tǒng)
Linux 一般都使用 Ext2、Ext3 和 Ext4 文件系統(tǒng),今天的大多數(shù) Linux 發(fā)行版都選擇了 Ext4。與 Windows 將多個(gè)文件連續(xù)存儲(chǔ)的方式不同,Linux 會(huì)把文件散落到磁盤的不同地方存儲(chǔ),同時(shí)在文件之間留下一些空間,保證文件在修改或者更新時(shí)不會(huì)造成碎片。
圖 2 - Linux 文件系統(tǒng)[^2]
今天的 macOS 多數(shù)都使用 APFS 文件系統(tǒng)[^3],它是蘋果專門為固態(tài)硬盤等設(shè)備優(yōu)化的文件系統(tǒng)。更早的 HFS 和 HFS+ 都是用了基于區(qū)塊(Extent)的設(shè)計(jì),每個(gè)區(qū)塊都包含序號(hào)和一段連續(xù)的存儲(chǔ)空間,這種分配方式會(huì)在文件系統(tǒng)中查找?guī)讉€(gè)連續(xù)的區(qū)塊來提供所需的空間。
圖 3 - macOS 文件系統(tǒng)
無論是 Linux 還是 macOS,它們的文件系統(tǒng)都是基于區(qū)塊設(shè)計(jì)的,而磁盤的空間分配也相對(duì)比較合理,所以不會(huì)出現(xiàn) Windows 系統(tǒng)上碎片化的磁盤。
除了文件系統(tǒng)在設(shè)計(jì)就避免了碎片的出現(xiàn)之外,Linux 和 macOS 也都是引入了延遲分配空間的策略,它們會(huì)通過緩沖區(qū)盡可能延遲磁盤寫入的時(shí)間,這樣不僅能夠降低刷盤的概率,還能增加文件寫入相鄰區(qū)塊的概率,然而這種機(jī)制并不是沒有副作用,在系統(tǒng)斷電或者崩潰時(shí)可能會(huì)丟失更多的數(shù)據(jù)。
如果磁盤上確實(shí)出現(xiàn)了碎片,那么 Linux 和 macOS 的文件系統(tǒng)也會(huì)嘗試移動(dòng)出現(xiàn)碎片的文件,不需要額外的碎片整理工具,這種設(shè)計(jì)帶來的用戶體驗(yàn)會(huì)比手動(dòng)觸發(fā)耗時(shí)較長(zhǎng)的碎片整理好很多。macOS 上的 HFS+ 系統(tǒng)還支持實(shí)時(shí)的去碎片化,當(dāng)滿足以下條件時(shí)會(huì)觸發(fā)碎片整理[^4]:
- 文件小于 20 MB;
- 文件存儲(chǔ)在 8 個(gè)以上的區(qū)塊上;
- 文件在過去一分鐘沒有被更新;
- 系統(tǒng)已經(jīng)啟動(dòng)了三分鐘;
在多數(shù)情況下,這些操作系統(tǒng)中的磁盤碎片比例都非常低,只有在磁盤空間不足時(shí)才會(huì)開始出現(xiàn)碎片,所以在這時(shí)我們其實(shí)需要的是一個(gè)更大的磁盤或者更新的電腦,而不是整理磁盤上的碎片。
固態(tài)硬盤
固態(tài)硬盤其實(shí)已經(jīng)是有著三十年歷史的存儲(chǔ)介質(zhì)了,但是由于固態(tài)硬盤的價(jià)格在過去一直都十分昂貴,所以沒有在數(shù)據(jù)中心和個(gè)人電腦中普及開來。哪怕是在今天,機(jī)械磁盤的價(jià)格與固態(tài)硬盤相比也有比較明顯的優(yōu)勢(shì)。
圖 4 - 固態(tài)硬盤和機(jī)械硬盤價(jià)格對(duì)比
新型的存儲(chǔ)介質(zhì)帶來了全新的特性和性能,我們?cè)谇耙黄恼轮性?jīng)介紹過,因?yàn)闄C(jī)械硬盤的機(jī)械結(jié)構(gòu),所以它的隨機(jī) I/O 與順序的 I/O 性能可能相差幾百倍,碎片整理可以將散落在磁盤上的數(shù)據(jù)合并到一處,隨機(jī) I/O 的次數(shù)減少自然也會(huì)提高讀寫文件的性能。
固態(tài)硬盤的順序 I/O 和隨機(jī) I/O 在性能上雖然也有差異,但是差距可能在十幾倍到幾十倍之間,而固態(tài)硬盤的隨機(jī) I/O 延遲也比機(jī)械磁盤好幾十倍甚至上千倍,到現(xiàn)在來看整理固態(tài)硬盤上的碎片雖然有收益,但是也比較有限。
圖 5 - NAND 閃存的演進(jìn)
作為電子元件的固態(tài)硬盤雖然有著較好的性能表現(xiàn),但是固態(tài)硬盤都有循環(huán)擦寫的次數(shù)限制,也被稱作 P/E。它的壽命與機(jī)械硬盤相比卻比較有限。如果一個(gè) 512 GB 的固態(tài)硬盤的擦寫數(shù)目是 1000 次,每次寫滿數(shù)據(jù)都會(huì)消耗一次壽命,等擦寫次數(shù)達(dá)到 1000 次之后硬盤就會(huì)報(bào)廢,碎片整理其實(shí)就是主動(dòng)移動(dòng)硬盤上的數(shù)據(jù),自然會(huì)影響硬件的壽命。
總結(jié)
在軟件工程中有一個(gè)非常有趣的現(xiàn)象,做硬件和基礎(chǔ)架構(gòu)的工程師都在拼命優(yōu)化系統(tǒng)的性能,然而應(yīng)用層的工程師很多時(shí)候并不在乎性能上的微小差異,而這也是工作職責(zé)上的差異帶來的結(jié)果,不同的位置決定了不同的關(guān)注點(diǎn)。
硬件的演進(jìn)和革新深深地影響著上層軟件的設(shè)計(jì),想要設(shè)計(jì)出通用的系統(tǒng)是異常困難的,在設(shè)計(jì)文件系統(tǒng)時(shí)如果不考慮底層硬件的特性,也就無法充分利用硬件提供的性能并得到期望的結(jié)果。這里簡(jiǎn)單總結(jié)一下 Linux 和 macOS 不需要碎片整理的兩個(gè)原因:
- 文件系統(tǒng)基于區(qū)塊分配的設(shè)計(jì)使得磁盤上出現(xiàn)碎片的概率很低,延遲分配和自動(dòng)的整理策略解放了操作系統(tǒng)的使用者,在多數(shù)情況下不需要考慮磁盤的碎片化;
- 固態(tài)硬盤的隨機(jī)讀寫性能遠(yuǎn)遠(yuǎn)好于機(jī)械硬盤,隨機(jī)讀寫和順序讀寫雖然也有性能差異,但是沒有機(jī)械硬盤的差異巨大,而頻繁的碎片整理也會(huì)影響固態(tài)硬盤的使用壽命;