[[165649]]

做技術(shù)的朋友可能有過(guò)類似這樣的感覺(jué)——每天都會(huì)遇到新的問(wèn)題，或者學(xué)到新的知識(shí)。然而一個(gè)人的時(shí)間和精力畢竟有限，不是所有的崗位都能做到總是親力親為，每人最擅長(zhǎng)的領(lǐng)域也各不相同。為了使工程師自己踩過(guò)的坑、那些實(shí)用的心得體會(huì)也能給大家?guī)?lái)幫助，把經(jīng)驗(yàn)記錄和分享出來(lái)就顯得尤為可貴，這就是我們開設(shè)《工程師筆記》專欄的目的。

[[165650]]

[[165651]]

最近碰到客戶問(wèn)有關(guān)Linux系統(tǒng)下磁盤亂序的問(wèn)題，整理了一下供各位參考。個(gè)人觀點(diǎn)，紕漏之處，還請(qǐng)不吝指正~

在戴爾PowerEdge 11G和12G服務(wù)器上，由于LSI（如今的Avago）當(dāng)時(shí)的控制器微碼、驅(qū)動(dòng)以及對(duì)應(yīng)Linux kernel 的版本支持問(wèn)題，確實(shí)出現(xiàn)過(guò)這種狀況（具體涉及到兩種SAS HBA/RAID卡: PERC H200（LSI 9211-8i）和 LSI 9207）。此問(wèn)題在使用了LSI 對(duì)應(yīng)直通SAS控制器芯片的服務(wù)器上均會(huì)出現(xiàn)，與服務(wù)器廠商并無(wú)直接關(guān)系。結(jié)論是客戶提到的“磁盤亂序”情況確實(shí)是存在過(guò)的。

盡管當(dāng)時(shí)的影響不小，圈中也小有轟動(dòng)，但LSI很快通過(guò)Firmware和kernel驅(qū)動(dòng)解決掉了。

當(dāng)前戴爾全線服務(wù)器（13G/12G等），PERC H330（LSI 3008 芯片）、H730/P（LSI 3108 芯片）或是外部端口的12Gbps SAS Ext. HBA等，均不存在磁盤亂序的問(wèn)題。

所以，在不存在Firmware或驅(qū)動(dòng)bug的情況下，系統(tǒng)識(shí)別磁盤設(shè)備順序會(huì)按照總線及驅(qū)動(dòng)加載順序進(jìn)行。從前向后，或從后向前，總之是規(guī)則有序的，不能稱為“亂”序。

Linux kernel指派sdx為設(shè)備名對(duì)應(yīng)磁盤的方式其實(shí)很早就已經(jīng)不推薦了。大約在2.6.13 Kernel版本以后，為保證persistent naming（持久的命名），udev默認(rèn)會(huì)在/dev目錄下創(chuàng)建by-lable、by-uuid 等目錄，通過(guò)磁盤唯一的標(biāo)識(shí)方式創(chuàng)建symbolic link（符號(hào)連接）來(lái)指向?qū)嶋H的設(shè)備節(jié)點(diǎn)。

結(jié)合服務(wù)器上的RAID控制器，當(dāng)用戶既要配置JBOD又要配置RAID時(shí)，JBOD的每塊磁盤其實(shí)是最先被系統(tǒng)識(shí)別到的，優(yōu)先級(jí)最高；然后按照磁盤slot ID 依次排序。如果同時(shí)配置了Raid VD，均會(huì)被靠后識(shí)別，排至JBOD最后一塊磁盤的后面。

舉個(gè)實(shí)際的例子如下:

戴爾一款16個(gè)硬盤槽位的服務(wù)器機(jī)型，當(dāng)slot 0,1上的硬盤做RAID 1為第一個(gè)VD0，slot 12-slot 15 硬盤做RAID 6 為第二個(gè)VD1；其余槽位硬盤slot 2-slot 11 均做JBOD。這樣，做JBOD 的第一塊盤即slot2 槽位的磁盤將會(huì)是dev/sda，以此類推直到JBOD 全部磁盤按順序分配，之后才開始為RAID 第一組VD 進(jìn)行分配。即VD0 會(huì)是dev/sdk，VD1 為/dev/sdl。

如果客戶仍然希望用 sdX 的方式來(lái)對(duì)應(yīng)磁盤物理順序，有一個(gè)變通的辦法，就是需要通過(guò)手工改動(dòng)/etc/udev/rules.d 文件的方式來(lái)實(shí)現(xiàn)。

具體可參考如下：

KERNEL=="sda*" NAME="sdb%n" 

KERNEL=="sdb*" NAME="sdc%n" 

KERNEL=="sdc*" NAME="sdd%n" 

KERNEL=="sdd*" NAME="sde%n" 

KERNEL=="sde*" NAME="sdf%n" 

KERNEL=="sdf*" NAME="sdg%n" 

KERNEL=="sdg*" NAME="sdh%n" 

KERNEL=="sdh*" NAME="sdi%n" 

KERNEL=="sdi*" NAME="sdj%n" 

KERNEL=="sdj*" NAME="sdk%n" 

KERNEL=="sdk*" NAME="sda%n" 

但是要注意，這種方式有很大的局限性。一旦RAID配置改變，增減VD或者JBOD磁盤的增減都會(huì)造成人為亂序的情況。

綜上所述，我們?nèi)匀唤ㄗh引導(dǎo)客戶接受采用By uuid（綁定）或By lable的方式來(lái)管理。

具體可參見(jiàn)：《Persistent block device naming》https://wiki.archlinux.org/index.php/Persistent_block_device_naming#Persistent_naming_methods

✉

不知您看完本文有什么感想，是否有幫助呢？如果您對(duì)《工程師筆記》欄目有任何的意見(jiàn)或者建議，都可以在文章下面留言，以便我們將來(lái)能夠更好地為讀者服務(wù)。