書接上周，且看龍哥說的“1小時(shí)部署Server SAN”怎么實(shí)現(xiàn)！

“Server SAN和超融合系統(tǒng)，在部署上有什么區(qū)別？”龍哥問道。

看我不知從何說起，龍哥：Server SAN是把用于替代傳統(tǒng)SAN的軟件定義存儲(chǔ)（SDS）部署在多個(gè)物理節(jié)點(diǎn)上，超融合則是在虛擬化環(huán)境中進(jìn)行類似的部署。

是說超融合系統(tǒng)多了個(gè)部署虛擬化環(huán)境的環(huán)節(jié)“一小時(shí)”能做完這些么？想想我給辦公室搭一臺(tái)文件共享的NAS，還花了一天的時(shí)間，這涉及到多個(gè)節(jié)點(diǎn)的Server SAN和超融合，雖說有可以并行的環(huán)節(jié)，真能在一小時(shí)內(nèi)搞定？

傳統(tǒng)企業(yè)級(jí)生產(chǎn)環(huán)境的部署始終是一個(gè)費(fèi)時(shí)耗力的過程，按照傳統(tǒng)方式部署一套企業(yè)級(jí)虛擬化平臺(tái)，怎么著也得好幾天，這還算小型環(huán)境。大型環(huán)境花的時(shí)間就不能以天來計(jì)算了……

龍哥見我不信，就問：“就這套系統(tǒng)，從上架、加電到現(xiàn)在準(zhǔn)備就緒，用了多長(zhǎng)時(shí)間？”

“大約半個(gè)小時(shí)吧？”

“實(shí)際上還可以更短時(shí)間。”龍哥堅(jiān)定地說，“FX2采用模塊化設(shè)計(jì)，所有組件齊備，上電就可以使用，甚至不需要外接交換機(jī)。實(shí)際上，你只要接通電源，然后花2分鐘分配好FD332直連存儲(chǔ)模塊和PCIe插槽，就可以開始部署了。”

說干就干，龍哥通過iDRAC依次給三個(gè)FC630節(jié)點(diǎn)掛載上CentOS 7.2系統(tǒng)鏡像，然后開始安裝。因?yàn)橹皇且粋€(gè)小型環(huán)境，所以手動(dòng)完成這些并不復(fù)雜。龍哥提醒說：“如果規(guī)模比較大，可以用Dell OpenManage或第三方工具來進(jìn)行統(tǒng)一的安裝、部署和管理，就是上百臺(tái)服務(wù)器，也可以批量完成系統(tǒng)安裝。”

20分鐘CentOS系統(tǒng)安裝完畢

龍哥又通過iDRAC將另外一個(gè)鏡像掛載到FC630上面：“這是XSKY的X-EBS安裝鏡像。基于Ceph的商業(yè)化SDS產(chǎn)品，一鍵安裝，很方便。”

X-EBS安裝很快，10分鐘

龍哥通過瀏覽器登錄了X-EBS的管理后臺(tái)，將另外兩臺(tái)FC630節(jié)點(diǎn)上的存儲(chǔ)資源（各分配了FD332的一半硬盤）加入到同一個(gè)資源池。

添加存儲(chǔ)節(jié)點(diǎn)和硬盤，上圖可以看到，在node01上添加了8塊磁盤和一塊NVMe SSD。雖然兩種轉(zhuǎn)速（15k RPM和10k RPM）的磁盤性能有差異，但在SSD的性能面前，這點(diǎn)差異完全可以忽略不計(jì)。

當(dāng)3臺(tái)X-EBS Controller虛擬機(jī)與對(duì)應(yīng)存儲(chǔ)都添加進(jìn)來之后，就開始設(shè)置存儲(chǔ)資源池了：

將分布在3個(gè)節(jié)點(diǎn)上的NVMe SSD添加到一個(gè)資源池（High-pool）內(nèi)，并將副本數(shù)設(shè)置為2（X-EBS提供了三種選擇，分別為1、2、3副本）。

設(shè)置好資源池之后，再創(chuàng)建相應(yīng)的卷（Volume），Server SAN就可以對(duì)外提供存儲(chǔ)服務(wù)啦。

點(diǎn)擊“創(chuàng)建塊存儲(chǔ)卷”，然后輸入名稱并分配容量大小

龍哥不緊不慢地說：“應(yīng)用服務(wù)器（計(jì)算節(jié)點(diǎn)）可以通過兩種方式訪問Server SAN提供的存儲(chǔ)服務(wù)：***種是在應(yīng)用服務(wù)器上安裝一個(gè)類似Agent的客戶端，進(jìn)行數(shù)據(jù)傳輸，XSKY的X-CBS就屬于這一種；X-EBS屬于第二種，可以通過標(biāo)準(zhǔn)的iSCSI接口跨網(wǎng)絡(luò)訪問。在需要存儲(chǔ)服務(wù)的（計(jì)算）節(jié)點(diǎn)上安裝iSCSI客戶端，然后會(huì)生成一個(gè)iSCSI的iqn號(hào)碼；在X-EBS后臺(tái)管理界面中添加對(duì)應(yīng)的客戶端，將服務(wù)器節(jié)點(diǎn)的iqn號(hào)碼填入，即可分配存儲(chǔ)服務(wù)。第二種方法，接下來在VMware環(huán)境中的部署就會(huì)用到。”

[[199416]] 

“Server SAN的安裝這就完成了？還沒在計(jì)算節(jié)點(diǎn)上配置訪問呢。”我看龍哥已經(jīng)準(zhǔn)備將剛搭建好的這套Server SAN系統(tǒng)鏟掉了。

“通常我們說到Server SAN，默認(rèn)是指一種計(jì)算和存儲(chǔ)分離部署的架構(gòu)，也就是提到FX2時(shí)經(jīng)常說的‘融合架構(gòu)’。既然是分離部署，部署Server SAN就是存儲(chǔ)端的任務(wù)，不用涉及計(jì)算節(jié)點(diǎn)。”龍哥還是很淡定，“接下來不是要部署超融合么？肯定會(huì)讓你看到計(jì)算節(jié)點(diǎn)上的部署——當(dāng)然，在虛擬化環(huán)境中，是會(huì)更方便一點(diǎn)兒。”

“超融合是不是可以理解為，把Server SAN部署在虛擬化環(huán)境中，與應(yīng)用跑在一起？”

龍哥笑道：“Server SAN是超融合的基石，可以說超融合代表了Server SAN的一種使用場(chǎng)景——本來超融合架構(gòu)就是融合架構(gòu)的一個(gè)子集。當(dāng)Server SAN單獨(dú)使用時(shí)，就是將存儲(chǔ)控制器（軟件功能）直接安裝在物理服務(wù)器上。而在超融合系統(tǒng)中的Server SAN，則是將存儲(chǔ)控制器部署在虛擬機(jī)或者h(yuǎn)ypervisor之中。雖然形態(tài)不同，但本質(zhì)上沒有明顯差別。所以，你的理解基本正確。”

Server SAN與超融合的架構(gòu)區(qū)別，主流超融合比Server SAN多了一個(gè)虛擬化層，其上VM不但有分布式存儲(chǔ)控制器，還可以有其他應(yīng)用VM。

聽龍哥梳理Server SAN與超融合架構(gòu)的血緣關(guān)系，我才理解他以前所說“企業(yè)用戶對(duì)Server SAN的接受度很大程度上是拜超融合所賜”的含義。既然在3個(gè)節(jié)點(diǎn)上部署Server SAN真的用不了1個(gè)小時(shí)，部署超融合也只是多了安裝hypervisor的時(shí)間而已吧？

龍哥呵呵一笑：“超融合能有多難？也就1個(gè)小時(shí)的事兒！”我當(dāng)然舉雙手贊成。還用這套Dell PowerEdge FX2，龍哥開始將其部署為一套超融合系統(tǒng)。

[[199417]] 

安裝VMware vSphere虛擬化平臺(tái)的過程無需多言，龍哥依次在三個(gè)FC630節(jié)點(diǎn)上安裝ESXi 6.2 hypervisor——這一步可以并行化，所以時(shí)間并不算長(zhǎng)。然后用Windows Server 2012 R2操作系統(tǒng)構(gòu)建兩臺(tái)虛擬機(jī)，分別用于Active Directory和vCenter Server。接著登陸vCenter將三臺(tái)ESXi主機(jī)添加到同一個(gè)集群。

同時(shí)，還需要將ESXi主機(jī)上的NVMe SSD和FD332設(shè)置為直通模式，用于安裝XSKY X-EBS。如下圖所示：

將FD332的8塊磁盤（即上圖紅框中的LSI FD332 PERC）和NVMe SSD（上圖中的Unknown Non-Volatile Memory Controller）勾選設(shè)置為直通模式。

[[199418]] 

安裝完虛擬化平臺(tái)之后，就可以安裝XSKY X-EBS分布式存儲(chǔ)軟件了。

首先，要在每臺(tái)ESXi主機(jī)上都創(chuàng)建一臺(tái)虛擬機(jī)，并安裝CentOS 7.x操作系統(tǒng)，用于XSKY X-EBS的分布式控制器——X-EBS Controller。這種虛擬機(jī)，在超融合系統(tǒng)中通常被稱為CVM（Controller  Virtual  Machine，控制虛機(jī)）。為了讓CVM高效的處理存儲(chǔ)I/O，需要將ESXi主機(jī)上的存儲(chǔ)資源——NVMe SSD和FD332存儲(chǔ)——直通（pass-through）給對(duì)應(yīng)的X-EBS Controller，如下圖所示：

將ESXi主機(jī)上的NVMe SSD和FD332存儲(chǔ)直通給對(duì)應(yīng)的X-EBS Controller，可以看到FD332被識(shí)別為Dual ROC（RAID on Chip），也就是Dual PERC，只是在SDS的場(chǎng)景下，我們不啟用其RAID功能。

X-EBS本身的安裝，與前面在物理環(huán)境下部署Server SAN的對(duì)應(yīng)環(huán)節(jié)基本相同，此處不再重復(fù)。少數(shù)不同之處主要是虛擬化環(huán)境造成的，這里面有一些便利，譬如：龍哥在安裝vCenter服務(wù)器之后，先創(chuàng)建一個(gè)CentOS虛擬機(jī)，配置好并克隆成模板。在安裝X-EBS分布式控制器的時(shí)候，直接用這個(gè)模板虛機(jī)部署三個(gè)節(jié)點(diǎn)上的存儲(chǔ)控制器，時(shí)間大幅節(jié)省。

X-EBS支持標(biāo)準(zhǔn)iSCSI協(xié)議，也就是說，其他主機(jī)（包括ESXi主機(jī)、虛擬機(jī)或者其他物理主機(jī)）無需安裝Agent即可使用其提供的存儲(chǔ)服務(wù)。比如，將這個(gè)名為L(zhǎng)UN1的卷提供給ESXi主機(jī)使用。

首先，在需要添加存儲(chǔ)的ESXi主機(jī)上添加iSCSI適配器，獲得iqn號(hào)，如下圖所示：

在ESXi主機(jī)上添加iSCSI適配器，獲得一個(gè)iqn，如上圖紅框所示。

然后返回到X-EBS管理界面，創(chuàng)建一個(gè)iSCSI訪問客戶端，然后在提示輸入iqn的空白框中輸入ESXi主機(jī)的iqn。并將LUN1映射到這個(gè)iSCSI客戶端上，如下圖：

然后回到ESXi主機(jī)上，在配置界面選擇存儲(chǔ)器，然后添加存儲(chǔ)器即可，如下圖所示：

這套基于Dell PowerEdge FX2硬件、VMware vSphere虛擬化平臺(tái)和XSKY X-EBS分布式存儲(chǔ)的超融合系統(tǒng)就構(gòu)建完成了。其中FX2提供了基礎(chǔ)的計(jì)算和存儲(chǔ)硬件（還有內(nèi)部或外接交換機(jī)），vSphere整合了計(jì)算資源，X-EBS則整合了存儲(chǔ)資源。整個(gè)超融合構(gòu)建步驟看起來比較多，但過程并不復(fù)雜，而且主要集中在軟件環(huán)節(jié)，就連FX2節(jié)點(diǎn)之間的存儲(chǔ)硬件分配也只需動(dòng)動(dòng)鼠標(biāo)即可，大幅簡(jiǎn)化了存儲(chǔ)的安裝和管理。

構(gòu)建整套超融合系統(tǒng)只用了一個(gè)多小時(shí)，而且大部分時(shí)間都花在安裝vSphere虛擬化平臺(tái)上。如果這些虛擬化環(huán)境已經(jīng)事先準(zhǔn)備好，在其上部署X-EBS并構(gòu)成一套簡(jiǎn)易的超融合系統(tǒng)，根本用不到1個(gè)小時(shí)。

工作做完了！

來杯咖啡，想想有什么新的idea？