學(xué)習(xí)一項(xiàng)技術(shù)最好的方法就是實(shí)際操練一把，但是一般人很難接觸到SAN存儲(chǔ)。主要是SAN存儲(chǔ)一般是非常專業(yè)的存儲(chǔ)系統(tǒng)，通常比較大型的企業(yè)才會(huì)使用。而且一般也是用于關(guān)鍵業(yè)務(wù)，所以一般人是很難接觸到SAN存儲(chǔ)的。

如下圖是EMC公司中端存儲(chǔ)Unity的一個(gè)GUI界面。左側(cè)是導(dǎo)航欄，可以看出功能還是比較豐富的。主要是因?yàn)閁nity其實(shí)不僅僅是一個(gè)SAN存儲(chǔ)，而是融合SAN和NAS的統(tǒng)一存儲(chǔ)系統(tǒng)。

前文說(shuō)了，存儲(chǔ)系統(tǒng)雖然功能豐富，但是我們一般人是接觸不到的。即使一個(gè)低配置的Unity都要大幾十萬(wàn)，所以也不可能自己買一個(gè)這樣的存儲(chǔ)系統(tǒng)來(lái)學(xué)習(xí)。那么如果想學(xué)習(xí)存儲(chǔ)技術(shù)怎么辦呢？

圖片

得益于開(kāi)源社區(qū)，我們可以借助一些開(kāi)源項(xiàng)目來(lái)學(xué)習(xí)存儲(chǔ)相關(guān)的技術(shù)。如下圖是TrueNAS的一個(gè)GUI，可以看出其界面布局和基本功能與Unity有很多相似的地方。TrueNAS是一個(gè)免費(fèi)的存儲(chǔ)系統(tǒng)軟件，我們可以在網(wǎng)上下載其安裝鏡像，并將其安裝在虛擬機(jī)當(dāng)中。TrueNAS基于FreeBSD操作系統(tǒng)，其存儲(chǔ)功能基于ZFS文件系統(tǒng)實(shí)現(xiàn)。TrueNAS發(fā)源于FreeNAS，最早實(shí)現(xiàn)了NAS功能，現(xiàn)在不僅僅NAS，還可以支持SAN。也就是說(shuō)，其實(shí)TrueNAS目前是一個(gè)統(tǒng)一存儲(chǔ)系統(tǒng)了。

圖片

TrueNAS的存儲(chǔ)功能基于ZFS文件系統(tǒng)實(shí)現(xiàn)，ZFS是一個(gè)功能非常強(qiáng)大的文件系統(tǒng)。他不僅僅是一個(gè)文件系統(tǒng)，他能對(duì)多個(gè)硬盤實(shí)現(xiàn)池化管理，而且可以在池上創(chuàng)建邏輯卷。同時(shí)，他支持快照等高級(jí)功能。如圖所示Storage是存儲(chǔ)管理相關(guān)的功能，在這里我們可以基于硬盤創(chuàng)建一個(gè)存儲(chǔ)池，并且在存儲(chǔ)池的基礎(chǔ)上創(chuàng)建邏輯卷。

圖片

有了邏輯卷就相當(dāng)于有了存儲(chǔ)資源，然后我們就可以將存儲(chǔ)資源導(dǎo)出，客戶端通過(guò)網(wǎng)絡(luò)就可以訪問(wèn)我們的存儲(chǔ)資源了。在GUI的導(dǎo)航欄，Sharing目錄是協(xié)議相關(guān)的配置功能，通過(guò)這里的配置可以將存儲(chǔ)資源導(dǎo)出。我們可以看到這里既包含SAN相關(guān)的協(xié)議（如iSCSI），也包含NAS相關(guān)的協(xié)議（如AFP和NFS等）。

圖片

可以說(shuō)TrueNAS功能是非常強(qiáng)大的，但是我們并不打算深入介紹他，主要是這個(gè)系統(tǒng)基于FreeBSD實(shí)現(xiàn)，使用不太普遍，不便于后續(xù)深入學(xué)習(xí)。為了方便大家后續(xù)學(xué)習(xí)，我們這里不再繼續(xù)介紹TrueNAS，而是以Linux操作系統(tǒng)及其下的軟件為例進(jìn)行介紹。

在Linux下有很多開(kāi)源的軟件，完全可以組建一個(gè)類似的功能。如果想構(gòu)建一個(gè)IP-SAN環(huán)境，主要的軟件是啟動(dòng)器軟件和目標(biāo)器軟件。本節(jié)我們介紹一下如何基于Linux的開(kāi)源軟件構(gòu)建一個(gè)IP-SAN存儲(chǔ)系統(tǒng)。

IP-SAN基于以太網(wǎng)構(gòu)建，所以從拓?fù)渖蟻?lái)說(shuō)至少應(yīng)該包含兩臺(tái)計(jì)算機(jī)，一個(gè)充當(dāng)存儲(chǔ)系統(tǒng)的角色，其上運(yùn)行目標(biāo)器軟件；另外一個(gè)充當(dāng)計(jì)算節(jié)點(diǎn)，其上運(yùn)行啟動(dòng)器軟件，具體如下圖所示。當(dāng)然，這兩臺(tái)計(jì)算機(jī)也是可以合并為一臺(tái)的。

圖片

Linux環(huán)境下開(kāi)源的目標(biāo)器軟件很多，比較有名的如LIO、SCST和TGT等。本文就以TGT為例進(jìn)行介紹，其原因在于TGT是一個(gè)用戶態(tài)的軟件，門檻比較低，方便我們進(jìn)一步的學(xué)習(xí)。大家可以自行從github下載TGT的源代碼并進(jìn)行編譯（不需要安裝），本文不再贅述。

作者這里代碼在/root/tgt目錄中。同時(shí)我們需要用一個(gè)100MB文件來(lái)模擬存儲(chǔ)端的一個(gè)邏輯卷，具體生成文件的方法如下：

dd if=/dev/zero of=./lun bs=1M count=100

完成資源的準(zhǔn)備后，我們首先需要將tgt程序運(yùn)行起來(lái)，運(yùn)行起來(lái)也比較簡(jiǎn)單，執(zhí)行編譯完成的程序即可。

./usr/tgtd

軟件啟動(dòng)起來(lái)后，我們就可以進(jìn)行目標(biāo)器端的配置了。主要分為三步，分別是創(chuàng)建目標(biāo)器、創(chuàng)建LUN和關(guān)聯(lián)目標(biāo)器與LUN。

1） 創(chuàng)建目標(biāo)器，具體命令如下

./usr/tgtadm --lld iscsi --op new --mode target --tid 1 -T iqn.1996-05.com.redhat:target.zhang

上述命令的有些選項(xiàng)意義還是比較明確的。這里需要說(shuō)的的是tid是目標(biāo)器ID（target ID），T是目標(biāo)器名稱。

2） 創(chuàng)建LUN，具體命令如下

./usr/tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 -b /root/tgt/lun

想目標(biāo)器添加LUN。這里是想我們前面創(chuàng)建的目標(biāo)器中添加一個(gè)LUN，LUN ID是1，具體存儲(chǔ)數(shù)據(jù)的單元是一個(gè)普通文件/root/tgt/lun。

3）綁定啟動(dòng)器地址，這個(gè)本身相當(dāng)于權(quán)限管理，定義允許訪問(wèn)該目標(biāo)器的IP地址。為了簡(jiǎn)單，我們這里允許所有的IP訪問(wèn)該目標(biāo)器，具體命令如下：

./usr/tgtadm --lld iscsi --mode target --op bind --tid 1 -I ALL

完成上述配置后，啟動(dòng)器端就可以訪問(wèn)了。其實(shí)啟動(dòng)器可以是Windows操作系統(tǒng)上的軟件，也可以是Linux上軟件。以Windows上的軟件為例，在啟動(dòng)器軟件中輸入目標(biāo)器的IP地址，然后點(diǎn)擊“快速連接”就可以建立與目標(biāo)器的連接了。

圖片

完成連接后，我們就可以在磁盤管理里面發(fā)現(xiàn)系統(tǒng)多出一塊硬盤。打開(kāi)“磁盤管理”的方法是“Windows” + X。此時(shí)可以看到一個(gè)菜單，其中某一項(xiàng)為“磁盤管理”。

圖片

如下圖所示為“磁盤管理”的管理界面。從界面上可以看到多出一塊100MB的硬盤。這個(gè)硬盤其實(shí)就是目標(biāo)器端我們創(chuàng)建的那個(gè)文件。從這里來(lái)看，我們看不出這塊硬盤與本地硬盤有任何差異。

圖片

這個(gè)硬盤雖然可以在“磁盤管理”里面看到，但是在“我的電腦”里面并看不到。需要我們做一些基本的操作才可以。如下圖所示，右擊左側(cè)的文字可以彈出一個(gè)菜單，我們可以點(diǎn)擊“初始化磁盤”對(duì)該硬盤進(jìn)行初始化。

圖片

初始化完成后可以基于該硬盤創(chuàng)建一個(gè)卷，這樣才能在“我的電腦”看到該硬盤，并可以進(jìn)行訪問(wèn)。

圖片

在Linux操作系統(tǒng)下面需要命令行的工具完成相同的功能。這兩行命令的作用是發(fā)現(xiàn)目標(biāo)器，登錄到目標(biāo)器。

iscsiadm -m discovery -t sendtargets -p 192.168.2.194:3260
iscsiadm -m node –T iqn.1996-05.com.redhat:target.zhang -p 192.168.2.194 -l

登錄成功后可以看到多出一個(gè)100MB的硬盤。我們就可以直接使用這個(gè)硬盤了。與Windows環(huán)境不同，這里不需要對(duì)硬盤做初始化的操作。

圖片

經(jīng)過(guò)上述配置后，實(shí)際上實(shí)現(xiàn)了將服務(wù)端的一個(gè)文件映射到客戶端變成了一個(gè)硬盤，具體可以通過(guò)下圖說(shuō)明說(shuō)明。

圖片

對(duì)于IP-SAN來(lái)說(shuō)，我們集中需要學(xué)習(xí)的自然是iSCSI協(xié)議。有了這個(gè)環(huán)境，學(xué)習(xí)iSCSI協(xié)議就相對(duì)簡(jiǎn)單和直觀了。如果沒(méi)有這個(gè)環(huán)境，我們可以通過(guò)閱讀RFC來(lái)學(xué)習(xí)iSCSI協(xié)議，這種方式過(guò)于抽象和單調(diào)。有了這個(gè)環(huán)境，我們就可以通過(guò)WireShark來(lái)抓包。如下圖是作者抓的登錄過(guò)程的數(shù)據(jù)包，可以看到在該過(guò)程中涉及的CDB。

圖片

我們?cè)倥e一個(gè)具體的例子，比如我們?cè)贚inux直接通過(guò)dd命令將tgt中的Makefile文件拷貝到硬盤當(dāng)中。如下是這個(gè)Makefile的文件的內(nèi)容，執(zhí)行如下命令可以實(shí)現(xiàn)數(shù)據(jù)拷貝。

dd if=./Makefile of=/dev/sdb

圖片

在執(zhí)行dd命令之前我們需要啟動(dòng)WireShark來(lái)捕獲數(shù)據(jù)包。如下是我們捕獲到的數(shù)據(jù)包的內(nèi)容，可以看到數(shù)據(jù)包中的內(nèi)容與文件內(nèi)容的關(guān)系。當(dāng)然，iSCSI命令本身是比較復(fù)雜的，我們后續(xù)會(huì)對(duì)每一個(gè)命令和tgt的源代碼進(jìn)行解析，讓大家對(duì)iSCSI有一個(gè)比較深入的理解，這里的理解包括命令、體系結(jié)構(gòu)和代碼實(shí)現(xiàn)等多個(gè)層面。         

圖片