[[268180]]

 1、何為SAN網(wǎng)絡(luò)

 

• 百度百科：

存儲(chǔ)區(qū)域網(wǎng)絡(luò)(Storage Area Network，簡(jiǎn)稱(chēng)SAN)采用網(wǎng)狀通道(Fibre Channel ，簡(jiǎn)稱(chēng)FC，區(qū)別與Fiber Channel光纖通道)技術(shù)，通過(guò)FC交換機(jī)連接存儲(chǔ)陣列和服務(wù)器主機(jī)，建立專(zhuān)用于數(shù)據(jù)存儲(chǔ)的區(qū)域網(wǎng)絡(luò)。SAN經(jīng)過(guò)十多年歷史的發(fā)展，已經(jīng)相當(dāng)成熟，成為業(yè)界的事實(shí)標(biāo)準(zhǔn)(但各個(gè)廠商的光纖交換技術(shù)不完全相同，其服務(wù)器和SAN存儲(chǔ)有兼容性的要求)。

SAN專(zhuān)注于企業(yè)級(jí)存儲(chǔ)的特有問(wèn)題。當(dāng)前企業(yè)存儲(chǔ)方案所遇到問(wèn)題的兩個(gè)根源是：數(shù)據(jù)與應(yīng)用系統(tǒng)緊密結(jié)合所產(chǎn)生的結(jié)構(gòu)性限制，以及小型計(jì)算機(jī)系統(tǒng)接口(SCSI)標(biāo)準(zhǔn)的限制。大多數(shù)分析都認(rèn)為SAN是未來(lái)企業(yè)級(jí)的存儲(chǔ)方案，這是因?yàn)镾AN便于集成，能改善數(shù)據(jù)可用性及網(wǎng)絡(luò)性能，而且還可以減輕管理作業(yè)。

• 個(gè)人理解：

來(lái)自百度百科的解釋看起來(lái)永遠(yuǎn)是那么晦澀難懂，但畢竟是所謂的官方定義。下面主要聊聊SAN 網(wǎng)絡(luò)在我的眼中是一個(gè)什么樣的存在：

SAN網(wǎng)絡(luò)(Storage Area Network，簡(jiǎn)稱(chēng)SAN)，顧名思義就是存儲(chǔ)區(qū)域網(wǎng)絡(luò)，SAN網(wǎng)絡(luò)最初主要是指FC-SAN，當(dāng)然發(fā)展到現(xiàn)階段目前常見(jiàn)的SAN有FC-SAN和IP-SAN，還有IB-SAN，其中FC-SAN為通過(guò)光纖通道協(xié)議轉(zhuǎn)發(fā)SCSI協(xié)議，IP-SAN通過(guò)TCP協(xié)議轉(zhuǎn)發(fā)SCSI協(xié)議。這里咱們主要的聊的主要內(nèi)容就是FC-SAN。

想到SAN聯(lián)想到一幅圖片，多個(gè)主機(jī)通過(guò)光纖交換機(jī)連接后端存儲(chǔ)和帶庫(kù)等設(shè)備，至于說(shuō)如何連接那還是需要看具體需求，如圖所示。

 

后續(xù)的內(nèi)容都將基于這一張圖展開(kāi)，SAN的運(yùn)維過(guò)程當(dāng)中，我們應(yīng)該基于這張圖進(jìn)行完善和調(diào)優(yōu)。

2、SAN的網(wǎng)絡(luò)組成

結(jié)合第一章節(jié)的最后的一張圖進(jìn)行分解，SAN網(wǎng)絡(luò)以下幾部分組成：主機(jī)層，交換層，存儲(chǔ)層，另外還有SAN 網(wǎng)絡(luò)的監(jiān)控。下面我們就基于以上幾個(gè)部分分別來(lái)說(shuō)明一下SAN網(wǎng)絡(luò)的中的具體細(xì)節(jié)。

2.1 主機(jī)層

任何san網(wǎng)絡(luò)的最終目的都是為上層業(yè)務(wù)系統(tǒng)搭建一個(gè)支撐平臺(tái)，存儲(chǔ)數(shù)據(jù)。因?yàn)闃I(yè)務(wù)系統(tǒng)是OS上面，底層的硬件部分就是主機(jī)部分，不管是虛擬化環(huán)境還是物理機(jī)。直接與SAN網(wǎng)絡(luò)打交道的還是要通過(guò)物理硬件連接，后續(xù)才有虛擬化平臺(tái)的進(jìn)一步設(shè)置。

主機(jī)層面主要分兩大陣營(yíng)：X86和小型機(jī) ，由于技術(shù)不斷成熟和業(yè)務(wù)方案的有更多更好的選擇的前提下，X86 陣營(yíng)有了長(zhǎng)足的發(fā)展，亦有可能會(huì)是壓倒性的趨勢(shì)。

主機(jī)設(shè)備市場(chǎng)上有很多品牌，此處不一一列舉，主機(jī)要想連接SAN網(wǎng)絡(luò)，需要配置主機(jī)的端的HBA卡，常見(jiàn)的廠商主要有emulx，qlogic，IBM，DELL，Brocade 等，下面貼上Emulex和QLogic的卡。

如圖所示：

 

企業(yè)當(dāng)中使用的主機(jī)HBA卡，一般來(lái)說(shuō)都是LC接口的，由于交換機(jī)大多也都是LC 接口類(lèi)型的，所以我們使用光纖大多l(xiāng)c-lc 類(lèi)型的。

HBA卡經(jīng)過(guò)了多年的發(fā)展，接口速率由原先的1GB，2GB，發(fā)展到前些年的4GB，8GB卡，再到近些年來(lái)的16GB，目前市場(chǎng)主流還是8GB和16GB的HBA卡，接口也從原先的單口卡發(fā)展為現(xiàn)在雙口和四口，市場(chǎng)上新下的訂單已經(jīng)很少再可以買(mǎi)到單口的卡，除非是庫(kù)存等。下面我貼一張F(tuán)C 發(fā)展的過(guò)程圖,這張圖也是從其他文章里發(fā)現(xiàn)的，感覺(jué)很清晰就收藏了。 

光纖線(xiàn)：

HBA卡要想連接光纖交換機(jī)，中間必須要有線(xiàn)纜，這里貼一張企業(yè)常用的LC—LC的接口的類(lèi)型的光纖線(xiàn)。

[[268183]] 

當(dāng)然光纖線(xiàn)接口類(lèi)型還有其他類(lèi)型，如SC，F(xiàn)C，ST等，但是常用的就是多模LC-LC 接口類(lèi)型。這里就不詳述單模和多模的區(qū)別，有興趣的可以直接度娘。

2.2 交換層

介紹了主機(jī)，HBA卡和光纖線(xiàn)之后，我們這一塊來(lái)介紹一下交換層這一塊的內(nèi)容，這其中核心部件就是FC光纖交換機(jī)和SFP 模塊。光纖交換機(jī)市場(chǎng)也是非常的雜亂，每個(gè)硬件廠商基本上都有自己的產(chǎn)品，這其中當(dāng)然有廠家獨(dú)立的技術(shù)產(chǎn)品，也有OEM過(guò)來(lái)的產(chǎn)品型號(hào)進(jìn)而推出的相關(guān)產(chǎn)品，下面就來(lái)用圖來(lái)展示一下目前各大主流廠商的產(chǎn)品及相互關(guān)系，如圖所示(最新產(chǎn)品請(qǐng)到相應(yīng)的官方網(wǎng)站查詢(xún))：

 

這里在專(zhuān)門(mén)一張圖展示一下Brocade 相應(yīng)的產(chǎn)品圖，最新的產(chǎn)品可以到相應(yīng)的官方網(wǎng)站查詢(xún)。

 

相信大家或多或少的接觸過(guò)不少光纖以太網(wǎng)交換機(jī)，一個(gè)小型的SAN網(wǎng)絡(luò)基本通過(guò)一個(gè)或幾個(gè)光纖交換機(jī)獨(dú)立工作或者級(jí)聯(lián)就可以支撐整個(gè)公司的SAN網(wǎng)絡(luò)環(huán)境，在一個(gè)特大型的SAN網(wǎng)絡(luò)當(dāng)中只靠光纖交換機(jī)的級(jí)聯(lián)就顯得非常的低效和故障隱患太高，這時(shí)就需要一個(gè)路由器(router)，大型TCP/IP 網(wǎng)絡(luò)需要路由器，大型的SAN網(wǎng)絡(luò)同樣也需要路由器，通過(guò)路由的功能來(lái)實(shí)現(xiàn)交換機(jī)之間的互聯(lián)與通訊，進(jìn)行形成一個(gè)大型和復(fù)雜的網(wǎng)絡(luò)。然而由于標(biāo)準(zhǔn)尚無(wú)明確的規(guī)定，導(dǎo)致各大廠商之間的路由出現(xiàn)了很多問(wèn)題，往往都是自家產(chǎn)品的相互路由有比較好的兼容性。

光纖交換機(jī)目前市場(chǎng)主流的是接口速率16GB和32GB，端口從8口到80 口，更多的端口需要可以支持插入背板的光纖交換機(jī)，以來(lái)擴(kuò)容端口的需求。產(chǎn)品可以參考上一張圖片，光纖交換機(jī)的購(gòu)買(mǎi)也可以按需購(gòu)買(mǎi)，激活和擴(kuò)容。也就是說(shuō)購(gòu)買(mǎi)一個(gè)光纖交換機(jī)，最初可以只是購(gòu)買(mǎi)適合業(yè)務(wù)需求1/4或者1/2端口配置，后續(xù)根據(jù)需要擴(kuò)容sfp模塊和激活的license 。

這里我貼上一張sfp模塊的截圖：

 

光纖交換機(jī)的使用方式在小型企業(yè)主要是獨(dú)立和級(jí)聯(lián)兩種方式。獨(dú)立自然就很好理解了，不和別的環(huán)境混用，這種情況下基本上用于環(huán)境比較小而且比較單一的時(shí)候，但凡有混合型需求：如需要接入的光纖交換機(jī)的主機(jī)數(shù)量很多，且很多時(shí)候需要冗余和共享，這個(gè)時(shí)候就需要考慮級(jí)聯(lián)，來(lái)擴(kuò)容交換機(jī)端口的數(shù)量。

2.2.1 級(jí)聯(lián)：

博科交換機(jī)級(jí)聯(lián)采用的是ISL方式，ISL是英文Inter-switch link的縮寫(xiě)，是用E-port端口將兩臺(tái)SAN交換機(jī)連接起來(lái)的一種方式。

那么在光纖交換機(jī)級(jí)聯(lián)的時(shí)候需要考慮幾個(gè)方面，要提前做好準(zhǔn)備，

1. 級(jí)聯(lián)的license

2. 交換機(jī)的微碼

3. Domain ID的設(shè)置

4. 級(jí)聯(lián)模式的選擇

曾經(jīng)做過(guò)的一個(gè)項(xiàng)目：

B80 分別級(jí)聯(lián)以上各個(gè)交換機(jī)，B80和B5K跑核心業(yè)務(wù)，B24跑開(kāi)發(fā)測(cè)試，交換機(jī)之間的級(jí)聯(lián)通過(guò)兩條線(xiàn)纜進(jìn)行，如圖所示。

 

級(jí)聯(lián)后B80 端口類(lèi)型如圖所示：

 

至于不同廠商之間的交換機(jī)之間的級(jí)聯(lián)如何做，那么首先需要查閱一下設(shè)備兼容手冊(cè)，盡量避免不同品牌交換機(jī)的直接的互聯(lián)，保持良好的兼容性。

2.2.2 Zone 設(shè)置

在交換機(jī)層面操作最多的就是zone的劃分設(shè)置，常見(jiàn)的zone的劃分方式有基于別名，端口和基于WWN。有關(guān)zone 設(shè)置，這里做一個(gè)簡(jiǎn)要的介紹，有關(guān)詳細(xì)的使用方法，可以查找相關(guān)文檔。

劃分zone 需要梳理的幾個(gè)步驟

1. Domain id 要設(shè)置

2. Zonecreate 創(chuàng)建zone

3. Cfgcreate 創(chuàng)建配置文件profile

4. 添加第2步創(chuàng)建的zone到第3步的創(chuàng)建的profile 當(dāng)中去

5. 保存配置profile

6. 激活profile,生效

其原理和實(shí)現(xiàn)大同小異，目前市場(chǎng)主流的就是博科和CISCO 兩大產(chǎn)品的zone 劃分設(shè)置，其配置方式有些區(qū)別，但是不難理解。CISCO的zone 主要是vsan，zoneset的概念，有過(guò)cicso操作經(jīng)驗(yàn)的兄弟應(yīng)該操作起來(lái)不是很陌生，下面這里分別基于博科和CISCO zone劃分舉兩個(gè)實(shí)例，以供參考：

(1) 博科

Zonecreate “power750_ds8100”,”1,20;1,0;1,1”

Cfgcreate “b80_config”

Cfgadd “b80_config”, “power750_ds8100”

Cfgsave

Cfgenable b80_config

(2) CISCO:

創(chuàng)建zone

conf t

zone name crm vsan 100

mem interface fc 1/20,fc 1/21,fc 1/22

exit

創(chuàng)建zoneset,zone加入zoneset

zoneset name zoneset_crm vsan 100

mem zone_crm

exit

激活zoneset

zoneset activate name zoneset_crm vsan 100

copy running-config startup-config

上面兩個(gè)小例子只是工作當(dāng)中zone劃分設(shè)置的一個(gè)小小的場(chǎng)景，希望對(duì)大家有所參考。有關(guān)交換機(jī)在運(yùn)維過(guò)程中，有很命令需要熟悉和掌握，這樣在故障診斷時(shí)就會(huì)比較節(jié)省時(shí)間，大家需要針對(duì)具體的交換機(jī)系列進(jìn)行積累，當(dāng)然利用監(jiān)控工具也是可以的。

2.3 存儲(chǔ)層

存儲(chǔ)層只是一個(gè)概括而已，主要是指連接在光纖交換機(jī)上用于提供數(shù)據(jù)存放的設(shè)備，如存儲(chǔ)設(shè)備，磁帶庫(kù)設(shè)備，NAS設(shè)備等。存儲(chǔ)設(shè)備大多都有2到多個(gè)控制器，控制器通過(guò)光纖設(shè)備連接到光纖交換機(jī)，在交換機(jī)上配置相應(yīng)的Zone,從而識(shí)別主機(jī)，映射到主機(jī)，最終完成主機(jī)設(shè)備存儲(chǔ)，帶庫(kù)等相關(guān)設(shè)備的操作。

存儲(chǔ)連接到光纖交換機(jī)：

• 存儲(chǔ)sfp一般的接口速率大多都是8GB或者16GB，速率都比較高。建議接到核心交換機(jī)上，以供大量主機(jī)使用
• 存儲(chǔ)上聯(lián)光纖交換機(jī)存儲(chǔ)控制器連線(xiàn)要保證冗余，每個(gè)控制建議至少上聯(lián)2跳線(xiàn)，4個(gè)線(xiàn)比較理想。

這一層設(shè)備其實(shí)沒(méi)有太多好講的，在SAN網(wǎng)絡(luò)擋住主要就是連接到Switch，識(shí)別到主機(jī)，劃分LUN映射給主機(jī)，其余什么邏輯組，lun條帶大小，快照等功能，咱們?cè)诖瞬蛔鲈敿?xì)介紹。

2.4 監(jiān)控層

監(jiān)控是運(yùn)維的一把利器，如何運(yùn)用好監(jiān)控是應(yīng)該是我們運(yùn)維的一件重要的事情，只有這樣才可以做到先人一步，快人一步，在這個(gè)數(shù)據(jù)為王時(shí)代，服務(wù)的好壞直接影響這未來(lái)的道路和方向。

其實(shí)監(jiān)控單獨(dú)拿到這里來(lái)說(shuō)是不太準(zhǔn)確的，也是不完整的，但是它是不可或缺的。在SAN運(yùn)維方面，除了大型公司和互聯(lián)網(wǎng)行業(yè)外，一般企業(yè)很少聽(tīng)說(shuō)有SAN這方面的監(jiān)控建議的。在此能分享一下社區(qū)會(huì)員有關(guān)這方面做的好的經(jīng)驗(yàn)。

產(chǎn)品選擇：

1. 開(kāi)源的有Stor2rrd，商業(yè)軟件有Brocade Network Advisor，IBM TPC，Solarwinds Storage Resource Monitor
2. Brocade Network Advisor + IBM TPC，Brocade Network Advisor選免費(fèi)模式
3. IBM TPC,HP SOM 國(guó)外貴缺乏定制化支持，國(guó)產(chǎn)也很多產(chǎn)品靈活，原理都是基于SMI-S、SNMP等采集設(shè)備配置數(shù)據(jù)
4. nagios zabbix cactic.

有關(guān)光纖交換機(jī)的監(jiān)控，其實(shí)如果可以使用產(chǎn)品廠商提供的相關(guān)產(chǎn)品應(yīng)該是最好的，有的產(chǎn)品可以做到基于主機(jī)鏈路，光纖交換機(jī)，存儲(chǔ)一條完整路徑的監(jiān)控，覆蓋范圍比較廣，實(shí)施起來(lái)也比較復(fù)雜，各位可以根據(jù)企業(yè)的需求去選擇。

存儲(chǔ)管理監(jiān)控：

目前存儲(chǔ)管理監(jiān)控都是基于SMI-S、SNMP、CLI等方式對(duì)設(shè)備進(jìn)行數(shù)據(jù)采集(包括配置、容量、性能、告警等)，目前這類(lèi)產(chǎn)品很多，各廠商都有區(qū)別在于設(shè)備支持兼容性。

功能：

1. 自動(dòng)SAN拓?fù)?/li>
2. 配置資產(chǎn)信息
3. 容量信息
4.  性能信息
5. 告警信息
6. 報(bào)表等

3、SAN 網(wǎng)絡(luò)運(yùn)維常見(jiàn)問(wèn)題

以下主要介紹來(lái)自社區(qū)交流的幾個(gè)比較典型的問(wèn)題。在此感謝：ACDante，潘延晟，aix7，crystalwmagic，oniontech ，fuwangrong 等各位兄弟分享。

1. SAN網(wǎng)絡(luò)連接線(xiàn)如何避免亂，如何規(guī)劃線(xiàn)路連接

布線(xiàn)離不開(kāi)機(jī)房機(jī)柜、交換機(jī)、設(shè)備的安裝規(guī)劃，根據(jù)自身環(huán)境制定最適合的規(guī)劃，比如設(shè)備安裝、交換機(jī)是EOR、MOR還是TOR架構(gòu)、是否有大對(duì)數(shù)光纖配線(xiàn)架都需要考慮，標(biāo)簽的記錄名稱(chēng)是否規(guī)范化，機(jī)柜、設(shè)備、交換機(jī)的名稱(chēng)規(guī)范化也需要考慮。

 

2. SAN環(huán)境下數(shù)據(jù)平滑遷移

在條件具備的情況下使用高級(jí)工具來(lái)配合我們完成遷移工作，遷移工具如：

1)命令

AIX平臺(tái)上的mirrorvg，migratepv，migratelp，mklvcopy，cplv，backup，restore等

2)存儲(chǔ)功能

快照，存儲(chǔ)復(fù)制，虛擬存儲(chǔ)網(wǎng)關(guān)等

3. SAN環(huán)境故障診斷

1)指示燈 (理解各種指示燈的意義)

2)是否是一個(gè)普遍還是獨(dú)立的問(wèn)題，例如io問(wèn)題 例： 曾經(jīng)遇到一個(gè)集群環(huán)境下多節(jié)點(diǎn)主機(jī)io 性能下降，其中最終問(wèn)題是由于ds8000 一個(gè)控制器問(wèn)題導(dǎo)致。

3)hba卡故障

例：存儲(chǔ)端出現(xiàn)告警燈亮，登錄storage manager 查看，出現(xiàn)鏈路切換，由于有過(guò)類(lèi)似經(jīng)驗(yàn)，直接定位是由于vmware 集群端主機(jī)其中hba卡異常導(dǎo)致，直接查看鏈路狀態(tài)和hba卡硬件狀態(tài)，配合查看交換機(jī)端口，很快就能定位故障hba

4)掃描問(wèn)題

例：曾經(jīng)配置一套集群，集群三個(gè)節(jié)點(diǎn)，vmware 環(huán)境，添加存儲(chǔ)器，掃描異常緩慢，本應(yīng)幾秒鐘就可以完成的操作持續(xù)了將近1分鐘，使用效果不好，表現(xiàn)在io和反應(yīng)問(wèn)題。最終更換hba卡，掃描立刻正常，各方面均OK。

5)交換機(jī)連接異常

例：曾經(jīng)通過(guò)ssh連接配置B24設(shè)備，由于該設(shè)備一直在使用狀態(tài)，但是本次連接建立后直接就斷，根本連不上，后來(lái)通過(guò)串口連接也都OK，使用telnet端口和ping ip地址去診斷均顯示OK，ssh和telnet 就是登錄不上，最終更換一個(gè)網(wǎng)線(xiàn)就正常了。

有的時(shí)候交換機(jī)的telnet服務(wù)也會(huì)停止響應(yīng)，需要使用串口登錄進(jìn)去，重啟一下telnet服務(wù)也是可以解決。

6)SAN網(wǎng)絡(luò)的兩個(gè)應(yīng)用技巧

http://www.talkwithtrend.com/Question/408427

4、總結(jié)

本文從大到小，從整體到細(xì)節(jié)，針對(duì)SAN網(wǎng)絡(luò)進(jìn)行了介紹和解釋?zhuān)瑥慕M成到原理進(jìn)行適當(dāng)?shù)姆治觯⒁詫?shí)例形式分享了在運(yùn)維工作當(dāng)中的諸多問(wèn)題，我們要理解的是：

一個(gè)好的規(guī)劃是好的運(yùn)維的基礎(chǔ)

一個(gè)好的監(jiān)控是運(yùn)維的保障

一個(gè)個(gè)細(xì)節(jié)是我們需要在運(yùn)維過(guò)程中去關(guān)注的

一個(gè)個(gè)故障和經(jīng)驗(yàn)需要我們?nèi)タ偨Y(jié)和學(xué)習(xí)

文中所涉及技術(shù)和產(chǎn)品請(qǐng)以官方最新信息為準(zhǔn)如有任何問(wèn)題，可點(diǎn)擊文末閱讀原文到社區(qū)原文下評(píng)論交流

資料/文章推薦：

SAN完全手冊(cè)，含金量非常高

http://www.talkwithtrend.com/Document/detail/tid/162771