存儲虛擬化助新疆油田整合異構(gòu)環(huán)境
為了消除數(shù)據(jù)孤島，新疆油田通過存儲虛擬化技術(shù)整合了異構(gòu)存儲平臺，實現(xiàn)了數(shù)據(jù)資源的集中管理。
新疆油田公司是新疆油田中國西部最大的石油生產(chǎn)企業(yè)，隸屬于中國石油天然氣集團公司，主要從事準噶爾盆地及其外圍盆地油氣資源的勘探開發(fā)、集輸、銷售等業(yè)務(wù)。
新疆油田是新中國成立后開發(fā)建設(shè)的第一個大油田，原油產(chǎn)量居中國陸上油田第四位、連續(xù)25年保持穩(wěn)定增長，累計產(chǎn)油2億多噸。2002年原油年產(chǎn)突破1000萬噸，成為中國西部第一個千萬噸大油田。
當(dāng)前，新疆油田的發(fā)展目標是數(shù)字油田、綠色油田、人文油田，其中數(shù)字油田就是實現(xiàn)管理現(xiàn)代化、達到管理系統(tǒng)化、生產(chǎn)自動化、信息網(wǎng)絡(luò)化、分析智能化。公司領(lǐng)導(dǎo)歷來十分重視信息化建設(shè)，加大了在信息方面的投入，經(jīng)過15年信息化持續(xù)建設(shè)，于2008年12月31日實現(xiàn)了數(shù)字新疆油田。
兩個數(shù)據(jù)孤島
自2002年以來，新疆油田的信息化建設(shè)取得了長足進展，確立了“急用先建、邊建邊用、建用結(jié)合、以用促進”的工作思路，建立了由決策層、管理層、執(zhí)行層和支撐層構(gòu)成信息化管理體系，成功研發(fā)了油田數(shù)據(jù)管理平臺、油田空間數(shù)字平臺、業(yè)務(wù)流程管理平臺等數(shù)字油田信息平臺。
2004年，在《油田公司數(shù)據(jù)中心軟件建設(shè)規(guī)劃》指導(dǎo)下，油田公司數(shù)據(jù)中心軟硬件建設(shè)取得了長足進展，先后購置了1臺容量為6TB的HDS9585數(shù)據(jù)存儲和3臺Sun E4900數(shù)據(jù)庫服務(wù)器，實現(xiàn)了中心數(shù)據(jù)庫集群，數(shù)據(jù)處理能力達64個CPU和128GbMEM，公司勘探、開發(fā)、經(jīng)營、管理數(shù)據(jù)已實現(xiàn)集中管理。
數(shù)據(jù)中心的硬件架構(gòu)為SAN架構(gòu)，且以數(shù)據(jù)存儲為中心，所有系統(tǒng)都從HDS9585存取數(shù)據(jù)，服務(wù)器自身沒有數(shù)據(jù)存儲硬盤。目前，有10臺服務(wù)器數(shù)據(jù)存儲在HSD9595上，共有近70套應(yīng)用系統(tǒng)從這些服務(wù)器上提取數(shù)據(jù)。HDS裸存容量為6TB，系統(tǒng)做了RAID和熱備后可用容量為4.5TB，存儲空間已經(jīng)分配完畢，沒有剩下多余的空間。
另外，由股份公司組織實施的地球科學(xué)與鉆井系統(tǒng)(A1系統(tǒng))和上游生產(chǎn)信息系統(tǒng)(A2系統(tǒng))，由6臺套設(shè)備組成，總價值超過3000萬元。A1A2系統(tǒng)架構(gòu)也是SAN架構(gòu)，以EMC CX700數(shù)據(jù)存儲為中心，所有系統(tǒng)皆從EMC CX700存取數(shù)據(jù)，服務(wù)器自身沒有數(shù)據(jù)存儲硬盤，目前有15臺設(shè)備連接到該存儲系統(tǒng)上，A1A2系統(tǒng)也從該存儲上存儲數(shù)據(jù)。EMC CX700裸存容量為24TB，系統(tǒng)做了RAID和熱備后可用容量為16TB，存儲空間也已分配完畢，已經(jīng)沒有剩余空間。
整體而言，目前油田公司數(shù)據(jù)中心存儲設(shè)備共4套，除了容量為6TB的HDS9585和容量為24TB的EMC CX700外，還有一套IBM3584自動帶庫和一套IBM3494自動帶庫。由于HDS9585和EMC CX700分屬不同的存儲廠商，因而形成了兩個數(shù)據(jù)孤島，資源不能互通和有效利用，同時為系統(tǒng)的維護管理、性能優(yōu)化、故障排查、數(shù)據(jù)遷移、容災(zāi)備份等都帶來了不便和困難。
集中管理“六大原則”
最近，新疆油田公司收集整理了過去五十年以來的油田生產(chǎn)數(shù)據(jù)，目前公司擁有78TB海量數(shù)據(jù)，各類應(yīng)用系統(tǒng)120套及強大的數(shù)據(jù)庫服務(wù)器公司和應(yīng)用服務(wù)器。為了實現(xiàn)油田數(shù)據(jù)的共享，充分發(fā)揮數(shù)據(jù)在油田各行業(yè)的作用，各二級單位數(shù)據(jù)和應(yīng)用需要逐漸實現(xiàn)集中管理，需要對現(xiàn)有資源進行整合。
但是，目前的數(shù)據(jù)資源呈現(xiàn)兩個孤立分散的島嶼，如何通過技術(shù)途徑把兩者整合到一起，形成一個統(tǒng)一的數(shù)據(jù)資源池，成為新疆油田現(xiàn)實而迫切的考量。
由于HDS9585和EMC CX700存儲設(shè)備相互獨立，并且各個系統(tǒng)發(fā)展不均衡性，導(dǎo)致某些系統(tǒng)建設(shè)之初規(guī)劃了很大的容量和很高的性能，但是實際運行過程中卻沒有那么大的需要。如中心集群數(shù)據(jù)庫建設(shè)之初規(guī)劃了2TB，但目前只使用了822Gb，未來3年可能使用2TB，A1A2系統(tǒng)中LMK項目環(huán)境服務(wù)器規(guī)劃了6TB,未來3年實際可能使用1.5Tb;而另一些應(yīng)用建設(shè)之初卻是陷入了容量和性能不足的困境，其他系統(tǒng)有富裕的資源卻不能拿來使用，導(dǎo)致HDS9585存儲必須升級擴容而EMC CX700存儲資源卻被閑置的局面，各存儲資源不能做到統(tǒng)一規(guī)劃，協(xié)調(diào)利用。
因此，油田公司需要建設(shè)一套集中統(tǒng)一的高性能高可靠性的存儲平臺。新平臺必須能夠?qū)υ械漠悩?gòu)存儲環(huán)境進行整合，能夠?qū)⒃械拇鎯υO(shè)備作為新存儲平臺的外部存儲設(shè)備，使新的存儲設(shè)備和原有的存儲設(shè)備形成一個統(tǒng)一完整的存儲池，由新的存儲設(shè)備進行統(tǒng)一管理，最大限度發(fā)揮原有存儲資源的再利用能力。新的平臺能夠提高原有存儲環(huán)境的整體運行性能，整個存儲環(huán)境對各個業(yè)務(wù)透明，存儲平臺可以根據(jù)各個業(yè)務(wù)的特性和需要，靈活的分配存儲容量、處理能力等各種資源，確保關(guān)鍵業(yè)務(wù)的穩(wěn)定可靠運行。同時借助新的存儲平臺，存儲設(shè)備能方便擴容，各個存儲設(shè)備能夠方便進行無縫的數(shù)據(jù)遷移，并且實現(xiàn)集中的存儲備份和未來的容災(zāi)需要。
應(yīng)該說，存儲整合為油田公司數(shù)據(jù)的大規(guī)模集中奠定了基礎(chǔ)，所以對整合后存儲的性能、安全性、容量動態(tài)分配等指標提出了很高要求，因此在整合過程中，需要著重考慮以下六大原則。
平臺整合：整合不但要滿足數(shù)據(jù)中心目前和未來開展油田公司數(shù)據(jù)中心集中存儲需要，還要對已有系統(tǒng)的存儲環(huán)境進行最大限度的整合，實現(xiàn)服務(wù)器的集中訪問、數(shù)據(jù)資源的集中存儲和處理、存儲設(shè)備的集中管理和維護。
高性能：新的存儲平臺整合了所有的應(yīng)用之后，必須具備強大的處理能力，能夠消除原有存儲設(shè)備的性能瓶頸。
可擴充性：在系統(tǒng)設(shè)計時應(yīng)充分考慮可擴充性，從而確保新功能、新業(yè)務(wù)的增加在原有的系統(tǒng)平臺上擴展和實現(xiàn)。
高可靠性：存儲平臺具有高可靠性，支持服務(wù)器平臺的高可用性集群技術(shù);具備先進的容災(zāi)的設(shè)計;充分保證系統(tǒng)的高擴展能力和高容錯能力，具有通道負載自動均衡能力和存儲系統(tǒng)性能調(diào)節(jié)能力，提供極為充分的可靠性各項指標設(shè)計。
高可用性：在盡量不停存儲和其它應(yīng)用系統(tǒng)情況下，實現(xiàn)擴容、維護、升級等服務(wù)，提高性能以滿足新的業(yè)務(wù)需求，具備7×24連續(xù)工作的能力，系統(tǒng)的可用性應(yīng)能達到100%，可以實現(xiàn)磁盤數(shù)據(jù)的在線不停機備份。
可管理性：要求配置實時性能監(jiān)測管理軟件。可對CPU使用率、內(nèi)存使用率、交換區(qū)使用情況、I/O操作、隊列狀態(tài)、磁盤空間、卷磁盤錯誤、系統(tǒng)事件、系統(tǒng)中各進程對系統(tǒng)資源占用等性能和操作數(shù)據(jù)等服務(wù)器性能進行實時監(jiān)控、管理和調(diào)配。
技術(shù)先進性：系統(tǒng)設(shè)計采用當(dāng)前先進而成熟的技術(shù)，不僅可以滿足現(xiàn)實工作的需求，也應(yīng)把握未來存儲整合的發(fā)展方向。
“虛擬化”整合
基于以上要求，新疆油田采用了HDS的TagmaStore NSC55 網(wǎng)絡(luò)存儲控制器或Universal Storage Platform V(USP V)作為數(shù)據(jù)中心存儲整合的核心設(shè)備，同時，配合 HDS的存儲管理軟件、數(shù)據(jù)快照鏡像軟件形成一套完整的存儲整合解決方案。由于該存儲系統(tǒng)具備嵌入式虛擬化功能，因此可以不依賴于外部交換機、設(shè)備或基于主機的軟件，支持異構(gòu)存儲。
項目采用了存儲區(qū)域網(wǎng)——SAN 架構(gòu)進行整個存儲系統(tǒng)的建設(shè)，整個存儲網(wǎng)絡(luò)將分為服務(wù)器層、網(wǎng)絡(luò)交換層和集中存儲平臺三個層次。
服務(wù)器層：需要對現(xiàn)在油田公司數(shù)據(jù)中心各個業(yè)務(wù)系統(tǒng)的服務(wù)器進行改造，增加光纖通道主機卡——HBA，使這些主機具有訪問存儲網(wǎng)絡(luò)的能力;為保證鏈路的冗余消除單點故障，每臺主機最少配置2塊HBA卡;對于那些業(yè)務(wù)特別繁忙的主機系統(tǒng)可以配置更多的HBA卡和多路經(jīng)管理軟件以實現(xiàn)O/I負載的均衡分配。
網(wǎng)絡(luò)交換層：采用Brocade企業(yè)級大吞吐量的SAN交換機，保證服務(wù)器和外部存儲設(shè)備到網(wǎng)絡(luò)存儲控制器的高速連接，本期配置32個4GB光纖端口。
集中存儲平臺：這是本次存儲整合系統(tǒng)建設(shè)最核心的部分。在采用HDS TagmaStore USP V網(wǎng)絡(luò)存儲控制器的同時，為其配置1塊前后端混合處理板，提供16個4GB的前端主機接口和8個后端磁盤接口，為其配置5GB控制緩存和16GB數(shù)據(jù)緩存，在其內(nèi)部配置20塊300GB FC磁盤共計6TB裸容量，作為整個集中存儲環(huán)境的基礎(chǔ)。
對于油田公司數(shù)據(jù)中心正在使用的HDS 9585和EMC CX700等設(shè)備，則通過SAN交換機直接連接到USP V的后端，作為它的外部存儲設(shè)備，通過HDS UVM通用卷管理軟件，可以把外部存儲設(shè)備的邏輯卷直接映射到USP V上去，由USP V統(tǒng)一管理和使用，而對前端服務(wù)器來說所有的工作都是透明的。
通過USP V的存儲整合，整個存儲平臺提供給服務(wù)器訪問的是由USP V統(tǒng)一管理的存儲空間，存儲容量包括6Tb 的USP V內(nèi)部容量和30TB外部容量(分布在HDS 9585的6TB、EMC CX700的24TB)，最大限度的保護了油田公司的投資。而且，未來可以根據(jù)各個業(yè)務(wù)的繁忙程度、數(shù)據(jù)量增長情況、性能需求等靈活地進行存儲資源的再分配，實現(xiàn)數(shù)據(jù)分級存儲和應(yīng)用優(yōu)化存儲。
由于采用USP V進行了存儲環(huán)境的整合，就可以通過USP V對原來異構(gòu)的存儲設(shè)備進行集中的數(shù)據(jù)備份和容災(zāi)?，F(xiàn)在備份中心用IBM 3494(40TB)作為近線備份設(shè)備，用AMS 200作為遠程實時數(shù)據(jù)備份的存儲設(shè)備，將AMS 200通過油田公司已有的光纖鏈路直接連接到數(shù)據(jù)中心的SAN交換機上，并且將 AMS 200 也作為USP V的外部設(shè)備來管理和使用。
也就是說，USP V可無縫地管理高達247 PB的內(nèi)外部異構(gòu)存儲，包括EMC、IBM、日立數(shù)據(jù)、HP、Sun等公司提供的高端存儲系統(tǒng)和中型存儲系統(tǒng)。
【編輯推薦】
