10萬人的郵箱存儲系統(tǒng),應(yīng)該這么搭
郵件系統(tǒng)平臺作為每個企業(yè)不可或缺的業(yè)務(wù)系統(tǒng),已經(jīng)不僅僅是單純的信息傳送工具,更是關(guān)系到企業(yè)決策流程、數(shù)字資產(chǎn)管理的核心關(guān)鍵業(yè)務(wù)系統(tǒng)。
當(dāng)你需要搭建一個支撐超大型企業(yè)(十萬+)郵箱用戶的超級郵件系統(tǒng)平臺時,該選擇怎樣的存儲架構(gòu),如何設(shè)計存儲的性能和容量需求,特別是數(shù)據(jù)如何遷移,以及數(shù)據(jù)的安全性又如何保證呢?
本文通過一個郵件項目
設(shè)計部署的案例
來給讀者提供一些實操的經(jīng)驗分享
步驟一 業(yè)務(wù)環(huán)境分析
郵件系統(tǒng)的特點是數(shù)據(jù)量巨大且增長迅速,數(shù)據(jù)訪問性能要求高,同時對于系統(tǒng)數(shù)據(jù)的安全性、業(yè)務(wù)處理的高可用性都有很高的要求。
那么如何了解到客戶業(yè)務(wù)環(huán)境中實際的數(shù)據(jù)存儲壓力?不得不提到戴爾易安信大名鼎鼎的Live Optics數(shù)據(jù)應(yīng)用環(huán)境分析工具。
Live Optics是一個比業(yè)界同類其他工具更為直觀的需求分析工具。運用這個免費工具,客戶與架構(gòu)設(shè)計師可以清晰了解當(dāng)前應(yīng)用環(huán)境的真實IT負(fù)載,對于數(shù)據(jù)訪問的壓力情況、數(shù)據(jù)增長情況、各個業(yè)務(wù)模塊IO訪問的詳盡情況等。
有了這些數(shù)據(jù),就可以為存儲設(shè)備的選型、架構(gòu)的設(shè)計提供了詳實的一手材料,確保存儲選型更加準(zhǔn)確,并貼合客戶的真實業(yè)務(wù)需求。
步驟二 應(yīng)用軟件需求分析
Microsoft Exchange是企業(yè)級用戶廣泛采用的郵件系統(tǒng)軟件平臺。本文的討論基于Exchange Server 2016版本。該版本針對存儲系統(tǒng)的規(guī)劃提出了一系列基本要求和最佳實踐,其中最重要的一些需考慮因素包括:
- Exchange 2016建議采用SAN存儲架構(gòu)(FC或者iSCSI鏈路均可),但要求勿與其他應(yīng)用程序共享物理磁盤備份Exchange數(shù)據(jù);
- 用于存儲Exchange數(shù)據(jù)的所有存儲必須是塊級存儲,因此Exchange 2016不支持使用NAS卷;
- Exchange在考慮磁盤介質(zhì)的選擇時,最低要求是負(fù)載下保持延遲不大于20毫秒左右的平均讀寫速度;
- Exchange 2016郵箱服務(wù)器每個數(shù)據(jù)庫的大小雖然最大支持到16TB,但是最佳實踐為2TB或更小。
建議大家在為Exchange規(guī)劃存儲系統(tǒng)時,仔細查看Exchange Server存儲部署相關(guān)章節(jié)。
步驟三 計算應(yīng)用所需存儲資源
在滿足Exchange這些基本要求的前提下,又該如何對存儲產(chǎn)品進行選型呢?
一個完善的郵件系統(tǒng)存儲平臺需要在容量、性能、安全、效率這幾個方面來進行規(guī)劃。在計算Exchange郵件系統(tǒng)的容量和性能需求時,有個重要的工具建議大家一定要用,就是下面這個ExchangeCalc9.1。
在這個工具里輸入自己企業(yè)的對于郵件平臺的基本要求,比如郵箱數(shù)量、郵箱大小、每天多少郵件、每個郵件的平均大小以及每個數(shù)據(jù)庫的副本個數(shù),該工具即可自動計算出所需要的存儲容量、所需IOPS性能要求、建議的存儲卷的劃分,甚至可以計算出遠程數(shù)據(jù)復(fù)制所需要的鏈路帶寬。
下圖就是一個典型的10萬人郵箱系統(tǒng)的基本需求圖示▼
- 系統(tǒng)設(shè)計郵箱規(guī)模為10萬個郵箱用戶,每個用戶2GB郵箱空間。
- 設(shè)置北京和上海兩個站點來實現(xiàn)郵件數(shù)據(jù)的遠程復(fù)制,兩個站點設(shè)計完全對等,通過ExchangeDAG方式實現(xiàn)應(yīng)用級別的冗余。
- 郵件數(shù)據(jù)的冗余設(shè)計為1份主數(shù)據(jù)3份副本數(shù)據(jù)。
- 郵件系統(tǒng)的存儲容量超過1PB,存儲系統(tǒng)要求達到30000以上的IOPS性能指標(biāo)。
- 未來當(dāng)單個郵箱的空間達到10GB時,郵件系統(tǒng)整體的存儲容量將超過5PB的空間需求。
步驟四 選擇滿足業(yè)務(wù)需求的產(chǎn)品
最終,通過Live Optics的分析,以及ExchangeCalc9.1的規(guī)劃思路,該客戶最終選擇了戴爾易安信SC存儲來實現(xiàn)公司郵箱平臺的在線存儲方案。
戴爾易安信SC系列是深受客戶信賴的企業(yè)級存儲產(chǎn)品,迄今為止客戶裝機量已經(jīng)超過5萬套,其高性能、全面的存儲功能、以及高效的存儲效率都為客戶關(guān)鍵業(yè)務(wù)數(shù)據(jù)的存儲管理創(chuàng)造了巨大價值。
在選型上,采用4臺高端型號SC9000來搭建整體的存儲平臺。北京和上海各配置2臺SC9000磁盤陣列,在容量上滿足每個PB級可用容量要求。
并且,SC9000單臺設(shè)備提供高達1000塊硬盤以上的擴展能力,為將來郵件系統(tǒng)容量的增長保留了足夠的空間。
步驟五 方案特點總結(jié)
那么這套方案又有哪些亮點呢?
▐ 首先,在此次上新郵件平臺的時候,遇到的第一個難題就是客戶原有郵件平臺上的數(shù)據(jù),如何遷移到新存儲設(shè)備。
該客戶原有的幾百TB郵件數(shù)據(jù)保存在戴爾易安信SC5020上。而如果通過數(shù)據(jù)遷移的方式,勢必會花費大量時間,影響到業(yè)務(wù)的正常上線。此時,SC系列存儲的聯(lián)邦存儲功能(Federation)幫了大忙。
強大的聯(lián)邦存儲功能讓客戶遷移無憂,運維無憂
SC的聯(lián)邦存儲功能可以在多臺SC存儲陣列,甚至是不同代不同型號之間構(gòu)建一個強大的存儲虛擬集群,形成一個對主機和業(yè)務(wù)系統(tǒng)完全透明的存儲資源池。
這個存儲池的資源總量可以達到多個控制器,多個存儲鏈路的并發(fā)工作,形成一個“超級存儲”,存儲卷可以在這個資源池中的各臺存儲陣列之間靈活的漂移。
利用這個功能,將新上線的SC9000存儲和原有SC5020存儲組成一個聯(lián)邦集群,不僅確保了業(yè)務(wù)快速上線,同時利用data migration功能將原有存儲上的數(shù)據(jù)在線遷移到新的存儲設(shè)備,大大縮短了項目的實施周期,滿足了客戶要求。
▐ 其次,在管理和維護這樣多臺存儲設(shè)備的大型存儲環(huán)境時,常常會有固件升級或者硬件更換等常規(guī)維護操作,但是對企業(yè)郵件系統(tǒng)來說,需要確保7*24不能停機。
如何在存儲設(shè)備進行維護時也能保證業(yè)務(wù)實時在線?SC的聯(lián)邦存儲功能可以幫助管理員在需要對某臺磁盤陣列做升級維護操作時,只需將這臺存儲上對應(yīng)的存儲卷漂移到其他磁盤陣列上,就可以對這臺存儲進行維護操作而不影響正常業(yè)務(wù)。
該功能還具有極強的冗余容錯能力,當(dāng)該資源池中的某一臺存儲出現(xiàn)故障或者性能告警時,可以自動或手動的將故障陣列上的卷遷移到其他正常工作或者性能較好的陣列上去,保證整個資源池內(nèi)性能的平衡。
▐ 第三,郵件系統(tǒng)數(shù)據(jù)具有典型的熱點現(xiàn)象。一般來說,14天之內(nèi)的數(shù)據(jù)是會被頻繁訪問的數(shù)據(jù),該部分?jǐn)?shù)據(jù)需要配置最高性能的存儲介質(zhì)來滿足,而14天之后,數(shù)據(jù)訪問頻率下降但又需要長期保存,此時就需要相對性能較低但是容量更大的存儲介質(zhì)來滿足。
該方案充分利用戴爾易安信SC存儲業(yè)界領(lǐng)先的自動數(shù)據(jù)分層功能,在存儲陣列上配置整體容量的20%為高性能的SSD介質(zhì),并配置自動分層軟件。
該功能將活躍數(shù)據(jù)塊自動寫入SSD層介質(zhì),提供極高的訪問性能和良好的客戶體驗。同時把非活躍數(shù)據(jù)塊自動挪入低速盤,在同時滿足容量和性能要求的同時提供更好的性價比。
除了以上說到的SC存儲功能亮點,方案中還配置了多種必要的存儲功能軟件來提高系統(tǒng)的數(shù)據(jù)安全和管理能力。例如:
存儲設(shè)備整體的虛擬化管理
可通過使用幾個簡單的點擊步驟完成許多復(fù)雜功能來縮短時間和減少工作量,從而加快完成常見存儲任務(wù)和復(fù)雜存儲任務(wù)。
持續(xù)數(shù)據(jù)保護功能
可創(chuàng)建任意數(shù)量節(jié)省空間的數(shù)據(jù)副本,幾乎可即時從數(shù)據(jù)災(zāi)難中恢復(fù),無傳統(tǒng)數(shù)據(jù)回放的任何限制,為郵件系統(tǒng)的核心數(shù)據(jù)安全提供最強的保障。
空間精簡配置
與預(yù)先分配容量相反,僅在應(yīng)用程序?qū)懭霐?shù)據(jù)時占用物理磁盤空間,從而最大限度地提高存儲利用率。
存儲資源管理軟件
通過Unisphere以及CloudIQ管理平臺,實現(xiàn)單一控制臺進行多站點和多系統(tǒng)管理,并提供一套高級存儲資源管理和報告功能。
結(jié) 語
通過以上對郵件系統(tǒng)存儲規(guī)劃方法的梳理以及一個真實案例的介紹,相信大家對于設(shè)計郵件系統(tǒng)的存儲方案已經(jīng)有了不少思路。
隨著當(dāng)下企業(yè)對郵件系統(tǒng)的數(shù)據(jù)管理的要求越來越高,海量郵件數(shù)據(jù)需要長期保存,滿足不同行業(yè)用戶對電子郵件數(shù)據(jù)安全、法規(guī)遵從、電子舉證以及其他個性化的使用需求。因此除了郵件系統(tǒng)的在線存儲部分,郵件的備份、歸檔等存儲設(shè)計同等重要。
戴爾易安信一直致力于不斷開發(fā)和提供各種新技術(shù)和易于使用的存儲解決方案,包括存儲整合、備份和恢復(fù)產(chǎn)品,數(shù)據(jù)歸檔、數(shù)據(jù)災(zāi)難恢復(fù)產(chǎn)品和合規(guī)性產(chǎn)品等,能夠為客戶構(gòu)建起覆蓋整個數(shù)據(jù)生命周期的存儲管理解決方案,實現(xiàn)數(shù)字化轉(zhuǎn)型保駕護航。