新手學(xué)堂:基于linux的集群系統(tǒng)簡介
有一種常見的方法可以大幅提高服務(wù)器的安全性,這就是集群。
Cluster集群技術(shù)可如下定義:一組相互獨立的服務(wù)器在網(wǎng)絡(luò)中表現(xiàn)為單一的系統(tǒng),并以單一系統(tǒng)的模式加以管理。此單一系統(tǒng)為客戶工作站提供高可靠性的服務(wù)。
大多數(shù)模式下,集群中所有的計算機(jī)擁有一個共同的名稱,集群內(nèi)任一系統(tǒng)上運行的服務(wù)可被所有的網(wǎng)絡(luò)客戶所使用。Cluster必須可以協(xié)調(diào)管理各分離的組件的錯誤和失敗,并可透明地向Cluster中加入組件。
一個Cluster包含多臺(至少二臺)擁有共享數(shù)據(jù)存儲空間的服務(wù)器。任何一臺服務(wù)器運行一個應(yīng)用時,應(yīng)用數(shù)據(jù)被存儲在共享的數(shù)據(jù)空間內(nèi)。每臺服務(wù)器的操作系統(tǒng)和應(yīng)用程序文件存儲在其各自的本地儲存空間上。
Cluster內(nèi)各節(jié)點服務(wù)器通過一內(nèi)部局域網(wǎng)相互通訊。當(dāng)一臺節(jié)點服務(wù)器發(fā)生故障時,這臺服務(wù)器上所運行的應(yīng)用程序?qū)⒃诹硪还?jié)點服務(wù)器上被自動接管。當(dāng)一個應(yīng)用服務(wù)發(fā)生故障時,應(yīng)用服務(wù)將被重新啟動或被另一臺服務(wù)器接管。當(dāng)以上任一故障發(fā)生時,客戶將能很快連接到新的應(yīng)用服務(wù)上。
集群系統(tǒng)主要分為兩種:
高可用性集群的主要功能就是提供不間斷的服務(wù)。有許多應(yīng)用程序都必須一天二十四小時地不停運轉(zhuǎn),如所有的web服務(wù)器、工業(yè)控制器、ATM、遠(yuǎn)程通訊轉(zhuǎn)接器、醫(yī)學(xué)與軍事監(jiān)測儀以及股票處理機(jī)等。對這些應(yīng)用程序而言,暫時的停機(jī)都會導(dǎo)致數(shù)據(jù)的丟失和災(zāi)難性的后果。
高性能集群通過將多臺機(jī)器連接起來同時處理復(fù)雜的計算問題。模擬星球附近的磁場、預(yù)測龍卷風(fēng)的出現(xiàn)、定位石油資源的儲藏地等情況都需要對大量的數(shù)據(jù)進(jìn)行處理。傳統(tǒng)的處理方法是使用超級計算機(jī)來完成計算工作,但是超級計算機(jī)的價格比較昂貴,而且可用性和可擴(kuò)展性不夠強,因此集群成為了高性能計算領(lǐng)域矚目的焦點。
集群系統(tǒng)采用的操作系統(tǒng)主要有VMS、UNIX、WindowsNT和Linux。
美國DEC公司(Digital Equipment Corporation)開發(fā)的VMScluster系統(tǒng)開發(fā)最早,技術(shù)也很成熟,應(yīng)用也很廣泛,但由于VMS操作系統(tǒng)只能在DEC公司的VAX系列和Alpha系列服務(wù)器上運行,VMScluster的應(yīng)用受到很大限制。
UNIX是服務(wù)器或工作站上普遍使用的操作系統(tǒng),它運行穩(wěn)定、安全性也比較好,因此許多大的公司都采用了基于UNIX的集群系統(tǒng)解決方案,如DEC、HP、SUN、IBM、NCR和DG等公司,其中在國內(nèi)影響比較大的主要是DEC、HP、SUN和IBM。其中DEC公司的Trucluster系統(tǒng)提供了由4臺Digital Alpha Server組成的集群系統(tǒng),它集高可靠性、高可用性和易管理性于一身,是關(guān)鍵業(yè)務(wù)計算機(jī)系統(tǒng)的理想解決方案。
基于WindowsNT的集群系統(tǒng)解決方案廠商主要有Mircrosoft和DEC。Microsoft于1995年就開始了集群系統(tǒng)的開發(fā)工作。Windows 2000中已經(jīng)增加了集群功能,該高可用性集群叫做WolfPack,也叫做Microsoft Cluster Server (MCS)。它主要是在企業(yè)級對基于Windows NT服務(wù)器的應(yīng)用程序提供可用性和可升級性。WolfPack現(xiàn)在支持兩個服務(wù)器,一個用來對用戶提供服務(wù),另一個作為備份服務(wù)器使用。Microsoft下一步的目標(biāo)是將WolfPack支持的節(jié)點數(shù)擴(kuò)展到16個。Wolfpack的缺陷在于:它只提供了兩個節(jié)點的失敗恢復(fù)功能,而沒有采用復(fù)雜的應(yīng)用程序資源管理功能,因此在一定程度上影響了系統(tǒng)的高可用性、高可靠性和可升級性。Wolfpack不能支持多種操作系統(tǒng),而只能運行于Windows NT操作系統(tǒng)上。由于WindowsNT操作系統(tǒng)本身在穩(wěn)定性、大型并行計算上與UNIX系統(tǒng)存在較大差距,目前主要在中小型系統(tǒng)上應(yīng)用。但是隨著WindowsNT系統(tǒng)走向成熟,基于WindowsNT的計算機(jī)集群系統(tǒng)將獲得更廣泛的應(yīng)用。
九十年代末期,Linux操作系統(tǒng)不斷走向成熟,它的健壯性不斷增強,并且提供了GNU軟件和標(biāo)準(zhǔn)化的PVM、MPI消息傳遞機(jī)制,最重要的是Linux在普通PC機(jī)上提供了對高性能網(wǎng)絡(luò)的支持,這樣就大大推動了基于Linux的集群系統(tǒng)的發(fā)展。
Turbolinux公司推出了能夠顯著地提高基于TCP/IP協(xié)議的多種網(wǎng)絡(luò)服務(wù)的服務(wù)質(zhì)量的高可用性集群系統(tǒng)Turbocluster。Red Hat也提供了基于Linux Virtual Server思想構(gòu)建的高可用性集群系統(tǒng)Piranha。由Ericsson軟件工程研究中心開發(fā)的高可用性集群系統(tǒng)Eddie的主要目的是提供一個商業(yè)級的,能提供較好的服務(wù)質(zhì)量的web服務(wù)器的解決方案。
Platform公司開發(fā)的高可用性集群系統(tǒng)Lsf提供了分布式集群系統(tǒng)的解決方案,通過將物理上分離的多個集群連接在一起使使多個同構(gòu)或異構(gòu)的計算機(jī)能夠通過局域網(wǎng)或廣域網(wǎng)共享計算資源,并能夠為用戶提供對資源的透明訪問。
高性能集群系統(tǒng)MOSIX為Linux核心增添了集群計算的功能。在MOSIX集群環(huán)境中,用戶無需對應(yīng)用程序進(jìn)行修改,或?qū)?yīng)用程序與庫連接起來,或?qū)?yīng)用程序分配到不同的節(jié)點上運行。MOSIX會自動將這些工作透明地交給別的節(jié)點來執(zhí)行。
日本的F5公司開發(fā)出了高可用性集群BIG-IP,它是使用于本地網(wǎng)絡(luò)站點或數(shù)據(jù)中心的高可用的、智能化的負(fù)載平衡產(chǎn)品,它提供了對網(wǎng)絡(luò)流量的自動和智能的管理。與前幾種集群系統(tǒng)不同的是,BIG-IP向用戶提供的是一個即插即用設(shè)備,而其它的提供的都是軟件方法。
IBM、Microsoft和Intel于2000年7月聯(lián)合發(fā)布了一種高可用性服務(wù)器集群軟件及硬件包,這種服務(wù)器集群的配置包括32臺IBM Netfinity 8500R及Intel Pentium Ⅲ Xeon處理器,運行IBM的DB2 Universal Database和Microsoft Windows 2000 Advanced Server操作系統(tǒng),每分鐘可以執(zhí)行440879次交易。這套系統(tǒng)面向數(shù)據(jù)密集的應(yīng)用,特別是B2B、電子商務(wù)和企業(yè)資源規(guī)劃領(lǐng)域。
在科學(xué)計算領(lǐng)域中,人們開始把注意力投向通過普通PC機(jī)或工作站的集群來代替昂貴的超級計算機(jī)。比較成功的例子是高性能集群系統(tǒng)Beowulf,它最初是由NASA的Goddard Flight Center進(jìn)行開發(fā)的,主要目的是支持大規(guī)模的科學(xué)計算問題,如地球和太空科學(xué)面臨的一些計算問題。
國內(nèi)也有不少公司進(jìn)行了集群系統(tǒng)的研究和開發(fā)工作。
聯(lián)想公司在1999年9月推出了用于分布式高性能計算的NS10000高性能集群服務(wù)器,該系統(tǒng)是一個四節(jié)點的系統(tǒng),主要基于聯(lián)想萬全4500R服務(wù)器,以總體成本相對較低的設(shè)備組合,足以替代傳統(tǒng)RISC小型機(jī)和中型機(jī)的工作,而價格僅為市場上同等性能小型機(jī)的1/2--1/4。
朗新公司也推出了類似于Turbocluster的高可用性集群系統(tǒng)LongShine Cluster Server。
1999年9月20日,中國第一家專業(yè)面向Linux高端應(yīng)用市場的集群網(wǎng)絡(luò)有限公司推出了國內(nèi)首例Linux安全集群系統(tǒng)。它是國內(nèi)第一個通過公安部認(rèn)證的安全Linux系統(tǒng),而其集群技術(shù)也已應(yīng)用于諸多國際著名網(wǎng)站,如Linux的門戶www.linux.com、英國國家JANET Cache網(wǎng)、奧地利的入口站點和瑞士電信等。其核心代碼也已被納入美國Red Hat Linux發(fā)布版的核心。
中國自主開發(fā)研制的集群式高性能計算機(jī)集群系統(tǒng)"自強2000-SUHPCS"于2000年9月在上海大學(xué)問世。這一系統(tǒng)的峰值速度達(dá)到每秒3000億次浮點操作。是當(dāng)前中國國內(nèi)集群式高性能計算機(jī)系統(tǒng)中速度最快的。
【編輯推薦】