IBM技術(shù)計(jì)算解決方案范圍從部門集群延伸到超級計(jì)算機(jī)，使企業(yè)能夠通過為廣泛的商務(wù)和業(yè)務(wù)挑戰(zhàn)提供高性能基礎(chǔ)架構(gòu)來實(shí)現(xiàn)更好的成果。技術(shù)計(jì)算與高性能計(jì)算的緊密相關(guān)，它把高性能計(jì)算機(jī)系統(tǒng)使用到其它的行業(yè)中， Platform Computing擔(dān)負(fù)了這個(gè)職責(zé)，Platform Computing是IBM技術(shù)運(yùn)算的戰(zhàn)略支撐，在集群、網(wǎng)格和云管理方面積累了雄厚的技術(shù)基礎(chǔ)和客戶案例。

IBM Platform Computing軟件技術(shù)理念

我們先來看看與IBM Platform Computing有關(guān)的一組數(shù)字，Platform Computing是商用HPC的事實(shí)標(biāo)準(zhǔn)，全球60%的***金融服務(wù)機(jī)構(gòu)采用了Platform Computing，Platform Computing管理的CPU數(shù)量超過500萬顆。

IBM Platform Computing軟件技術(shù)理念就是讓客戶能把成千上萬臺(tái)計(jì)算機(jī)當(dāng)作一臺(tái)來使用和管理。為了達(dá)到這個(gè)目的，IBM Platform Computing采用了3層軟件功能，***層是資源整合，把企業(yè)所有的服務(wù)器及操作系統(tǒng)的軟硬件整合成一個(gè)邏輯層，交給第二層資源分配來處理，第二層是資源分配，是網(wǎng)絡(luò)層次的一個(gè)概念，把資源整合的邏輯層根據(jù)應(yīng)用的使用、資源情況動(dòng)態(tài)分配，大幅提高資源的利用率，并同時(shí)滿足用戶的服務(wù)標(biāo)準(zhǔn)。第三層是資源訪問/使用，使用戶通過API或UI界面或APP能夠清楚明了地使用資源。如果是一個(gè)并行任務(wù)，用戶可以通過一個(gè)中間件API調(diào)用資源，滿足并行應(yīng)用。

這三層邏輯抽象，就構(gòu)成了完整的Platform Computing的軟件應(yīng)用層次，可以支持多用戶、多應(yīng)用、共享、動(dòng)態(tài)的平臺(tái)，實(shí)現(xiàn)主流的技術(shù)計(jì)算。

Symphony是Platform Computing平臺(tái)一個(gè)并行分析的計(jì)算平臺(tái)，從理解的角度，與WEB服務(wù)器的應(yīng)用服務(wù)器類似，可以把Symphony看成是Platform Computing技術(shù)運(yùn)算平臺(tái)的應(yīng)用服務(wù)器，它包含針對低延遲、可靠性和資源共享進(jìn)行優(yōu)化的MapReduce，還可以兼容 Apache Hadoop，進(jìn)行大數(shù)據(jù)分析。

如何用Platform Symphony做大數(shù)據(jù)分析

IBM Platform Symphony是一個(gè)并行分析的計(jì)算平臺(tái)，可以支持各種類型的計(jì)算密集型和數(shù)據(jù)密集型的應(yīng)用。從開發(fā)者的角度來說，Symphony是一個(gè)可以成百上千倍提高運(yùn)用速度，提供低延時(shí)、高并行度、高可靠性的應(yīng)用中間件。同時(shí)，還可以把Symphony看成是一個(gè)面向技術(shù)運(yùn)算的服務(wù)器。數(shù)據(jù)顯示，Symphony遠(yuǎn)程并行服務(wù)的延遲低至毫秒級，每秒鐘可以同時(shí)啟動(dòng)17000個(gè)服務(wù)任務(wù)，每一個(gè)應(yīng)用可以使用多達(dá)10000個(gè)核，每一個(gè)集群可以支持多達(dá)40000個(gè)核，可以實(shí)現(xiàn)多個(gè)任務(wù)、多個(gè)應(yīng)用同時(shí)運(yùn)行。

不僅如此，Symphony還可以同時(shí)支持計(jì)算密集型應(yīng)用和數(shù)據(jù)密集型應(yīng)用的管理軟件。隨著分析工作負(fù)載的計(jì)算與數(shù)據(jù)密集性的不斷增高，許多類型的應(yīng)用程序都要求快速分析使用內(nèi)存中的數(shù)據(jù)網(wǎng)格存儲(chǔ)的或分布式文件系統(tǒng)上的大量數(shù)據(jù)。不同于其他網(wǎng)格管理解決方案，Platform Symphony Advanced Edition(Symphony的高級版)并不需要單獨(dú)的基礎(chǔ)架構(gòu)來支持這些數(shù)據(jù)密集型問題。它包含針對低延遲、可靠性和資源共享進(jìn)行優(yōu)化的MapReduce，還可以兼容 Apache Hadoop 。用戶可以通過使用此功能在相同的共享分布式基礎(chǔ)架構(gòu)上運(yùn)行使用其他語言編寫的Hadoop和非Hadoop應(yīng)用程序。此外，Platform Symphony的多租戶架構(gòu)可以使其在單一的共享式基礎(chǔ)架構(gòu)上部署多個(gè) MapReduce 引擎。

就工作環(huán)境而言，Platform Symphony客戶機(jī)和服務(wù)可以在不同的操作系統(tǒng)、語言和框架上實(shí)施，集群還可包含運(yùn)行多個(gè)操作系統(tǒng)的節(jié)點(diǎn)。而且，Platform Symphony可在相同的集群中管理多種不同類型的主機(jī)，并控制每個(gè)主機(jī)上運(yùn)行的應(yīng)用程序服務(wù)。

Platform Symphony支持GPFS

IBM Platform Symphony支持各種類型的數(shù)據(jù)，開源MapReduce只支持開源的HDFS，IBM Platform Symphony支持包括IBM GPFS、HDFS、數(shù)據(jù)倉庫以及其它數(shù)據(jù)來源和輸出端，甚至“數(shù)據(jù)的輸入端和輸出目標(biāo)的類型可以不同”。

GPFS是一個(gè)高性能的，共享磁盤空間的文件系統(tǒng)的管理方案。GPFS運(yùn)用于集群環(huán)境中，提供快速可靠的數(shù)據(jù)訪問。通過GPFS，同一個(gè)集群中的多個(gè)節(jié)點(diǎn)可以同時(shí)訪問同一個(gè)共享文件。

GPFS還可以提供在線存儲(chǔ)管理、可擴(kuò)展的訪問和集成的生命周期管理工具,并且有能力管理PB級的數(shù)據(jù)和數(shù)十億的文件,可以大大減少切換時(shí)間，減小客戶應(yīng)用的不可用時(shí)間。

GPFS可以幫助企業(yè)降低存儲(chǔ)管理成本，并能減少數(shù)據(jù)重復(fù)和更有效的使用離散的存儲(chǔ)組件，使之成為一個(gè)邏輯整體，使信息呈現(xiàn)一個(gè)集中的、高性能存儲(chǔ)的架構(gòu)。GPFS還可以幫助改善服務(wù)器硬件利用率，從任何節(jié)點(diǎn)通過允許動(dòng)態(tài)存儲(chǔ)訪問所有數(shù)據(jù)，GPFS多層次的方法可以減少存儲(chǔ)成本。

搭載Power Linux的大數(shù)據(jù)方案

隨著開源開發(fā)平臺(tái)的迅猛發(fā)展，Linux市場快速增長，也讓IBM看到了Power Systems的新機(jī)遇，并希望在這個(gè)市場有所斬獲。其實(shí)早在兩三年前，Power Systems就開始涉及Linux市場，從最早的Open Power到現(xiàn)在的Power Linux，Power Systems一直都在根據(jù)市場的發(fā)展不停的改變。

作為運(yùn)行Linux軟件的全新Power硬件平臺(tái)，在Power Linux產(chǎn)品方面，IBM為其PowerLinux 7R1（單插槽）與7R2（雙插槽）設(shè)備提供了Solarflare的高性能低延遲10Gb每秒以太網(wǎng)適配器。有趣的是，Solarflare卡在網(wǎng)絡(luò)中嵌入了一套現(xiàn)場可編程門陣列（簡稱FPGA）。在Open Onload開發(fā)環(huán)境的支持下，經(jīng)過調(diào)整的FPGA能夠在數(shù)據(jù)到達(dá)服務(wù)器之前完成各類操作任務(wù)——這在高頻數(shù)據(jù)交互環(huán)境下意義非凡，而且也是IBM Power設(shè)備對抗x86設(shè)備的有力武器之一。

基于Platform Symphony和Power Linux的大數(shù)據(jù)方案

為了進(jìn)一步推廣Power Linux產(chǎn)品的應(yīng)用，打造完善的生態(tài)系統(tǒng)，IBM“天合計(jì)劃”通過將 VAD（增值分銷商）合作伙伴的軟件預(yù)裝在PowerLinux服務(wù)器上，打包成為“CAMP Box”解決方案，幫助用戶大幅降低Power平臺(tái)的使用成本和PowerVM虛擬化技術(shù)門檻，進(jìn)一步豐富Power企業(yè)入門級服務(wù)器產(chǎn)品線，讓用戶同時(shí)享受開源和Power平臺(tái)的各種優(yōu)勢技術(shù)，為用戶提供更多“智慧的運(yùn)算”的選擇平臺(tái)。

Power Linux的出現(xiàn)，為搭載Symphony的硬件平臺(tái)提供了新的選擇，軟件方面，Symphony一直是處理非結(jié)構(gòu)化數(shù)據(jù)的方案，硬件方面，Power Linux具備了從Power產(chǎn)品線延續(xù)下來的高度RAS特性，兩者的結(jié)合為處理大數(shù)據(jù)提供了完整的打包方案，無疑將進(jìn)一步發(fā)揮Platform對大數(shù)據(jù)處理的優(yōu)勢和價(jià)值。