SAP HANA如何將數(shù)據(jù)處理及分析性能發(fā)揮到極限?
當我們在淘寶上搜索男士錢包時,淘寶會不斷的為我們推送男士錢包甚至男士襯衣等可能促成消費的產(chǎn)品;當我們在百度上搜索汽車時,旁邊的廣告同樣會與汽車用品相關。事實上,數(shù)據(jù)分析的價值不僅僅體現(xiàn)在這些日常生活的細節(jié)中,企業(yè)也越來越依賴從數(shù)據(jù)中獲取有價值的信息,進而指導自己的采購、倉儲、研發(fā)和銷售等工作。
x86平臺助力SAP HANA打造新一代內(nèi)存計算平臺
在數(shù)據(jù)分析與處理領域,SAP HANA一體機非常具有代表性。如今的SAP HANA不僅僅是為內(nèi)存數(shù)據(jù)庫,而且是一個內(nèi)存計算平臺,承載了OLTP、OLAP、基于事件和規(guī)則的流處理、預測分析、空間數(shù)據(jù)分析等功能。SAP HANA實現(xiàn)了大數(shù)據(jù)量的全內(nèi)存處理,真正實現(xiàn)了業(yè)務的“實時”分析,對于提升企業(yè)決策效率,具有極大的作用。
實時是SAP HANA一大亮點,若要將其實時處理能力發(fā)揮到極限,就不得不說到底層硬件平臺的發(fā)展。傳統(tǒng)的小型機、高端存儲為上層傳統(tǒng)數(shù)據(jù)庫為主的關鍵業(yè)務應用提供計算和存儲服務是企業(yè)級信息化系統(tǒng)的主流。
隨后x86平臺生態(tài)崛起,在性能上已經(jīng)完全能夠滿足企業(yè)需求,借助分布式架構,x86服務器更是有著小型機無法比擬的可擴展性及成本優(yōu)勢,如下圖所展示的關鍵業(yè)務系統(tǒng)改造已經(jīng)遍布各行業(yè)。
傳統(tǒng)小型機搭配高端存儲轉(zhuǎn)變?yōu)榛趚8 6集群
HANA底層硬件平臺的構建與運維之道
x86架構不僅為小型機指明了一個新的發(fā)展方向,并且將不同領域的廠商充分融合形成一個完整的生態(tài),用戶選擇也開始呈現(xiàn)多樣化發(fā)展趨勢。HANA場景下,就有不同的解決方案流派,采用Scale up(縱向擴展)還是Scale out(橫向擴展)架構就是廠商與客戶首先需要確定的。
Scale up滿足需求,優(yōu)先選擇Scale up
對于企業(yè)客戶來講,選擇Scale up還是Scale out則是一個難題。上圖可以看到兩種硬件架構各有優(yōu)勢。Scale up在性能及資源利用率上有較高的優(yōu)勢,而Scale out則因為涉及多個節(jié)點之間的數(shù)據(jù)傳輸而具有性能損耗,并且多個節(jié)點需要高度優(yōu)化才能夠達到資源利用率較高的水平,但是Scale out靈活易于擴展,這對于數(shù)據(jù)增長較快的企業(yè)來說有一定優(yōu)勢。
綜合起來講,如果Scale up能夠滿足SAP HANA需求,那么Scale up應當時企業(yè)***。那么接下來的問題就是在Scale up解決方案中,如何以最小的硬件投資,享受到***的擴展性。傳統(tǒng)的Scale up方案受限于服務器的CPU架構,***只能擴展至8顆CPU便到達天花板,有些解決方案以高初始配置來獲得擴展能力,而x86平臺之外的POWER不同機型之間不能實現(xiàn)擴展,如果要獲取***的擴展能力必須開始便部署***配置服務器。
華為芯片突破單機CPU互聯(lián)極限
華為的解決方案是基于KunLun的SAP HANA一體機,可以支持內(nèi)存從512GB擴展至32TB,也是唯一支持全閃存的16TB HANA一體機,針對大型內(nèi)存計算的大規(guī)模數(shù)據(jù),也能從容應對。華為KunLun HANA一體機通過華為Node Controller互聯(lián)芯片的處理器互聯(lián)技術,突破8路Xeon E7 v3處理器互聯(lián)極限,支持8路、16路、32路,***可實現(xiàn)64路Xeon E7 v3處理器高速互聯(lián),率先提供固件級物理與邏輯分區(qū)特性,可按需從單個物理核到32顆CPU彈性、靈活擴展,計算資源可大可小,***化資源利用。
HANA基準測試
上圖可以看到從4路到8路再到16路,華為的KunLun HANA一體機幾乎達到了性能的線性擴展。
目前華為KunLun HANA一體機性能處于業(yè)界***水平,2017年6月21日,華為KunLun 9008在SAP B4H基準測試中,刷新了這一測試記錄,其中Phase 2并發(fā)壓力測試取得了每小時執(zhí)行7927次查詢的優(yōu)異測試成績,涉及查詢數(shù)據(jù)量4000多億條記錄,性能是同類解決方案的1.9~4 倍性能。
與傳統(tǒng)數(shù)據(jù)庫不同,SAP HANA將數(shù)據(jù)庫放置于內(nèi)存中,數(shù)據(jù)重新加載到內(nèi)存的時間是非常長的,不論是計劃內(nèi)停機還是意外宕機,業(yè)務都會有數(shù)小時中斷風險。為此,華為從三個方面解決這個問題。
首先,華為KunLun HANA一體機支持關鍵業(yè)務實時在線不停機的情況下,對CPU和內(nèi)存等核心部件進行物理在線移除或添加。KunLun服務器上運行的 SUSE Linux Enterprise Server 在SUSE企業(yè)級Linux操作系統(tǒng)內(nèi)核基礎上,配合KunLun底層固件,實現(xiàn)Linux內(nèi)核的ACPI(Advanced Configuration and Power Management Interface,高級配置和電源管理接口)驅(qū)動模塊、內(nèi)存/CPU熱插拔模塊、內(nèi)核內(nèi)存管理子系統(tǒng)的協(xié)同工作,并無縫配合優(yōu)化后的KunLun BIOS流程,從內(nèi)核到用戶態(tài)工具,構建出高度自動化和可靠的熱插拔解決方案。
高效運維
其次,華為通過充分的故障預測機制,將可能發(fā)生故障的組件進行標記,并通過關鍵內(nèi)存鏡像功能將數(shù)據(jù)遷移至獨立的內(nèi)存資源池中,并對故障內(nèi)存進行在線隔離。隨后客戶可以對內(nèi)存等組件進行熱插拔。這項技術使得內(nèi)存故障引發(fā)的計劃外宕機時間縮減為0;
***,為了規(guī)避設備重啟數(shù)據(jù)加載到內(nèi)存時間過長問題,華為KunLun HANA一體機充分利用PCIe SSD的性能優(yōu)勢,推出了全閃存HANA一體機,這一產(chǎn)品非常適用于數(shù)據(jù)備份以及系統(tǒng)升級等場景。
截至目前,SAP與華為的戰(zhàn)略合作解決方案已獲得全球廣大客戶的認可與信賴。華為 KunLun SAP HANA一體機在零售、制造、能源、高科技、金融等行業(yè)已有大規(guī)模應用,其中中國石油、意大利電信TIM、俄羅斯鐵路、歐洲***大百貨公司ECI都是行業(yè)客戶代表。
***時間挖掘到數(shù)據(jù)價值,并作出決策意味著能夠***時間獲取利潤。數(shù)據(jù)爆炸式增長的今天,實時處理和分析重要卻擁有極高的技術壁壘。華為KunLun SAP HANA一體機的出現(xiàn)打破了數(shù)據(jù)分析瓶頸,讓企業(yè)客戶能夠?qū)崟r便捷的掌控整個系統(tǒng),始終站在商業(yè)發(fā)展的最前沿。
全文結束--