微軟數(shù)據(jù)庫一體機(jī)升級 新技術(shù)架構(gòu)滿足大數(shù)據(jù)挑戰(zhàn)
原創(chuàng)作者:馬沛
在技術(shù)門檻較高的大數(shù)據(jù)領(lǐng)域,有著傳統(tǒng)優(yōu)勢的廠商是否能夠依然占據(jù)主流,加速推動資源的整合、優(yōu)化,提出端到端的一體化解決方案正變的尤為重要。
【51CTO專訪報道】企業(yè)客戶正在越來越看中供應(yīng)商的整體解決方案交付能力,大數(shù)據(jù)也不例外。企業(yè)需要的是涉及數(shù)據(jù)的獲取、存儲、分析等眾多技術(shù)與應(yīng)用的集合。只能提供某一單一技術(shù)方案的IT公司,會在大數(shù)據(jù)需求不斷爆發(fā)的過程中,接受挑戰(zhàn)。在技術(shù)門檻較高的大數(shù)據(jù)領(lǐng)域,有著傳統(tǒng)優(yōu)勢的廠商是否能夠依然占據(jù)主流,加速推動資源的整合、優(yōu)化,提出端到端的一體化解決方案正變的尤為重要。
微軟全球卓越中心PDW組總監(jiān)Russ Cavan近日接受51CTO記者專訪時特別提到,微軟也在接受大數(shù)據(jù)所帶來的挑戰(zhàn),不過微軟有備而來。2010年微軟***推出了基于SQL Server 2008 R2的數(shù)據(jù)庫一體機(jī),目前已經(jīng)發(fā)布了四個更新版本,并且微軟即將在2013年初正式推出基于SQL Server 2012的并行數(shù)據(jù)倉庫一體機(jī)PDW。
微軟全球卓越中心PDW組總監(jiān)Russ Cavan
PDW是針對企業(yè)數(shù)據(jù)倉庫、高度可擴(kuò)展而設(shè)計的軟硬一體機(jī)設(shè)備,采用“大規(guī)模并行處理”(MPP)體系結(jié)構(gòu)。在數(shù)據(jù)處理方面基于SQL Server 2012的并行數(shù)據(jù)倉庫提供了全新的PolyBase數(shù)據(jù)處理技術(shù),實現(xiàn)了用SQL語句對傳統(tǒng)關(guān)系型數(shù)據(jù)庫表與非關(guān)系型Hadoop數(shù)據(jù)表的統(tǒng)一查詢,并能夠在前端使用常用的Office工具比如Excel進(jìn)行BI分析的操作和展示。
PDW采用了 xVelocity 列存儲技術(shù),查詢速度提升近10~50倍、滿足實時數(shù)據(jù)倉庫的需求,高密度 Direct Attached Storage,存儲容量提升7倍,橫向擴(kuò)展可以實現(xiàn)從幾個TB到6PB的線性擴(kuò)展。“由于是軟硬件一體機(jī),內(nèi)部經(jīng)過了深度的優(yōu)化整合,提升性能的同時,架構(gòu)設(shè)計使得總體成本降低,PDW能夠?qū)崿F(xiàn)業(yè)界每TB更低的成本。”微軟中國高級產(chǎn)品市場經(jīng)理郝雪瑩談到:“我們用1PB的數(shù)據(jù)倉庫測試,SQL語句只需要1.5秒就完成了查詢。”
目前PDW的硬件合作伙伴為惠普和戴爾,由于軟硬件一體,并行數(shù)據(jù)倉庫一體機(jī)只需要很少的調(diào)整和優(yōu)化,實現(xiàn)了開箱即用,安裝速度和加載數(shù)據(jù)的速度較快,在服務(wù)器調(diào)整和優(yōu)化上也僅需很少時間,縮短部署時間、減少工作量和降低成本。此外,還能夠運(yùn)行大規(guī)模查詢,企業(yè)可以運(yùn)行更多報表、完成更復(fù)雜的分析、處理更大的數(shù)據(jù)集以及分析更詳細(xì)的數(shù)據(jù)。國家審計總署已經(jīng)選擇成為PDW在國內(nèi)的***家部署用戶
微軟高級數(shù)據(jù)倉庫架構(gòu)師喬怡與51CTO記者交流中介紹:“現(xiàn)在的審計業(yè)務(wù),面臨的數(shù)據(jù)總量已經(jīng)上升為TB級、甚至PB級,并且數(shù)據(jù)查詢分析的復(fù)雜性也在不斷提高。同時,審計需求本身為具有隨機(jī)性和突發(fā)性,審計人員需要根據(jù)判斷進(jìn)行海量數(shù)據(jù)的查詢、匯總和關(guān)聯(lián)分析,這就需要針對大數(shù)據(jù)的統(tǒng)一高度和并行訪問,并需要多種計算模式和分析方法,同時滿足宏觀或特定審計目標(biāo)。與此同時,更加無法忽視“時效性”的要求,審計署的處理效率受到更為嚴(yán)苛的挑戰(zhàn)。”
微軟高級數(shù)據(jù)倉庫架構(gòu)師喬怡
來自微軟全球卓越中心PDW組的架構(gòu)師Brian Walker分享說,他曾負(fù)責(zé)給大型美國連鎖超市HyVee實施過PDW項目,僅用了1天時間就完成了設(shè)備的部署和數(shù)據(jù)導(dǎo)入,并且與原有的數(shù)據(jù)庫平臺保持兼容,進(jìn)入生產(chǎn)使用。PDW并行數(shù)據(jù)倉庫一體機(jī)以更為容易部署的方式搭建分布式存儲和計算集群,在統(tǒng)一的架構(gòu)下實現(xiàn)對各種類型和各種規(guī)模數(shù)據(jù)的管理和并行處理,根據(jù)需求實現(xiàn)靈活擴(kuò)展,支持TB/PB級數(shù)據(jù)的高效加載,滿足多源異構(gòu)數(shù)據(jù)的即席查詢、聯(lián)合查詢和復(fù)雜關(guān)系處理,對大規(guī)模審計數(shù)據(jù)進(jìn)行快速、深入的分析和挖掘,將成為微軟在大數(shù)據(jù)戰(zhàn)略上重要的戰(zhàn)略布局。
責(zé)任編輯:馬沛
來源:
51CTO.com