如何破解大數(shù)據(jù)的三大困境 直達(dá)成果?
原創(chuàng)【51CTO.com原創(chuàng)稿件】數(shù)字經(jīng)濟(jì)時(shí)代,越來(lái)越多的企業(yè)認(rèn)識(shí)到數(shù)據(jù)對(duì)企業(yè)業(yè)務(wù)發(fā)展的重要作用,只有更快速、全面、有效地理解數(shù)據(jù),才能有效的展開(kāi)競(jìng)爭(zhēng),面向企業(yè)數(shù)據(jù)進(jìn)行敏捷分析成為核心需求,而介于業(yè)務(wù)和IT人之間的數(shù)據(jù)科學(xué)家也是炙手可熱,成了DT時(shí)代的寵兒。
來(lái)自第三方的調(diào)查報(bào)告顯示,分析技術(shù)正在成長(zhǎng)為價(jià)值2000億美元的產(chǎn)業(yè),而且還在永無(wú)休止地增長(zhǎng),這項(xiàng)結(jié)果無(wú)疑為廣大分析公司注入了一針強(qiáng)心劑。然而,在調(diào)查樣本中,74%的企業(yè)決策者表示分析技術(shù)過(guò)于復(fù)雜,42%的受訪者認(rèn)為企業(yè)員工難以使用或理解分析技術(shù),更有高達(dá)79%的受訪者表示他們需要獲得更多企業(yè)數(shù)據(jù),才能高效完成任務(wù)。
由此可見(jiàn),現(xiàn)有的分析產(chǎn)品在使用過(guò)程中仍然存在諸多問(wèn)題,該如何改進(jìn)呢?
在今年10月中旬于拉斯維加斯舉辦的“Teradata全球用戶(hù)大會(huì)”上,Teradata發(fā)布了全新平臺(tái)“Teradata Vantage”,提供描述性、預(yù)測(cè)性與指示性分析、自主性決策、機(jī)器學(xué)習(xí)、可視化工具等廣泛功能,可部署在公有云、本地環(huán)境、優(yōu)化型或通用基礎(chǔ)設(shè)施,或以“即服務(wù)”的方式提供。
Vantage是優(yōu)勢(shì)之意,這也體現(xiàn)了Teradata繼續(xù)為客戶(hù)改善和調(diào)優(yōu)產(chǎn)品的信心,數(shù)據(jù)智能已經(jīng)到了“超越分析,直達(dá)成果”的時(shí)代。
Teradata天睿公司大中華區(qū)總裁辛兒倫(Aaron HSIN)
“全世界的市場(chǎng)上還沒(méi)有第二家數(shù)據(jù)分析公司可以做到端到端的數(shù)據(jù)分析能力。” Teradata天睿公司大中華區(qū)總裁辛兒倫在接受51CTO記者采訪時(shí)表示:“Teradata品牌的核心目標(biāo)是無(wú)處不在的數(shù)據(jù)智能,在任何的基礎(chǔ)架構(gòu)中隨時(shí)提供所有你想要的數(shù)據(jù),所有你能獲得到的數(shù)據(jù),提供重要客戶(hù)的業(yè)務(wù)分析成果。” 他表示,只要客戶(hù)相信數(shù)據(jù)能夠改變世界,Teradata就能與客戶(hù)共同面對(duì)機(jī)遇與挑戰(zhàn),幫助其實(shí)現(xiàn)想要達(dá)成的目標(biāo)。
辛兒倫強(qiáng)調(diào),在Teradata大中華區(qū)的一千多名員工中,有70%以上的員工來(lái)自咨詢(xún)服務(wù)團(tuán)隊(duì),積累和匯集了大量數(shù)據(jù)分析領(lǐng)域的方法論、行業(yè)模型、數(shù)據(jù)模型以及技術(shù)專(zhuān)家,這是助力客戶(hù)項(xiàng)目成功,達(dá)到有效業(yè)務(wù)成果的基石。
大數(shù)據(jù)分析有兩個(gè)階段:一是完成數(shù)據(jù)的存儲(chǔ),解決如何把海量的、非結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)下來(lái)的問(wèn)題;第二個(gè)階段是敏捷地分析,也就是在任何時(shí)間、用任何工具、用各種分析方法得出想要的分析結(jié)果。從成本的角度來(lái)看,一階段已經(jīng)完成,數(shù)據(jù)存儲(chǔ)的問(wèn)題已經(jīng)解決,而敏捷則上升為企業(yè)客戶(hù)的核心需求。
大數(shù)據(jù)平臺(tái)的三大難題
Teradata經(jīng)過(guò)大量的市場(chǎng)和客戶(hù)調(diào)研發(fā)現(xiàn),自2010年至今,現(xiàn)有的大數(shù)據(jù)平臺(tái)普遍面臨三大問(wèn)題:
頭一大問(wèn)題:分析語(yǔ)言和分析工具過(guò)于分散、凌亂。當(dāng)前的分析語(yǔ)言和分析工具十分廣泛,客戶(hù)為了適應(yīng)這樣的變化,往往要為了不同的工具去臨時(shí)搭建數(shù)據(jù)平臺(tái),例如將數(shù)據(jù)從數(shù)據(jù)平臺(tái)中抽取提取出來(lái),變成SAS的格式或R的格式,才能做分析。
第二大問(wèn)題:隨著數(shù)據(jù)平臺(tái)的增多,平臺(tái)之間頻繁的數(shù)據(jù)交換帶來(lái)的數(shù)據(jù)質(zhì)量問(wèn)題。由于分析語(yǔ)言和分析工具的分散,數(shù)據(jù)平臺(tái)從早期的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市,到數(shù)據(jù)探索平臺(tái)、Spark平臺(tái)、機(jī)器學(xué)習(xí)平臺(tái),每一個(gè)分析需求誕生一個(gè)平臺(tái),形成了一個(gè)個(gè)孤島,各平臺(tái)之間頻繁的數(shù)據(jù)交換嚴(yán)重影響數(shù)據(jù)質(zhì)量,直接影響分析結(jié)果的準(zhǔn)確性。
第三大問(wèn)題:對(duì)于CTO或IT架構(gòu)師而言,誰(shuí)也不能確定未來(lái)的技術(shù)演進(jìn)方向。架構(gòu)師在搭建IT架構(gòu)時(shí)會(huì)考慮如何保持彈性、如何進(jìn)行演進(jìn)而不被顛覆。例如,從X86一體機(jī)架構(gòu),到分布式的云架構(gòu),從公有云到混合云架構(gòu),數(shù)次的架構(gòu)更迭衍生出諸多問(wèn)題。在什么樣的環(huán)境下進(jìn)行穩(wěn)定和可持續(xù)發(fā)展的IT部署架構(gòu),能夠?qū)崿F(xiàn)敏捷分析,且能應(yīng)用各種分析工具進(jìn)行彈性部署和統(tǒng)一管理,消除數(shù)據(jù)孤島,是所有CTO和架構(gòu)師共同關(guān)注的問(wèn)題。
Teradata Vantage的破解之道
Teradata Vantage不光是一款產(chǎn)品,也是一個(gè)體系。為了敏捷地給客戶(hù)提供分析工具和方法,讓客戶(hù)數(shù)據(jù)產(chǎn)生的價(jià)值更勝一籌,Vantage一詞應(yīng)運(yùn)而生。實(shí)際上,Teradata Vantage是統(tǒng)一的整合的分析環(huán)境,不用擔(dān)心會(huì)形成數(shù)據(jù)孤島。同時(shí),它支持幾乎所有主流的分析工具和語(yǔ)言,并且打通了所有數(shù)據(jù)類(lèi)型的接口,靈活支持多種數(shù)據(jù)類(lèi)型、格式以及異構(gòu)數(shù)據(jù)存儲(chǔ)。此外,Vantage支持任意購(gòu)買(mǎi)方式和在任意環(huán)境部署,同時(shí)支持自由部署和軟件許可遷移。
Teradata天睿公司大中華區(qū)解決方案總監(jiān)姜欣(Geoffrey Jiang)
Teradata天睿公司大中華區(qū)解決方案總監(jiān)姜欣表示:Teradata Vantage降低了客戶(hù)使用數(shù)據(jù)分析平臺(tái)的難度,讓使用者能夠把更多的時(shí)間用于分析問(wèn)題本身,而不是花時(shí)間準(zhǔn)備數(shù)據(jù)或?qū)W習(xí)分析工具的使用方法,從而大幅提高使用效率,更加敏捷。即使是業(yè)務(wù)人員也可以在Vantage平臺(tái)上簡(jiǎn)便地實(shí)現(xiàn)一些小功能,并從中得到自己想要的數(shù)據(jù)。
從架構(gòu)來(lái)看,Teradata Vantage主要分為四層:數(shù)據(jù)存儲(chǔ)、分析引擎、分析語(yǔ)言和分析工具。底層是Vantage的數(shù)據(jù)存儲(chǔ)格式,目前支持Teradata、AWS S3的數(shù)據(jù)存儲(chǔ)格式,將來(lái)會(huì)支持更多。分析引擎層,通過(guò)高速連接器把不同的引擎連接起來(lái),目前發(fā)布的是SQL+引擎,機(jī)器學(xué)習(xí)引擎和圖分析引擎。語(yǔ)言方面,用戶(hù)將能夠在SQL、Python、R、SAS等最常見(jiàn)分析語(yǔ)言和分析工具以及廣泛的商業(yè)智能與可視化工具之間隨意切換,并使用SAS、Jupyter、RStudio等高級(jí)功能。該平臺(tái)還提供JSON、BSON、AVRO、CSV、XML等多結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)與分析能力。
姜欣強(qiáng)調(diào),SQL+不是簡(jiǎn)單的標(biāo)準(zhǔn)SQL,而是基于SQL擴(kuò)展了很多關(guān)于分析方面的功能和函數(shù),特別是4D分析,它是面向物聯(lián)網(wǎng)數(shù)據(jù),通過(guò)時(shí)序、時(shí)間、位置、空間等方面的數(shù)據(jù)進(jìn)行混合分析。4D分析是邊緣計(jì)算里的重要內(nèi)容,可以在時(shí)間和空間兩個(gè)變量上進(jìn)行任意變換。
QueryGrid
他還著重介紹了Teradata Vantage平臺(tái)的核心組件——QueryGrid。QueryGrid 要完成兩個(gè)任務(wù),一是實(shí)現(xiàn)不同版本的數(shù)據(jù)平臺(tái)(如Hadoop平臺(tái)、機(jī)器學(xué)習(xí)平臺(tái)等)跟不同數(shù)據(jù)存儲(chǔ)之間的連接;二是通過(guò)QueryGrid將不同的分析引擎(如SQL+、TensorFlow、Spark等引擎)集成,無(wú)縫連接和打通。Vantage通過(guò)QueryGrid更大限度地減少數(shù)據(jù)移動(dòng)和重復(fù),隨時(shí)隨地處理數(shù)據(jù),并運(yùn)用Push-Down處理技術(shù),實(shí)現(xiàn)可擴(kuò)展的數(shù)據(jù)傳遞。
Teradata Vantage當(dāng)前版本
Teradata Vantage未來(lái)演進(jìn)方向
“數(shù)據(jù)分析有很多是跨行業(yè)共性的,很多方法論、架構(gòu)和模型都是可以復(fù)用的。” 辛兒倫如是說(shuō)。據(jù)悉,沃爾沃汽車(chē)將Teradata Vantage用于無(wú)人駕駛汽車(chē)和行車(chē)系統(tǒng)的研發(fā),通過(guò)Vantage上集成的機(jī)器學(xué)習(xí)和圖分析引擎,實(shí)現(xiàn)車(chē)輛運(yùn)行過(guò)程中對(duì)街景、路況、路上的行人等的機(jī)器學(xué)習(xí),以及濕滑路面防滑系統(tǒng)的預(yù)知和啟動(dòng),從而提高車(chē)輛的安全性,提升服務(wù)水平。除此之外,西門(mén)子醫(yī)療將Vantage平臺(tái)運(yùn)用于醫(yī)療設(shè)備的預(yù)測(cè)性維修。馬士基通過(guò)對(duì)其全球貨運(yùn)物流的冷凍貨柜進(jìn)行燃油經(jīng)濟(jì)優(yōu)化和冷藏庫(kù)溫度調(diào)控,可以大幅降低能耗,節(jié)約大量經(jīng)濟(jì)成本。
【51CTO原創(chuàng)稿件,合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】