大數(shù)據(jù)無(wú)疑已經(jīng)成為業(yè)界最熱點(diǎn)的話題之一，無(wú)論是傳統(tǒng)的企業(yè)，還是新興的互聯(lián)網(wǎng)企業(yè)，都在盯緊大數(shù)據(jù)這個(gè)巨大的市場(chǎng)。憑借著連續(xù)14年被Gartner評(píng)為數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)導(dǎo)者象限的Teradata，一直專注于數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)分析領(lǐng)域的創(chuàng)新，近日，Teradata天睿公司大中華區(qū)大數(shù)據(jù)事業(yè)部總監(jiān)孔宇華向記者展現(xiàn)了Teradata的大數(shù)據(jù)技術(shù)實(shí)力以及在大數(shù)據(jù)分析方面的創(chuàng)新。  

[[119174]]

Teradata天睿公司大中華區(qū)大數(shù)據(jù)事業(yè)部總監(jiān)孔宇華

目前，很多企業(yè)都在進(jìn)行大數(shù)據(jù)的工作，有些簡(jiǎn)單有些復(fù)雜。而孔宇華表示，大數(shù)據(jù)要從小做起，從一個(gè)應(yīng)用、一個(gè)業(yè)務(wù)需求開始，通過(guò)不同的數(shù)據(jù)源、不同的數(shù)據(jù)分析工具，實(shí)現(xiàn)大數(shù)據(jù)的應(yīng)用，最終幫助企業(yè)獲得數(shù)據(jù)的價(jià)值。很多企業(yè)收集非結(jié)構(gòu)化數(shù)據(jù)，而后保存到一個(gè)平臺(tái)中，就認(rèn)為將大數(shù)據(jù)做好了，其實(shí)不然?？子钊A認(rèn)為，真正挖掘大數(shù)據(jù)的價(jià)值是要通過(guò)數(shù)據(jù)分析才能實(shí)現(xiàn)。Teradata想傳遞給客戶的理念是，大數(shù)據(jù)可以從小做起，不一定是需要100個(gè)PC服務(wù)器或者等到積累1PB的數(shù)據(jù)才會(huì)做好。

在大數(shù)據(jù)分析時(shí)，孔宇華建議企業(yè)，可以從業(yè)務(wù)部門的需求開始，制定目標(biāo)和方向，而不一開始就去搭建平臺(tái)。當(dāng)有了目標(biāo)后，企業(yè)就知道需要的數(shù)據(jù)類型，而后加載少量數(shù)據(jù)，分析師可以做數(shù)據(jù)輪廓的分析，判斷數(shù)據(jù)是否適合，若不適合，可以加載企業(yè)數(shù)據(jù)進(jìn)行調(diào)整，若適合，加載更多數(shù)據(jù)進(jìn)行分析。孔宇華強(qiáng)調(diào)，數(shù)據(jù)的價(jià)值不在于存儲(chǔ)，而是在于分析，如果數(shù)據(jù)放進(jìn)一個(gè)平臺(tái)，通過(guò)分析才可以將數(shù)據(jù)的價(jià)值釋放出來(lái)。

Aster：大數(shù)據(jù)分析的“瑞士軍刀”

Teradata Aster大數(shù)據(jù)探索平臺(tái)，可以匯集不同的數(shù)據(jù)源，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，然后通過(guò)不同的分析方法，例如SQL分析、MapReduce、關(guān)聯(lián)分析、路徑分析、文本分析結(jié)合在一起，讓數(shù)據(jù)的價(jià)值變得更加容易把控。

孔宇華將Aster形象的比喻為大數(shù)據(jù)分析的“瑞士軍刀”，因?yàn)樵贏ster中，預(yù)置了很多分析算法，例如SQL、MapReduce、時(shí)間序列、地理空間、文字文本等。用戶使用相關(guān)分析算法工具時(shí)，不用挪動(dòng)數(shù)據(jù)，而是可以在數(shù)據(jù)的原始位置進(jìn)行訪問(wèn)，調(diào)取不同的方法和角度來(lái)分析數(shù)據(jù)。

 Teradata大數(shù)據(jù)解決方案——統(tǒng)一數(shù)據(jù)架構(gòu)

大數(shù)據(jù)時(shí)代，速度代表一切，而Aster在分析層面通過(guò)四個(gè)步驟可以讓用戶快速?gòu)臄?shù)據(jù)中獲得價(jià)值，即：數(shù)據(jù)獲取、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)分析、數(shù)據(jù)展現(xiàn)。在數(shù)據(jù)獲取方面，Aster可以直接連接Hadoop、Teradata以及其他不同的數(shù)據(jù)倉(cāng)庫(kù)，甚至是通過(guò)APIs連接微博。只要有APIs的平臺(tái)，Aster都可以直接連接從而進(jìn)行分析，因此也就減少了數(shù)據(jù)加載的麻煩；其次，在數(shù)據(jù)準(zhǔn)備方面，Aster提供接口和工具，可以將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化，將結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變成可分析的模型；第三，在數(shù)據(jù)分析方面，Aster提供了不同的分析方面給用戶使用；第四，在數(shù)據(jù)展現(xiàn)方面，Aster提供了可視化模塊，并且可以連接其他BI工具，此外Aster提供了一百多種函數(shù)，用于路徑分析、圖分析、數(shù)據(jù)轉(zhuǎn)換、統(tǒng)計(jì)分析等模塊。

Aster創(chuàng)新研發(fā)成果

去年，Teradata在發(fā)布最新的Aster大數(shù)據(jù)探索平臺(tái)時(shí)，也發(fā)布了Aster一些創(chuàng)新的研發(fā)成功，例如SNAP Framework、SQL Graph分析引擎和Aster文件存儲(chǔ)。

 SMAP Framework

SNAP Framework是介于存儲(chǔ)系統(tǒng)和分析系統(tǒng)之間的框架，有統(tǒng)一的SQL接口進(jìn)行訪問(wèn)，支持多重分析引擎和文件存儲(chǔ)。此外，在過(guò)去的數(shù)據(jù)庫(kù)行存儲(chǔ)基礎(chǔ)上，增加了列存儲(chǔ)以及文件存儲(chǔ)。在分析層面，除了SQL和MapReduce，還增加了圖形分析引擎SQL-Graph，通過(guò)圖形分析引擎可以快速做出網(wǎng)絡(luò)數(shù)據(jù)圖形分析。SQL-Graph圖形引擎支持本機(jī)處理大規(guī)模分析圖表查詢以及預(yù)建圖形功能，并可用于客戶流失、產(chǎn)品關(guān)聯(lián)性、欺詐偵測(cè)以及推薦引擎分析等。Aster文件存儲(chǔ)可以提供不同存儲(chǔ)選項(xiàng)，用戶可以通過(guò)文件存儲(chǔ)保存全部數(shù)據(jù)，Aster文件存儲(chǔ)系統(tǒng)可以快速訪問(wèn)并存儲(chǔ)PB級(jí)原始數(shù)據(jù)，提供存儲(chǔ)管理，并且使數(shù)據(jù)真正可用于預(yù)處理。

突破R語(yǔ)言限制

R是用于統(tǒng)計(jì)分析、繪圖的語(yǔ)言和操作環(huán)境，面向數(shù)據(jù)挖掘人員和數(shù)據(jù)科學(xué)家的一種開源統(tǒng)計(jì)語(yǔ)言及軟件。根據(jù)Rexer Analytics咨詢公司調(diào)查顯示，使用R語(yǔ)言的數(shù)據(jù)挖掘人員越來(lái)越多，70%的調(diào)查對(duì)象稱他們正在使用R語(yǔ)言。

在今年7月，Teradata通過(guò)放寬內(nèi)存和處理能力限制條件，將Aster與R整合，將R的運(yùn)算引擎以及索引整合到Aster中，在數(shù)據(jù)庫(kù)中運(yùn)行R語(yǔ)言，高速處理海量數(shù)據(jù)。

將R語(yǔ)言并行處理還有不小的挑戰(zhàn)，例如R分散于各節(jié)點(diǎn)或各服務(wù)器，有利于行的獨(dú)立分析處理，但不利于分析功能所需要的所有數(shù)據(jù)。因此，Teradata采取的方法是，通過(guò)Aster MPP架構(gòu)來(lái)運(yùn)行開源R語(yǔ)言，實(shí)現(xiàn)高效并行分析。通過(guò)整合超過(guò)100種Aster Discovery Portfolio分析功能和5000多種R工具包，實(shí)現(xiàn)更強(qiáng)大的數(shù)據(jù)分析能力。

而Teradata Aster R也有四大優(yōu)勢(shì)，首先是高效可靠的分析，通過(guò)Aster Discovery Portfolio分析功能，保證數(shù)據(jù)大規(guī)模并發(fā)分析；第二是高易用性，Aster R中大量預(yù)置并發(fā)分析工具包，用戶無(wú)需變成即可使用；第三高可延展性，并發(fā)運(yùn)行任何開源R語(yǔ)言工具包，并且整合開源R語(yǔ)言工具包及Aster分析；第四是自助服務(wù)，通過(guò)Teradata搜索網(wǎng)絡(luò)可訪問(wèn)多個(gè)平臺(tái)數(shù)據(jù)。

 孔宇華認(rèn)為，Aster與R的整合實(shí)現(xiàn)了強(qiáng)強(qiáng)組合，R中有很多不同的算法以及不同的分析函數(shù)展示的方法，而Aster提供了分布式的平臺(tái)，不僅擁有自己的函數(shù)，還可以接納R中的新算法，即可以通過(guò)SQL來(lái)使用Aster，也可以通過(guò)R來(lái)利用Aster平臺(tái)中的資源數(shù)據(jù)。

Hadoop與Aster的不同

Aster和Hadoop同樣是MPP架構(gòu)，但在存儲(chǔ)、運(yùn)算引擎以及界面方面都有較多的差異，這也決定兩者所擅長(zhǎng)任務(wù)的差別。

Hadoop的底層是文件存儲(chǔ)的系統(tǒng)，雖然沒(méi)有MPP數(shù)據(jù)庫(kù)的智能存儲(chǔ)，但是可以更快地加載數(shù)據(jù)，其層是MapReduce做運(yùn)算引擎。而Aster最多的不同在于底層的架構(gòu)是數(shù)據(jù)庫(kù)的存儲(chǔ)，上層預(yù)裝有不同的運(yùn)算引擎，包括SQL、MapReduce、文本分析、關(guān)聯(lián)分析、圖形分析，可以直接支持SQL的BI和加載工具。

此外，在做分析時(shí)，Aster中有很多分析算法，50%-60%會(huì)用到SQL，而在HANA上面做分析會(huì)相對(duì)較慢?？子钊A認(rèn)為，在Aster上做大數(shù)據(jù)分析會(huì)更加方便，因?yàn)榫ǚ治龅娜撕芏喽际嵌肧QL語(yǔ)句的，其次，在Aster上做分析的速度也會(huì)快很多。因此，Aster一直作為Teradata的數(shù)據(jù)探索和數(shù)據(jù)分析的平臺(tái)。

面對(duì)發(fā)展迅速的開源Hadoop解決方案，Teradata通過(guò)廣受客戶認(rèn)可的統(tǒng)一數(shù)據(jù)架構(gòu)實(shí)現(xiàn)積極對(duì)接。通過(guò)與HortonWorks合作，在Teradata統(tǒng)一數(shù)據(jù)架構(gòu)中使用Hadoop中最實(shí)用的模塊進(jìn)行數(shù)據(jù)收集和轉(zhuǎn)換等。此外，Teradata還提供了QueryGrid工具，運(yùn)用QueryGrid，用戶可以從Teradata或Aster訪問(wèn)其他平臺(tái)，做到整個(gè)數(shù)據(jù)架構(gòu)的整合?？子钊A表示，Teradata不希望每一個(gè)數(shù)據(jù)平臺(tái)，例如Hadoop、數(shù)據(jù)倉(cāng)庫(kù)、探索平臺(tái)和數(shù)據(jù)集市形成數(shù)據(jù)孤島。而QueryGrid可以將不同平臺(tái)的數(shù)據(jù)進(jìn)行整合，更好地進(jìn)行數(shù)據(jù)共享。

為了提升Teradata在Hadoop上的技術(shù)實(shí)力，進(jìn)一步增強(qiáng)Teradata統(tǒng)一數(shù)據(jù)架構(gòu)的功能和優(yōu)勢(shì)，Teradata最近收購(gòu)了Revelytix和Hadapt兩家公司的資產(chǎn)和人員。Revelytix擁有獨(dú)特的元數(shù)據(jù)管理技術(shù)，在企業(yè)級(jí)信息集成領(lǐng)域擁有專業(yè)水平，為Teradata帶來(lái)了全新的Hadoop數(shù)據(jù)管理和數(shù)據(jù)準(zhǔn)備工具，可通過(guò)單一軟件解決方案達(dá)成元數(shù)據(jù)集成、數(shù)據(jù)沿襲（lineage）及數(shù)據(jù)整理（data wrangling）三大功能。而Hadapt可以在Hadoop上建立數(shù)據(jù)倉(cāng)庫(kù)，幫助Teradata完善在Aster中的功能以及與Hadoop的結(jié)合，并且提升并推動(dòng)Teradata統(tǒng)一數(shù)據(jù)架構(gòu)不斷演進(jìn)，幫助加速了Teradata對(duì)統(tǒng)一數(shù)據(jù)架構(gòu)中Hadoop的整合。

大數(shù)據(jù)落地的“天時(shí)、地利、人和”

孔宇華認(rèn)為，大數(shù)據(jù)創(chuàng)新過(guò)程是一個(gè)試錯(cuò)的過(guò)程，而大數(shù)據(jù)落地要有三大要素，即技術(shù)平臺(tái)、人員技能和流程制度。

用戶需要選擇合適的大數(shù)據(jù)平臺(tái)，并且是要易于使用，能夠和現(xiàn)有平臺(tái)輕易結(jié)合；其次是人員，可以提高內(nèi)部人員技能或者通過(guò)外部人員來(lái)補(bǔ)充技能，現(xiàn)在很多互聯(lián)網(wǎng)企業(yè)都在用Hadoop做大數(shù)據(jù)分析，而傳統(tǒng)企業(yè)要想將這批優(yōu)秀人才收入囊中實(shí)屬不易，為此，Teradata就專門招攬Hadoop相關(guān)人才，幫助用戶更好的實(shí)施大數(shù)據(jù)；最后是流程，要結(jié)合大數(shù)據(jù)需求的敏捷項(xiàng)目管理方法，根據(jù)業(yè)務(wù)需求快速讓技術(shù)人員利用平臺(tái)來(lái)提升數(shù)據(jù)的價(jià)值。

目前，Teradata在全球已經(jīng)擁有大量的客戶以及成功案例，而在中國(guó)也已經(jīng)與超過(guò)10個(gè)行業(yè)的用戶進(jìn)行合作，例如：電信、金融、保險(xiǎn)、證券、航空、快遞、零售、電商等?？子钊A介紹，Teradata在北京擁有自己的大數(shù)據(jù)分析研發(fā)團(tuán)隊(duì)，主要負(fù)責(zé)平臺(tái)的數(shù)據(jù)庫(kù)以及析函數(shù)的研發(fā)。此外，Teradata在中國(guó)還擁有大數(shù)據(jù)實(shí)施團(tuán)隊(duì)與實(shí)施合作伙伴，幫助中國(guó)客戶實(shí)現(xiàn)大數(shù)據(jù)分析，最終幫助國(guó)內(nèi)企業(yè)完成轉(zhuǎn)型成數(shù)據(jù)驅(qū)動(dòng)型企業(yè)的愿景。