2016年是大數(shù)據(jù)發(fā)展歷程中相當(dāng)振奮的一年，大數(shù)據(jù)背后的價(jià)值已經(jīng)獲得業(yè)界的認(rèn)可，眾人對(duì)大數(shù)據(jù)的追捧開始更趨于理性。海量數(shù)據(jù)如何整合，如何分析加以利用，如何驅(qū)動(dòng)商業(yè)這一連串的追問，將大數(shù)據(jù)的應(yīng)用也推向新一輪的高潮。

多個(gè)維度劃分大數(shù)據(jù)

華為認(rèn)為按照不同的維度可以將大數(shù)據(jù)做不同的劃分。為了更加全面地認(rèn)識(shí)大數(shù)據(jù)，可從三個(gè)維度來準(zhǔn)確定位大數(shù)據(jù)。

從業(yè)務(wù)創(chuàng)新角度看，往往是以業(yè)務(wù)問題為出發(fā)點(diǎn)圍繞著商業(yè)理解、數(shù)據(jù)科學(xué)和技術(shù)實(shí)踐形成一個(gè)系統(tǒng)性的數(shù)據(jù)價(jià)值發(fā)現(xiàn)體系。目前主要是從數(shù)據(jù)獲取、數(shù)據(jù)存查、客戶洞察、客戶標(biāo)簽、實(shí)時(shí)消費(fèi)這幾個(gè)環(huán)節(jié)來切入，整體支撐業(yè)務(wù)創(chuàng)新。

從大數(shù)據(jù)的發(fā)展方向來看，隨著數(shù)據(jù)量的增加，以及訪問并發(fā)量的增加，未來大數(shù)據(jù)平臺(tái)將是一個(gè)端到端的分布式的架構(gòu)，從底層大數(shù)據(jù)的平臺(tái)到中間數(shù)據(jù)的服務(wù)層，甚至應(yīng)用層，都將呈現(xiàn)出一個(gè)全分布式的大數(shù)據(jù)平臺(tái)。

而從技術(shù)演進(jìn)的角度看，又可以暫將大數(shù)據(jù)分為三個(gè)階段。

2007年到2012年，大數(shù)據(jù)以Hadoop原生技術(shù)為主，主要是以HDFS作為分布式的存儲(chǔ)，MapReduce作為并行計(jì)算框架，做一些分布式的任務(wù)。HBase作為NoSQL數(shù)據(jù)庫去做單一的大批量的大負(fù)載的計(jì)算能力。

2013年到2016年，可看作是大數(shù)據(jù)2.0時(shí)代。Hadoop2.0將計(jì)算層和資源管理層做了分離。MapReduce分成兩部分，一部分是專注于計(jì)算的MapReduce，另外一部分專注于集成管理的YARN。其中YARN形成了一個(gè)統(tǒng)一的資源管理，便于大數(shù)據(jù)平臺(tái)內(nèi)部的統(tǒng)一資源調(diào)配。此外像流處理的這種技術(shù)也在不斷地完善。

2018年到2020年，有專家預(yù)測將出現(xiàn)企業(yè)級(jí)的數(shù)據(jù)智能平臺(tái)。企業(yè)級(jí)大數(shù)據(jù)平臺(tái)將具備開發(fā)生態(tài)、行業(yè)優(yōu)化、易運(yùn)維、安全可靠，以及內(nèi)核演進(jìn)內(nèi)核維護(hù)等特征。屆時(shí)業(yè)界更需要的將是能夠創(chuàng)建新的社區(qū)頂級(jí)項(xiàng)目，并且獲得生態(tài)認(rèn)可的大數(shù)據(jù)廠商。那些只基于Hadoop開發(fā)應(yīng)用的大數(shù)據(jù)團(tuán)隊(duì)，市場空間將遭遇發(fā)展瓶頸。

多行業(yè)加速大數(shù)據(jù)應(yīng)用

大數(shù)據(jù)究竟可以為企業(yè)級(jí)用戶帶來什么價(jià)值?最重要的是五點(diǎn)：“一是技術(shù)高效、低成本，二是增強(qiáng)管理水平，三是提升業(yè)務(wù)效率，四是提升客戶體驗(yàn)，五是創(chuàng)新商業(yè)模式。“未來各行各業(yè)都會(huì)產(chǎn)生大量數(shù)據(jù)，讓數(shù)據(jù)產(chǎn)生價(jià)值，讓使用數(shù)據(jù)的人有更優(yōu)質(zhì)的體驗(yàn)感受，讓數(shù)據(jù)能夠變現(xiàn)，是現(xiàn)在企業(yè)用戶如此熱衷大數(shù)據(jù)的主要因素。

我們知道，政府也在積極推動(dòng)大數(shù)據(jù)的應(yīng)用，在智慧城市、城市的精細(xì)化管理、醫(yī)療、教育、交通、社會(huì)安全、工業(yè)等多個(gè)領(lǐng)域探討大數(shù)據(jù)的應(yīng)用。而目前已經(jīng)走在大數(shù)據(jù)應(yīng)用前列的金融行業(yè)，從2016年到2020年這五年期間，數(shù)據(jù)治理與數(shù)據(jù)服務(wù)成為了銀行業(yè)對(duì)大數(shù)據(jù)應(yīng)用的非常重要的兩個(gè)方向。例如實(shí)時(shí)征信、風(fēng)險(xiǎn)審計(jì)、內(nèi)部管理、精準(zhǔn)推薦、歷史數(shù)據(jù)管理、小微貸、客戶預(yù)測、客戶流失分析等多個(gè)應(yīng)用都需要大數(shù)據(jù)技術(shù)來支撐。

華為大數(shù)據(jù)發(fā)展之路

大數(shù)據(jù)是華為四個(gè)戰(zhàn)略方向之一，華為在美國研究所、歐洲研究所布局100多高端大數(shù)據(jù)專業(yè)人才，進(jìn)行未來3到5年的大數(shù)據(jù)技術(shù)研究，確保華為大數(shù)據(jù)產(chǎn)品的長期的技術(shù)競爭力。

華為在2007年開始研究大數(shù)據(jù)，2013年發(fā)布了FusionlnsightHD版本，F(xiàn)usionInsight是華為面向眾多行業(yè)客戶推出的，基于Apache開源社區(qū)軟件進(jìn)行功能增強(qiáng)的企業(yè)級(jí)大數(shù)據(jù)存儲(chǔ)、查詢和分析的統(tǒng)一平臺(tái)，可以讓企業(yè)可以更快、更準(zhǔn)、更穩(wěn)的從各類繁雜無序的海量數(shù)據(jù)中發(fā)現(xiàn)全新價(jià)值點(diǎn)和企業(yè)商機(jī)。

華為大數(shù)據(jù)的產(chǎn)品是一個(gè)全站式的大數(shù)據(jù)產(chǎn)品，它從大數(shù)據(jù)的平臺(tái)FusionlnsightHD到數(shù)據(jù)的集成平臺(tái)Porter，再到數(shù)據(jù)的分析挖掘數(shù)據(jù)建模的平臺(tái)Miner，到數(shù)據(jù)服務(wù)平臺(tái)FarmerRTD，具備全流程的全分布式的能力。它集成了業(yè)界各種標(biāo)準(zhǔn)組件，如分布式文件系統(tǒng)YARN、MapReduce、Spark等等，還包括Redis、SOLER、Strom這樣在企業(yè)級(jí)很少集成的組件，甚至華為獨(dú)創(chuàng)的自研組件也在其中。“未來華為大數(shù)據(jù)平臺(tái)將能夠?qū)崿F(xiàn)各種應(yīng)用，包括對(duì)跑批的應(yīng)用、對(duì)流式處理的應(yīng)用、對(duì)實(shí)時(shí)查詢的應(yīng)用、對(duì)機(jī)器學(xué)習(xí)的應(yīng)用等等，都可以在統(tǒng)一平臺(tái)上去實(shí)現(xiàn)。”

除此之外，企業(yè)級(jí)的大數(shù)據(jù)平臺(tái)還應(yīng)該具備高可靠性、高性能、應(yīng)用性、高安全這些能力。華為在此基礎(chǔ)上還提供了可視化的數(shù)據(jù)集成能力、HDFS的二級(jí)索引能力，毫秒級(jí)的流處理平臺(tái)能力，慢盤檢測、多租戶的解決方案等等，真正做到了基于業(yè)務(wù)、開發(fā)兼容、敏捷可信。

事實(shí)證明，F(xiàn)usionInsight的推出恰當(dāng)時(shí)，截止2016年上半年華為大數(shù)據(jù)產(chǎn)品已經(jīng)成功應(yīng)用于各個(gè)行業(yè)、客戶遍布全球20多個(gè)國家，實(shí)施案例超過600個(gè)。在中國金融大數(shù)據(jù)領(lǐng)域，市場占有率超過60%。

華為也一直致力于推動(dòng)大數(shù)據(jù)社區(qū)的發(fā)展，社區(qū)貢獻(xiàn)率穩(wěn)居前列。FusionInsight是國內(nèi)唯一的與大數(shù)據(jù)社區(qū)長期同步研究的大數(shù)據(jù)平臺(tái)產(chǎn)品。2016年華為創(chuàng)建了頂級(jí)的社區(qū)項(xiàng)目Apache CarboonData，還發(fā)布了實(shí)時(shí)反欺詐的平臺(tái)FarmerRTD。2017年初華為還將發(fā)布基于社區(qū)最新的Hadoop3.0和Spark 2.0的大數(shù)據(jù)產(chǎn)品。華為已經(jīng)成為大數(shù)據(jù)社區(qū)的引領(lǐng)者，位居全球大數(shù)據(jù)研究的第一陣營。