【51CTO.com原創(chuàng)稿件】作為最重要的基礎(chǔ)技術(shù)之一，騰訊云大數(shù)據(jù)技術(shù)有效地支撐著騰訊內(nèi)部所有業(yè)務(wù)，并為各行業(yè)的數(shù)字化提供基礎(chǔ)服務(wù)。從最初解決計算的問題，到解決時效性的問題，再到提升平臺擁有的數(shù)據(jù)價值，到現(xiàn)在的平臺體系智能化演進(jìn)，可以說是一個從粗狂到精細(xì)化耕耘的過程。

早些時候，騰訊主要使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫。2009年開始，傳統(tǒng)的單機(jī)數(shù)據(jù)庫所提供的服務(wù)，在系統(tǒng)可擴(kuò)展性、性價比方面已不再適合騰訊業(yè)務(wù)爆發(fā)式的增長。面對這種變化，騰訊大數(shù)據(jù)轉(zhuǎn)向分布式，基于開源的Hadoop體系，構(gòu)建了騰訊云第一代大數(shù)據(jù)平臺，并建設(shè)離線計算平臺，主要發(fā)力規(guī)模化。騰訊云大數(shù)據(jù)由此進(jìn)入第一階段。三年中，騰訊實現(xiàn)了從關(guān)系型數(shù)據(jù)庫到自建大數(shù)據(jù)平臺的全面遷移，到2012年，騰訊云大數(shù)據(jù)的單集群規(guī)模突破了4400臺。

2012年，移動互聯(lián)網(wǎng)爆發(fā)，為了應(yīng)對業(yè)務(wù)數(shù)據(jù)統(tǒng)計及時性、快速性的需求，騰訊云大數(shù)據(jù)從Hadoop轉(zhuǎn)向Spark和Storm體系，在吸收開源技術(shù)的基礎(chǔ)上，結(jié)合騰訊自身的需求，探索流式計算、秒級采集系統(tǒng)的建設(shè)，構(gòu)建企業(yè)級的實時數(shù)據(jù)分析體系，騰訊云大數(shù)據(jù)發(fā)展進(jìn)入第二階段，用Java重寫了Storm，同時配套自研了TubeMQ。

2015年2018，騰訊云大數(shù)據(jù)邁入了第三階段。隨著數(shù)據(jù)挖掘、數(shù)據(jù)應(yīng)用的深入，騰訊云大數(shù)據(jù)再次自我迭代，于2016年推出了自研機(jī)器學(xué)習(xí)平臺Angel，專攻復(fù)雜計算場景，可以進(jìn)行大規(guī)模的數(shù)據(jù)訓(xùn)練，支撐內(nèi)容推薦、廣告推薦等AI應(yīng)用場景。Angel由騰訊與北京大學(xué)聯(lián)合研發(fā)，兼顧了工業(yè)界的高可用性和學(xué)術(shù)界的創(chuàng)新性，不僅支撐騰訊自身業(yè)務(wù)需求，在行業(yè)上也具有里程碑意義。

2019年開始，業(yè)界已經(jīng)開始嘗試人工智能輔助大數(shù)據(jù)運(yùn)營，但是不夠體系化，騰訊云大數(shù)據(jù)的第四階段把此作為了重點(diǎn)，讓大數(shù)據(jù)與AI框架融合互惠，讓大數(shù)據(jù)裝上AI大腦，既能夠解決數(shù)據(jù)的問題，又能夠反哺整個平臺更好的智能化、體系化運(yùn)營，輔助騰訊內(nèi)部包括問題的診斷、分析、優(yōu)化、成本的降低。

三層產(chǎn)品矩陣：基礎(chǔ)設(shè)施、產(chǎn)品開發(fā)、應(yīng)用服務(wù)

說完騰訊云大數(shù)據(jù)的發(fā)展歷史，再來說說騰訊云大數(shù)據(jù)的產(chǎn)品矩陣。首先最底層是基礎(chǔ)的存儲計算設(shè)施，如EMR、神盾聯(lián)邦計算等。這一層除了提供基礎(chǔ)設(shè)施之外，還能夠幫助企業(yè)運(yùn)維工程師快速構(gòu)建一個性能比較卓越并且成本很低廉、更安全的算力。

向上的一層是產(chǎn)品開發(fā)層，強(qiáng)調(diào)的是開箱即用，可以用一個平臺搞定某一個業(yè)務(wù)場景開發(fā)的所有內(nèi)容，可以讓企業(yè)的開發(fā)人員更多地關(guān)注業(yè)務(wù)，而不用太多考慮平臺本身。
最上面的應(yīng)用層，則會提供各種各樣的接近業(yè)務(wù)的SaaS化的產(chǎn)品，如營銷的能力、增長的能力，BI的能力，風(fēng)控的能力等。

總結(jié)起來，騰訊云大數(shù)據(jù)的產(chǎn)品矩陣分為三層：基礎(chǔ)設(shè)施、產(chǎn)品開發(fā)、應(yīng)用服務(wù)。

今年，騰訊云大數(shù)據(jù)的研發(fā)重心在哪里？發(fā)布了哪些重要產(chǎn)品？騰訊云大數(shù)據(jù)平臺最新數(shù)據(jù)是怎樣的？這些問題都在剛剛召開的騰訊全球數(shù)字生態(tài)大會2020上給出了答案。

全鏈路數(shù)據(jù)開發(fā)平臺WeData

騰訊云副總裁劉煜宏透露，騰訊云大數(shù)據(jù)平臺的算力彈性資源池達(dá)500萬核，每日分析任務(wù)數(shù)達(dá)1500萬，每日實時計算次數(shù)超過40萬億，能支持超過一萬億維度的數(shù)據(jù)訓(xùn)練。騰訊云不僅已經(jīng)成為國內(nèi)算力最強(qiáng)的云廠商，同時也是日實時計算量最大的公司。

[[341821]]

騰訊云副總裁劉煜宏

據(jù)騰訊云大數(shù)據(jù)產(chǎn)品副總經(jīng)理雷小平介紹，今年騰訊云大數(shù)據(jù)的研發(fā)重點(diǎn)在場景開發(fā)層，并在會上重磅發(fā)布了全鏈路數(shù)據(jù)開發(fā)平臺WeData。

[[341822]]

騰訊云大數(shù)據(jù)產(chǎn)品副總經(jīng)理雷小平

WeData提供了涵蓋數(shù)據(jù)即席分析、數(shù)據(jù)任務(wù)可視化編排、運(yùn)維等在內(nèi)的全鏈路數(shù)據(jù)開發(fā)能力。借助于WeData，企業(yè)數(shù)據(jù)開發(fā)門檻可有效降低60%。同時，WeData在云端構(gòu)建了統(tǒng)一的元數(shù)據(jù)管理能力，涵蓋技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的管理，并打通了EMR、CDW數(shù)倉、MySQL甚至對象存儲等在內(nèi)元數(shù)據(jù)，以便于企業(yè)數(shù)據(jù)在不同云端數(shù)據(jù)設(shè)施之間進(jìn)行無縫流轉(zhuǎn)的同時，還能保障其元數(shù)據(jù)的一致性和可維護(hù)性。另外，WeData還為數(shù)據(jù)科學(xué)家提供了全面的資產(chǎn)管理、數(shù)據(jù)治理能力，全面提升數(shù)據(jù)價值發(fā)現(xiàn)的效率。

在應(yīng)用層面，QQ音樂基于WeData產(chǎn)品進(jìn)行了大數(shù)據(jù)能力的重構(gòu)。在重構(gòu)之前，所有的數(shù)據(jù)分析能力都是基于Spark構(gòu)建，所有報表的延時也都是小時級。在將熱數(shù)據(jù)全部升級到Clickhouse，并通過WeData進(jìn)行數(shù)據(jù)開發(fā)工作,重構(gòu)完成之后數(shù)據(jù)決策能力從小時級別提升到秒級。

由此可見，WeData打通了通用大數(shù)據(jù)開發(fā)和數(shù)據(jù)治理中涉及到的所有環(huán)節(jié)，實現(xiàn)了全鏈路覆蓋，讓用戶可以將精力更多地投入在業(yè)務(wù)增長。

除了全鏈路數(shù)據(jù)開發(fā)平臺WeData之外，在更細(xì)分的場景上，騰訊云大數(shù)據(jù)推出流計算服務(wù)Oceanus、云數(shù)據(jù)倉庫CDW、ES、彈性MapReduce、神盾聯(lián)邦計算以及企業(yè)畫像等6項重磅能力發(fā)布和升級，旨在覆蓋大數(shù)據(jù)的全生命周期，滿足企業(yè)數(shù)字化轉(zhuǎn)型中的新需求：統(tǒng)一平臺、異構(gòu)算力、企業(yè)級安全。

做好安全、智能和統(tǒng)一，實現(xiàn)AB融合

人工智能與大數(shù)據(jù)融合（AB融合）已經(jīng)成為未來信息技術(shù)發(fā)展的一個趨勢，并將成為新一輪數(shù)字經(jīng)濟(jì)的核心驅(qū)動力。在騰訊云大數(shù)據(jù)基礎(chǔ)平臺總經(jīng)理陳鵬看來，目前是B幫助了A，而A并沒有幫助到B。所以，B如何有效輔助A，A與B如何在架構(gòu)上進(jìn)行融合，將是下一代計算平臺的發(fā)展方向，即安全、智能和統(tǒng)一。

首先在安全方面，雖然大數(shù)據(jù)本身采用集群是要解決孤島的問題，但是目前解決的只是將分散部分的數(shù)據(jù)聚集在一起的問題，并沒有解決在歐洲GDPR及其他一些政策法規(guī)導(dǎo)致的，數(shù)據(jù)分散在不同團(tuán)隊，不同職能部門，數(shù)據(jù)庫又不相通的問題。所以安全是一個重點(diǎn)，騰訊云分別在A和B上實現(xiàn)了計算過程的安全，目前正在研發(fā)聯(lián)合計算平臺，實現(xiàn)在保護(hù)數(shù)據(jù)隱私的同時，提供聯(lián)合數(shù)據(jù)分析、聯(lián)合數(shù)據(jù)建模等能力，實現(xiàn)數(shù)據(jù)的互融互通，釋放數(shù)據(jù)價值。

第二是智能，即如何讓A幫助B。AI并沒有能夠體系化的去輔助大數(shù)據(jù)做更多的運(yùn)營，這是在AB融合過程最為重要的一個方面。目前的集群規(guī)模已經(jīng)達(dá)到十萬臺，且每年都在按照40-60%的規(guī)模發(fā)展，然而如此大規(guī)模的集群多半還是人工輔助工具去解決運(yùn)營工作，騰訊希望后續(xù)能夠?qū)⒕€上運(yùn)行的數(shù)據(jù)回流反饋，基于機(jī)器學(xué)習(xí)獲得智能化的決策，基于這些決策及指標(biāo)數(shù)據(jù)，優(yōu)化調(diào)度性能、驅(qū)動硬件的定制。

第三，統(tǒng)一。包括框架的統(tǒng)一、AB技術(shù)融合統(tǒng)一等。

從框架統(tǒng)一來說，大數(shù)據(jù)的技術(shù)棧目前發(fā)展得已經(jīng)非常復(fù)雜了，僅在計算方面，就有Spark、Hadoop等，如何保證企業(yè)本身不會被業(yè)界復(fù)雜的、頻出的系統(tǒng)，影響到整體架構(gòu)的延伸，是框架統(tǒng)一要解決的問題，騰訊大數(shù)據(jù)體系就非常適合解決這樣的問題。

在AB技術(shù)融合統(tǒng)一方面，AB底層算子和分布式運(yùn)行有著很強(qiáng)的相似性，如大數(shù)據(jù)的join、aggregator、sort和AI的grad、dot、softmax等，可以通過運(yùn)行的機(jī)制做一些融合；在計算引擎方面，通過統(tǒng)一批、流、圖三種計算形態(tài)，涵蓋DAG、PS、MPI多種shuffle模式，基于成本的優(yōu)化，統(tǒng)一執(zhí)行計劃優(yōu)化，還有基于編譯技術(shù)軟硬件集合，通過代碼生成適配異構(gòu)硬件，計算型算子下推到GPU、FPGA等， 所以從這些角度來說，AB的融合是一個體系化的融合，而不是一個單點(diǎn)的融合，這種趨勢最終能給用戶帶來一站式的數(shù)據(jù)處理體驗。

企業(yè)數(shù)字化轉(zhuǎn)型正在高速演進(jìn)中，騰訊云大數(shù)據(jù)將繼續(xù)發(fā)揮統(tǒng)一平臺、異構(gòu)算力、企業(yè)級安全方面的優(yōu)勢，提供從基礎(chǔ)設(shè)施、場景開發(fā)、應(yīng)用服務(wù)的全場景、全托管能力，助力企業(yè)客戶降本增效、優(yōu)化用戶服務(wù)，讓大數(shù)據(jù)為數(shù)字經(jīng)濟(jì)發(fā)展釋放更多新動能！

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請注明原文作者和出處為51CTO.com】