大數(shù)據技術在過去10多年中極大改變了企業(yè)對數(shù)據的存儲、處理和分析方式。如今，大數(shù)據技術逐漸成熟，涵蓋了計算、存儲、數(shù)倉、數(shù)據集成、可視化、NOSQL、OLAP分析、機器學習等豐富領域。在未來，大數(shù)據技術還會往引擎容器化、大數(shù)據機器學習、數(shù)據湖等方面不斷延伸。

近日，騰訊大數(shù)據技術沙龍首站——Angel專場在深圳舉辦，騰訊大數(shù)據團隊詳細披露了騰訊大數(shù)據十年發(fā)展歷程，并全面展示了騰訊第三代全棧機器學習平臺Angel在大模型數(shù)據訓練、深度學習、圖計算等方面的技術能力，也深入分享了在微信支付、效果廣告、微眾銀行等場景上的應用案例。

會上，騰訊大數(shù)據負責人劉煜宏正式發(fā)布了“星火計劃”，他表示：“在騰訊大數(shù)據十年的發(fā)展歷程中, 我們不斷追求技術創(chuàng)新, 集群數(shù)從30臺到突破35000臺。2016年，我們打破了計算奧運會之稱的Sort Benchmark 4項世界紀錄，性能全球領先。騰訊大數(shù)據的發(fā)展從開源中受益，秉承著開放共享的精神, 今天我們也推出技術共享的‘星火計劃’，希望能夠助力和反哺大數(shù)據生態(tài)繁榮。”

[[279730]]

騰訊大數(shù)據發(fā)展“三部曲”

作為大數(shù)據領域的前沿探索者，騰訊大數(shù)據從2009年開始, 經歷離線計算、實時計算與機器學習三個階段，在實踐中積累了大量的經驗。

據劉煜宏介紹，2009年之前，騰訊主要使用傳統(tǒng)的關系型數(shù)據庫。2009年開始，傳統(tǒng)的單機數(shù)據庫所提供的服務，在系統(tǒng)可擴展性、性價比方面已不再適用騰訊業(yè)務爆發(fā)式的增長。面對這種變化，騰訊大數(shù)據轉向分布式，基于開源的Hadoop體系，構建了騰訊第一代大數(shù)據平臺，并建設離線計算平臺，主要發(fā)力規(guī)?；?。騰訊大數(shù)據由此進入第一階段。三年里，騰訊實現(xiàn)了從關系型數(shù)據庫到自建大數(shù)據平臺的全面遷移，到2012年，騰訊大數(shù)據的單集群規(guī)模突破了4400臺。

2012年，移動互聯(lián)網爆發(fā)，應對業(yè)務數(shù)據統(tǒng)計及時性、快速性的需求，騰訊大數(shù)據從Hadoop轉向Spark和Storm體系，在吸收開源技術的基礎上，結合騰訊自身的需求進行重寫，探索流式計算、秒級采集系統(tǒng)的建設，構建企業(yè)級的實時數(shù)據分析體系，騰訊大數(shù)據發(fā)展進入第二階段。

2015年至今，騰訊大數(shù)據邁入了第三階段。隨著數(shù)據挖掘、數(shù)據應用的深入，騰訊大數(shù)據再次自我迭代，于2016年推出了自研機器學習平臺Angel，專攻復雜計算場景，可進行大規(guī)模的數(shù)據訓練，支撐內容推薦、廣告推薦等AI應用場景。它由騰訊與北京大學聯(lián)合研發(fā)，兼顧了工業(yè)界的高可用性和學術界的創(chuàng)新性。不僅支撐騰訊自身業(yè)務需求，在行業(yè)上也具有里程碑意義。

從海量業(yè)務中來，專注圖計算場景

作為面向機器學習的第三代高性能計算平臺，騰訊Angel在稀疏數(shù)據高維模型的訓練上具有獨特優(yōu)勢，擅長推薦模型和圖網絡模型相關領域。當前業(yè)界主流的大規(guī)模圖計算系統(tǒng)主要有Facebook的Big Graph、Power graph、Data bricks的 Spark GraphX等，但這些系統(tǒng)并不都支持圖挖掘、圖表示學習、圖神經網絡的三大類型算法。

據騰訊Angel開發(fā)負責人肖品介紹，騰訊Angel從騰訊海量業(yè)務場景中而來，是超大樣本和超高維度的機器學習平臺。從性能上來看，Angel優(yōu)于現(xiàn)有圖計算系統(tǒng)，能夠支持十億級節(jié)點、千億級邊的傳統(tǒng)圖挖掘算法，百億邊的圖神經網絡算法需求。它可運行于多任務集群以及公有云環(huán)境，具備高效容錯恢復機制，也更容易支持新算法，同時，Angel能夠較好支持圖挖掘、圖表示、圖神經網絡算法，具備圖學習的能力。

如今，Angel已在QQ、微信支付、騰訊廣告、騰訊視頻等騰訊旗下產品中廣泛應用，并向微眾銀行等行業(yè)合作伙伴全面開放，普遍適用于智能推薦、金融風險評估等圖計算業(yè)務場景。

到開源中去，積極貢獻社區(qū)

發(fā)布僅一年時間，2017年，騰訊Angel就正式開源。2018年8月，騰訊將Angel捐贈給Linux旗下專注人工智能的LF AI基金會，結合基金會成熟的運營，全面升級的 Angel與國際開源社區(qū)深入互動，致力于讓機器學習技術更易于上手研究及應用。

“Angel在2018年加入LF AI基金會進行孵化后，一直按照開源社區(qū)的模式進行運營，增長速度非?？欤黾恿颂卣鞴こ?、自動機器學習等很多新的功能，在Github上增加了超過2000個Star。” Linux Foundation APAC大中華區(qū)總監(jiān)楊軒表示： “Angel是LF AI基金會下最活躍的項目之一，相信不久的將來，Angel將進入LF AI的頂級項目之列。”

目前，Angel在GitHub上Star數(shù)已超過5300，F(xiàn)ork數(shù)超過1300，總共有39位代碼貢獻者，提交了超過2336個commit。

面向未來，大數(shù)據、AI和云的深度融合

騰訊Angel在深度學習和圖計算能力的演變，也與大數(shù)據的行業(yè)發(fā)展方向相契合。據劉煜宏介紹，未來，騰訊大數(shù)據將持續(xù)發(fā)力數(shù)據湖、批流統(tǒng)一(批量計算、流線計算的融合)、AI+大數(shù)據、云計算+大數(shù)據四個主要方向。

劉煜宏表示：“AI、云計算與大數(shù)據密不可分，Angel從大數(shù)據平臺到全棧機器學習平臺的成長，也驗證了這一行業(yè)方向。未來我們將把騰訊大數(shù)據的能力和技術，與AI、與云做深度融合，進一步落地大數(shù)據的價值，更好的助力合作伙伴和用戶。”

據了解，騰訊大數(shù)據星火計劃是由騰訊發(fā)起、面向大數(shù)據愛好者的技術共享體系，基于騰訊大數(shù)據10年研發(fā)與運營經驗，以社區(qū)開源、網絡課程、線下沙龍、技術峰會等多種形式，充分開放騰訊十多年來在大數(shù)據領域的技術積累。本次Angel專場是星火計劃的首次線下活動。