自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

騰訊正式開源圖計算框架Plato,十億級節(jié)點圖計算進入分鐘級時代

新聞 開源
騰訊開源再次迎來重磅項目,14日,騰訊正式宣布開源高性能圖計算框架Plato,這是在短短一周之內,開源的第五個重大項目。

騰訊開源再次迎來重磅項目,14日,騰訊正式宣布開源高性能圖計算框架Plato,這是在短短一周之內,開源的第五個重大項目。

相對于目前全球范圍內其它的圖計算框架,Plato可滿足十億級節(jié)點的超大規(guī)模圖計算需求,將算法計算時間從天級縮短到分鐘級,性能全面領先領先于其它主流分布式圖計算框架,并且打破了原本動輒需要數百臺服務器的資源瓶頸,現(xiàn)在,最少只需要十臺服務器即可完成計算。

騰訊Plato團隊負責人于東海表示:“Plato已經賦能騰訊內部包括微信在內的眾多核心業(yè)務,尤其是為騰訊超大規(guī)模社交網絡圖數據的各類計算提供支撐,解決了現(xiàn)有其他計算框架無法在有限資源和有限時間內完成計算的難點。Plato不僅為騰訊創(chuàng)造了巨大的業(yè)務價值,開源后還將持續(xù)推動圖計算技術和行業(yè)的協(xié)同發(fā)展,加速創(chuàng)新。”

實際上,圖計算的“圖”并不是指普通的圖像和照片,而是用于表示對象之間關聯(lián)關系的一種抽象數據結構,圖計算就是以圖作為數據模型來表達問題并予以解決的過程。圖計算可以將不同來源、不同類型的數據融合到同一個圖里進行分析,得到原本獨立分析難以發(fā)現(xiàn)的結果,因此成為社交網絡、推薦系統(tǒng)、網絡安全、文本檢索和生物醫(yī)療等領域至關重要的數據分析和挖掘工具。

Plato是騰訊內部圖計算TGraph團隊整合內部資源自主研發(fā)的一款高性能圖計算框架,取名Plato是為了致敬偉大的數學家柏拉圖,目前騰訊云大數據團隊正在封裝Plato,即將對所有開發(fā)者開放使用。

據了解,Plato的計算性能方面極其強悍,比目前市場上最為領先的圖計算框架Spark GraphX還高出1-2個數量級,它將算法計算時間從天級縮短到分鐘級,性能提升數十倍,也標志著圖計算全面進入分鐘級時代;另外一個巨大優(yōu)勢是,Plato在內存消耗方面遠小于主流的圖計算框架,比Spark GraphX減少1-2個數量級,僅需10臺服務器左右的中小規(guī)模集群,即可完成超大規(guī)模圖計算,相比此前動輒需要數百臺服務器的限制,資源壓力和計算成本都得到了極大降低。

目前,Plato主要提供兩大核心能力:騰訊數據量級下的離線圖計算和騰訊數據量級下的圖表示學習。同時Plato天然適配Kubernetes、YARN等資源調度平臺,并提供支持主流文件系統(tǒng)的多種接口,能為開發(fā)者提供更友好的運行環(huán)境。

架構設計上,Plato框架的核心是自適應圖計算引擎,它能夠根據不同類型的圖算法,提供多種計算模式供開發(fā)者靈活選擇,包括自適應計算模式、共享內存計算模式和流水線計算模式等。另外,還設計了良好的接口支持接入新的計算通信模式。

Plato整體架構圖

在計算引擎之上,Plato為算法設計者或具體的業(yè)務提供多層次接口:從底層的API,到圖算法庫,再到為具體業(yè)務量身打造的“解決方案”——圖工具集。通過這些應用層的接口和工具,Plato還可以把離線計算結果與其他機器學習算法相結合,共同支撐頂層的不同業(yè)務。

值得一提的是,目前Plato的算法庫中的圖特征、節(jié)點中心性指標、連通圖和社團識別等多種算法都已經開源,未來還將進一步開源更多的算法。

Plato高性能、可擴展、易插拔的特性在社交網絡、推薦系統(tǒng)、生物醫(yī)療等領域應用前景廣闊,例如定期對網頁進行影響力排序以提升用戶的搜索體驗、分析龐大的社交網絡結構以便精準地為用戶推薦服務、通過子圖匹配等方式了解蛋白質間的相互作用從而研制更有效的臨床醫(yī)藥等。

自去年930架構調整以來,開源成為騰訊技術發(fā)展的重要戰(zhàn)略之一,重磅項目密集開源,就在上周的Techo開發(fā)者大會上,騰訊正式宣布TubeMQ、Tencent Kona JDK、TBase、TKEStack四大重點項目同時開源。隨著Plato的開源,騰訊在開源領域的又添大動作。據悉,騰訊已經在Github上已經開源了86個項目,超過1000個貢獻者參與了開源貢獻,擁有超過25萬個Star數,在Github全球公司貢獻榜上排名前十。

Plato開源地址:https://github.com/tencent/plato 

責任編輯:張燕妮 來源: 機器之心
相關推薦

2020-03-13 07:40:36

Plato數據分析

2023-09-07 20:31:48

外灘大會螞蟻集團圖學習系統(tǒng)

2019-10-23 15:15:49

云計算陷阱公共云

2019-01-21 09:52:26

深度學習開源人工智能

2012-09-19 10:55:31

阿朗CloudBandCloud2.0時代云計算

2017-11-24 11:15:00

云計算大數據云服務

2021-06-30 14:23:30

AMD

2017-07-28 13:39:09

英特爾

2016-10-21 10:07:01

曙光

2022-06-30 17:27:28

計算研究

2022-11-30 14:51:57

騰訊全球數字生態(tài)大會云原生

2016-07-29 14:50:30

2018-01-12 14:15:40

人工智能物聯(lián)網云計算

2018-02-28 10:11:50

騰訊框架開源

2012-08-31 10:07:36

云計算世紀互聯(lián)

2019-04-11 17:41:38

云計算邊緣計算CDN

2021-04-18 19:11:34

騰訊云計算平臺天工

2019-04-09 12:16:40

混合云云計算云供應商

2012-05-01 21:10:41

華為

2010-05-09 23:22:26

云計算騰訊
點贊
收藏

51CTO技術棧公眾號