一、頂會(huì)概覽

VLDB 2021上，阿里云計(jì)算平臺(tái)MaxCompute參與的論文入選，核心分布式調(diào)度執(zhí)行引擎Fangorn、基于TVR Cost模型的通用增量計(jì)算優(yōu)化器框架Tempura等分別被Industry Track、Research Track錄取。

作為數(shù)據(jù)管理與數(shù)據(jù)庫領(lǐng)域三大頂級(jí)學(xué)術(shù)會(huì)議之一，VLDB每年都吸引了各大高校、科研機(jī)構(gòu)與科技公司的論文投稿，許多重要技術(shù)成果都在VLDB上中選發(fā)布。

多篇研究成果的發(fā)布離不開25位計(jì)算平臺(tái)布道師和達(dá)摩院布道師花費(fèi)大量時(shí)間撰寫和修改，布道師們通過撰寫論文和參加學(xué)術(shù)會(huì)議，借助布道的力量，傳播阿里云技術(shù)優(yōu)勢(shì)，為推動(dòng)開放共贏的云計(jì)算生態(tài)作出積極貢獻(xiàn)。

二、首次提出多種執(zhí)行模式和調(diào)度策略混合的動(dòng)態(tài)設(shè)計(jì)

Fangorn在業(yè)界首次提出通過混合執(zhí)行模式來管理分布式作業(yè)的設(shè)計(jì)，允許執(zhí)行框架自動(dòng)探索性能與資源利用間的最佳平衡。 其采用的組件間輕耦合的分層架構(gòu)，能根據(jù)實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)信息，對(duì)分布式作業(yè)進(jìn)行多層次的動(dòng)態(tài)調(diào)整，為MaxCompute以及PAI平臺(tái)上的多種計(jì)算作業(yè)提供自適應(yīng)的最優(yōu)執(zhí)行計(jì)劃。

”如何在超大規(guī)模集群和系統(tǒng)中，同時(shí)管理多種計(jì)算負(fù)載的問題，是當(dāng)前業(yè)界數(shù)據(jù)公司的重點(diǎn)研究方向“，F(xiàn)angorn在這些方向上的創(chuàng)新，以及在MaxCompute等多個(gè)生產(chǎn)平臺(tái)上的全面落地，為分布式系統(tǒng)的多層次優(yōu)化打開了大門。

Fangorn執(zhí)行框架整體架構(gòu)

三、首個(gè)基于TVR Cost模型的通用增量計(jì)算優(yōu)化器框架

Tempura提出了一種介于傳統(tǒng)流處理和批處理之間的全新增量計(jì)算模式，結(jié)合批處理的高資源利用率和流處理低延遲的優(yōu)勢(shì)，提供了在計(jì)算資源消耗、執(zhí)行時(shí)間調(diào)度、查詢延遲、數(shù)據(jù)處理粒度等方面的靈活權(quán)衡。提出了世界上首個(gè)基于TVR Cost模型的通用增量計(jì)算優(yōu)化器框架，在集成眾多現(xiàn)有增量計(jì)算方法的同時(shí)，用戶可以隨時(shí)增添任意自定義增量計(jì)算方法。

世界上首個(gè)落地生產(chǎn)的漸進(jìn)式優(yōu)化項(xiàng)目，在MaxCompute漸進(jìn)式智能數(shù)據(jù)倉庫業(yè)務(wù)中廣泛使用，相比傳統(tǒng)批處理，在縮短作業(yè)運(yùn)行時(shí)間的同時(shí)，節(jié)省大量計(jì)算資源。

四、阿里云布道師、論文作者：

論文Fangorn:Adaptive Execution Framework forHeterogeneous Workloads on

Shared Clusters

陳穎達(dá)、王家忙、陸一峰、韓穎、呂志強(qiáng)、閔雪賓、才華、張煒、范浩川、李超、關(guān)濤、林偉、賈揚(yáng)清、周靖人

論文Tempura:A General Cost-Based Optimizer Framework for Incremental Data Processing

王作至、曾凱、黃柏彤、陳唯、崔曉宗、王博、劉吉、樊莉亞、渠大川、侯震宇、關(guān)濤、李晨、周靖人

五、延伸閱讀：

VLDB全稱International Conference on Very Large Date Bases，是數(shù)據(jù)庫領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議，和SIGMOD、ICDE共同構(gòu)成了數(shù)據(jù)管理與數(shù)據(jù)庫領(lǐng)域的三大頂級(jí)會(huì)議。本次2021大會(huì)共收錄了216篇Research Paper、23篇Industry Paper、56篇Demo Paper 。

論文Fangorn: Adaptive Execution Framework for Heterogeneous Workloads on Shared Clusters（http://vldb.org/pvldb/vol14/p2972-chen.pdf）

論文Tempura: A General Cost-Based Optimizer Framework for Incremental Data Processing（http://www.vldb.org/pvldb/vol14/p14-wang.pdf）