100+天激烈賽程，40+國內(nèi)***技術(shù)豪門對決，歷經(jīng)研發(fā)內(nèi)部測試、正式環(huán)境測試和易觀數(shù)據(jù)正式環(huán)境跑benchmark三大階段。10月28日，易觀OLAP算法大賽優(yōu)勝名單出爐！

40+技術(shù)門派比武

易觀OLAP大賽可謂國內(nèi)算法界“武林大會(huì)”，英雄帖一發(fā)出就引起互聯(lián)網(wǎng)各大技術(shù)門派積極響應(yīng)。

吸引來自美團(tuán)點(diǎn)評(píng)、阿里云、小米、鏈家、搜狗、科大訊飛、聯(lián)通、原速數(shù)據(jù)、樂見、AggreData、GBase 、Kyligence、PingCAP、LinkDoc、iflytek、hulu、上海睿民、熱云數(shù)據(jù)、潤乾、帆軟軟件、咪咕音樂、杭州玳數(shù)科技、上海跬智、千丁互聯(lián)、北京健科云網(wǎng)、廣州向量線科技、樂享天下、牛辦科技、北京郵電大學(xué)、北京交通大學(xué)等40多家知名企業(yè)、科研單位和個(gè)人報(bào)名參加。

6組算法新人王誕生

本次易觀OLAP算法大賽分為商業(yè)組和開源組兩個(gè)組別進(jìn)行，從7月開放報(bào)名到10月正式環(huán)境跑benchmark。經(jīng)過重重考驗(yàn)，終于決出6組易觀OLAP算法新人王：

商業(yè)組三甲：

***名：PingCAP

PingCAP 是國內(nèi)***家開源的新型數(shù)據(jù)庫公司，其產(chǎn)品分布式高可用數(shù)據(jù)庫 TiDB 支持水平擴(kuò)展，兼容MySql，支持分布式事務(wù)，是大數(shù)據(jù)時(shí)代理想的數(shù)據(jù)庫集群和云數(shù)據(jù)庫解決方案之一。在本次比賽中，PingCAP使用自主研發(fā)的 Magic 引擎，使用多層pipeline、智能并發(fā)等技術(shù)，以***速度對數(shù)據(jù)進(jìn)行暴力掃描，實(shí)現(xiàn)了良好的計(jì)算效果，因此獲得商業(yè)組***名的好成績。

第二名：帆軟軟件

帆軟團(tuán)隊(duì)在本次參賽使用的是帆軟自主研發(fā)的直連分布式引擎。分布式存儲(chǔ)系統(tǒng)基于Alluxio和HDFS，采用列式存儲(chǔ)方案，以Spark作為基礎(chǔ)，基于流式計(jì)算，輔以高性能查詢算法，為直連引擎提供強(qiáng)勁的查詢支持。面對億級(jí)數(shù)據(jù)和多維度復(fù)雜場景時(shí)，直連分布式引擎能大幅提高有序漏斗的計(jì)算的效率和準(zhǔn)確性。

第三名：GBase

GBase此次參賽用的是自己的產(chǎn)品GBase 8a MPP Cluster。GBase 8a采用行列混合存儲(chǔ)，可處理PB級(jí)別以上的結(jié)構(gòu)化數(shù)據(jù)。同時(shí)采用先進(jìn)的數(shù)據(jù)壓縮算法，有效提高IO性能。在數(shù)據(jù)處理上采用完全并行的MPP + Share Nothing的分布式架構(gòu)，支持高并發(fā)，因此在有序漏斗的實(shí)時(shí)計(jì)算中效率較高。

易觀OLAP算法大賽商業(yè)組頒獎(jiǎng)儀式

開源組三甲：

***名：廣州向量線科技 韋萬和李本旺

在開源組比賽中韋萬和李本旺另辟蹊徑，向北取經(jīng)。使用目前國內(nèi)鮮為人知的俄羅斯神級(jí)開源軟件ClickHouse參賽。利用ClickHouse超強(qiáng)分析性能和靈活的架構(gòu)特點(diǎn)，使得集群間節(jié)點(diǎn)的計(jì)算完全并行化，同時(shí)優(yōu)化底層的存儲(chǔ)和上層的計(jì)算細(xì)節(jié)，挖掘CPU cache、向量化執(zhí)行和具體算法優(yōu)化方面的潛力。憑借在時(shí)效和精度上的優(yōu)異表現(xiàn)，韋萬和李本旺團(tuán)隊(duì)成為本屆大賽***黑馬，獲得開源組***名。

第二名：美團(tuán)點(diǎn)評(píng) 孫業(yè)銳

美團(tuán)點(diǎn)評(píng)團(tuán)隊(duì)基于自身的業(yè)務(wù)優(yōu)勢經(jīng)驗(yàn)，設(shè)計(jì)了本次參賽的解題思路。用bitmap快速過濾和基于時(shí)間戳序列匹配的算法，利用Apache Spark、Alluxio等開源框架快速落地實(shí)現(xiàn)，使用了一系列工程優(yōu)化方法，在每日數(shù)百億條日志和百萬屬性的數(shù)據(jù)集上，實(shí)現(xiàn)有序漏斗的秒級(jí)查詢。在易觀正式數(shù)據(jù)環(huán)境中，在26億數(shù)據(jù)，400萬用戶，幾十個(gè)屬性的場景下，美團(tuán)點(diǎn)評(píng)團(tuán)隊(duì)均實(shí)現(xiàn)了快速查詢。

第三名：北京郵電大學(xué) 盧躍凱

易觀OLAP算法大賽還吸引了來自計(jì)算機(jī)名門高校的個(gè)人選手。北京郵電大學(xué)的研究生盧躍凱，采用了HDFS作為儲(chǔ)存，將Spark作為數(shù)據(jù)預(yù)處理和核心過濾算法實(shí)現(xiàn)。借鑒最長遞增子序列的存儲(chǔ)和更新思想，將查找每個(gè)用戶轉(zhuǎn)化率的時(shí)間復(fù)雜度變?yōu)榱?（n），提升了漏斗計(jì)算的效率。

[[208145]]

易觀OLAP算法大賽開源組頒獎(jiǎng)儀式

開源組10萬元現(xiàn)金獎(jiǎng)勵(lì)

易觀OLAP大賽為每組前三名的團(tuán)隊(duì)頒發(fā)獲獎(jiǎng)證書，同時(shí)開源組***名還將獲得UCloud提供的10萬元現(xiàn)金獎(jiǎng)勵(lì)。據(jù)悉，韋萬和李本旺獲得開源組***名后注冊了自己的公司，將對算法技術(shù)進(jìn)行更深入的研究和落地實(shí)踐。

開源組***名10萬元現(xiàn)金獎(jiǎng)勵(lì)授予儀式

賽制公正具有含金量

2017易觀OLAP算法大賽在“有序漏斗”的實(shí)時(shí)計(jì)算效率和精確度上得到突破性的好成績，這離不開易觀海量的數(shù)據(jù)支撐以及UCloud強(qiáng)大的技術(shù)支持。

一直以來，UCloud都是易觀良好的合作伙伴，本次大賽UCloud為所有參賽團(tuán)隊(duì)提供了穩(wěn)定的底層IT計(jì)算資源服務(wù)。比賽在4臺(tái)UCloud云主機(jī)16核、16G內(nèi)存、SSD數(shù)據(jù)盤300G硬件的環(huán)境下進(jìn)行。比賽時(shí)現(xiàn)給出8個(gè)不同的場景，同時(shí)開始計(jì)時(shí)，每個(gè)場景的運(yùn)行時(shí)間須在8分鐘以內(nèi)，8個(gè)場景總體比賽時(shí)間在1小時(shí)內(nèi)，以此考察參賽團(tuán)隊(duì)在不同場景下的實(shí)時(shí)計(jì)算精度和用時(shí)效率。每個(gè)場景根據(jù)事件的數(shù)量、事件的復(fù)雜程度、事件的屬性、時(shí)間窗口的大小等差異賦予不同的權(quán)重。總分為單個(gè)場景乘以該場景權(quán)重的累加所得。在8個(gè)場景中，運(yùn)行時(shí)間最短且精確度***的隊(duì)伍獲勝。在正式數(shù)據(jù)環(huán)境開跑階段，還進(jìn)行全程錄像，確保比賽成果的含金量。

作為易觀A10峰會(huì)的重要項(xiàng)目，OLAP算法大賽不僅為技術(shù)黑馬提供大展拳腳的道場，同時(shí)還為行業(yè)挖掘出更多技術(shù)型人才和更優(yōu)秀解決方案。做技術(shù)領(lǐng)域的“伯樂”，讓世界看到更多“黑馬”，易觀致力于推進(jìn)大數(shù)據(jù)應(yīng)用創(chuàng)新。未來，易觀OLAP大賽取得的成果將用于數(shù)據(jù)產(chǎn)品的研發(fā)當(dāng)中，從技術(shù)應(yīng)用層面實(shí)踐“數(shù)以致用”。