隨著數(shù)字化進(jìn)程的深入，數(shù)據(jù)應(yīng)用的價(jià)值被越來(lái)越多的企業(yè)所重視?；跀?shù)據(jù)進(jìn)行決策分析是應(yīng)用價(jià)值體現(xiàn)的重要場(chǎng)景，不同行業(yè)和體量的公司廣泛依賴BI產(chǎn)品制作報(bào)表、儀表板和數(shù)據(jù)門(mén)戶，以此進(jìn)行決策分析。

在利用BI產(chǎn)品進(jìn)行數(shù)據(jù)分析過(guò)程中，數(shù)據(jù)處理“慢”會(huì)為業(yè)務(wù)帶來(lái)很多的困擾，可以想象一下：

給老板看的報(bào)表加載展示非常慢，有的時(shí)候還會(huì)崩掉，本想做好向上匯報(bào)，但卻給老板帶來(lái)了糟糕的體驗(yàn)~
分析師或業(yè)務(wù)同學(xué)，做數(shù)據(jù)探索式分析，拖拽一個(gè)指標(biāo)需要幾分鐘才能看到結(jié)果，嚴(yán)重影響工作效率，打斷分析思路~
“慢”雖然只是一種難以精確定義的體感，但想要解決以上問(wèn)題，就需要BI產(chǎn)品擁有很強(qiáng)的大數(shù)據(jù)處理架構(gòu)和能力，可以橫向擴(kuò)展支持不斷增長(zhǎng)的數(shù)據(jù)量和計(jì)算任務(wù)。

Quick BI：阿里云飛天操作系統(tǒng)上的云BI

Quick BI產(chǎn)品是在阿里云飛天操作系統(tǒng)上打造的云BI軟件，支持SAAS模式和私有化部署，定位多場(chǎng)景、多端、多行業(yè)的消費(fèi)式BI，本篇為大家詳細(xì)介紹產(chǎn)品內(nèi)核Quick引擎。

Quick BI基于阿里云橫向可擴(kuò)展的架構(gòu)底座，不但擁有可視化分析、中國(guó)式報(bào)表、自助分析等傳統(tǒng)BI能力，同時(shí)擁有企業(yè)級(jí)安全底座、移動(dòng)端和三方系統(tǒng)開(kāi)放集成能力。

Quick BI構(gòu)建了自己的計(jì)算內(nèi)核Quick引擎，托管在阿里云上的SAAS服務(wù)實(shí)測(cè)數(shù)據(jù)十億級(jí)數(shù)據(jù)在0.5秒以內(nèi)完成聚合分析，另外由于依托阿里云，計(jì)算資源支持橫向擴(kuò)展，通過(guò)增加服務(wù)器還可以提供更強(qiáng)大的數(shù)據(jù)分析計(jì)算能力。

Quick引擎：多模式BI計(jì)算引擎

Quick引擎作為Quick BI的計(jì)算底座，是一個(gè)多模式的BI計(jì)算引擎，支持?jǐn)?shù)據(jù)庫(kù)直接連接、抽取加速、實(shí)時(shí)加速、查詢緩存、維值加速等多種計(jì)算模式，為不同用戶提供最適合自身場(chǎng)景的高效計(jì)算方案。

上圖為Quick引擎架構(gòu)圖，從Quick BI產(chǎn)品使用鏈路上，分為數(shù)據(jù)源、數(shù)據(jù)集和數(shù)據(jù)作品三部分。數(shù)據(jù)源是底層的數(shù)據(jù)庫(kù)連接，數(shù)據(jù)集用于對(duì)數(shù)據(jù)源里的表進(jìn)行建模（表關(guān)聯(lián)、字段類(lèi)型建模等），把一張或多張表變成一個(gè)上層數(shù)據(jù)作品（儀表板、電子表格、即席分析）可用的數(shù)據(jù)對(duì)象。

Quick引擎架構(gòu)在數(shù)據(jù)源和數(shù)據(jù)集之間，用來(lái)處理上層數(shù)據(jù)作品發(fā)送到數(shù)據(jù)集最終下放到數(shù)據(jù)源上的查詢，在技術(shù)實(shí)現(xiàn)上Quick引擎分為三條鏈路，數(shù)據(jù)庫(kù)直連、數(shù)據(jù)庫(kù)實(shí)時(shí)加速、數(shù)據(jù)庫(kù)抽取，在這三條鏈路進(jìn)行了技術(shù)層抽象。

從用戶使用視角來(lái)看，我們提供如下5種計(jì)算模式：

（1）直連模式：計(jì)算負(fù)載直接跑在連接到BI產(chǎn)品的數(shù)據(jù)庫(kù)或數(shù)倉(cāng)上，支持幾十種數(shù)據(jù)源，所有版本用戶都可使用，非常適用于底層計(jì)算資源滿足查詢負(fù)載的場(chǎng)景；

（2）抽取加速：把客戶數(shù)據(jù)庫(kù)或數(shù)倉(cāng)的數(shù)據(jù)抽取到Quick引擎的高性能列式存儲(chǔ)引擎中，支持全量模式和增量模式，分析計(jì)算負(fù)載直接跑在Quick BI引擎中，充分利用Quick引擎性能的同時(shí)，減少客戶數(shù)倉(cāng)的負(fù)擔(dān)，專(zhuān)業(yè)版客戶可用，非常適用于企業(yè)沒(méi)有獨(dú)立數(shù)倉(cāng)或數(shù)倉(cāng)負(fù)載過(guò)重的情況；

（3）實(shí)時(shí)加速：基于阿里云DLA（Data Lake Analysis）內(nèi)存計(jì)算引擎，查詢時(shí)實(shí)時(shí)從客戶數(shù)據(jù)庫(kù)取數(shù)據(jù)，中間用DLA內(nèi)存引擎加速計(jì)算，專(zhuān)業(yè)版客戶可用，目前支持阿里云Max Compute數(shù)倉(cāng)，非常適合Max Compute數(shù)倉(cāng)實(shí)時(shí)分析，更多數(shù)據(jù)庫(kù)支持開(kāi)通中；

（4）查詢緩存：所有版本用戶可用，應(yīng)用端報(bào)表、儀表板在訪問(wèn)時(shí)臨時(shí)查詢結(jié)果被緩存下來(lái)，在配置的緩存有效時(shí)間內(nèi)，接下來(lái)其他用戶相同的查詢直接取緩存結(jié)果，加快返回速度同時(shí)避免重復(fù)計(jì)算的資源消耗，非常適合應(yīng)用端是重復(fù)查詢較多的場(chǎng)景，比如可視化展示類(lèi)；

（5）維值加速：所有版本用戶可用，基于直連模式和維表配置實(shí)現(xiàn)，通過(guò)配置維值加速使得高頻且耗時(shí)的維度字段查詢計(jì)算直接在數(shù)據(jù)庫(kù)維表上進(jìn)行，而不是在原始的明細(xì)表上進(jìn)行，比如即席分析和查詢控件的維值查詢，在這類(lèi)場(chǎng)景下相比不進(jìn)行維值加速可快速返回結(jié)果且節(jié)省計(jì)算資源；

Quick引擎 - 使用指南

在正式開(kāi)始介紹每種引擎具體用法時(shí)，先結(jié)合每種引擎特點(diǎn)給出一個(gè)場(chǎng)景使用指南，方便用戶在不同場(chǎng)景下選擇最合適的引擎。

Quick引擎通過(guò)數(shù)據(jù)集不同配置會(huì)采用不同計(jì)算模式，依據(jù)數(shù)據(jù)集不同情況，建議如下：

（1）數(shù)據(jù)集默認(rèn)采用直連模式，如果查詢性能良好，則可不進(jìn)行額外配置，如果無(wú)法滿足要求，則進(jìn)行以下判斷

（2）數(shù)據(jù)集主要被用在儀表板、報(bào)表中，偏固定數(shù)據(jù)展示類(lèi)的，沒(méi)有被很多查詢控件控制

實(shí)效性要求不是非常高，很適合配緩存，基本可以解決問(wèn)題了（可能80%以上可以解決）
實(shí)效性要求不是非常高，如果配了緩存還不行，比如某個(gè)數(shù)據(jù)集被做了很多報(bào)表，第一次緩存查詢就吃不消，MySQL類(lèi)非OLAP數(shù)據(jù)庫(kù)建議用抽取加速，ADB類(lèi)的OLAP數(shù)據(jù)庫(kù)，建議首先優(yōu)化下數(shù)據(jù)建模（比如是不是大表join大表），其次建議采用抽取加速分擔(dān)些負(fù)載
實(shí)效性要求很高，每次看，都想看最新數(shù)據(jù)，ODPS數(shù)據(jù)源可以用DLA實(shí)時(shí)加速
（3）數(shù)據(jù)集主要被用在即席分析、電子表格分析這類(lèi)偏個(gè)性分析查詢中，或者有非常多查詢控件的儀表板報(bào)表中，配緩存意義不是很大（有點(diǎn)作用），建議：

底層數(shù)據(jù)庫(kù)不是OLAP，比如MySQL，運(yùn)行很慢，首先建議采用抽取加速，其次建議優(yōu)化數(shù)據(jù)建模
底層數(shù)據(jù)庫(kù)是OLAP，比如ADB，運(yùn)行很慢，建議首先優(yōu)化下數(shù)據(jù)建模（比如是不是大表join大表），其次建議采用抽取加速分擔(dān)些負(fù)載
底層數(shù)據(jù)庫(kù)是ODPS，運(yùn)行很慢，如果實(shí)效性要求高，建議DLA實(shí)時(shí)加速，實(shí)效性要求不高，建議抽取加速
（4）數(shù)據(jù)集維度字段被頻繁用于查詢控件或即席分析，推薦為該字段配置維值加速

Quick引擎 - 直連模式

直連模式是Quick引擎查詢的默認(rèn)模式，所有的查詢會(huì)發(fā)送給底層數(shù)據(jù)庫(kù)或數(shù)倉(cāng)執(zhí)行，Quick BI直連模式支持幾十種云和自建數(shù)據(jù)庫(kù)。

在數(shù)據(jù)集頁(yè)面點(diǎn)擊“新建數(shù)據(jù)集”，選擇已配置的數(shù)據(jù)源，左側(cè)面板會(huì)展示該數(shù)據(jù)源里的所有表，拖入一張或多張表到面板中，即可在數(shù)據(jù)預(yù)覽區(qū)域進(jìn)行字段配置，配置完成后保存數(shù)據(jù)集，方可進(jìn)行后續(xù)分析。數(shù)據(jù)集保存后，后續(xù)所建的分析查詢默認(rèn)直連模式。

Quick引擎 - 抽取加速

當(dāng)直連模式查詢過(guò)多或者數(shù)據(jù)量過(guò)大時(shí)，會(huì)導(dǎo)致底層數(shù)據(jù)庫(kù)負(fù)載過(guò)重查詢變慢，上層儀表表展示和分析就會(huì)變慢，出現(xiàn)文章開(kāi)頭所講的困擾，此時(shí)可以考慮Quick引擎的抽取加速。

抽取加速是專(zhuān)業(yè)版特有功能，目前覆蓋MySQL、ADB for MySQL和MaxCompute三種數(shù)據(jù)源，支持全量抽取和增量抽取數(shù)據(jù)到Quick引擎的高性能列式存儲(chǔ)分析型數(shù)據(jù)庫(kù)中，抽取后的數(shù)據(jù)查詢直接在列式分析數(shù)據(jù)庫(kù)中完成而無(wú)需發(fā)到客戶數(shù)據(jù)庫(kù)上，提升數(shù)據(jù)查詢性能，同時(shí)減少客戶數(shù)據(jù)庫(kù)負(fù)載。

點(diǎn)擊數(shù)據(jù)集菜單，選擇“加速配置”，在第一個(gè) “Quick引擎”Tab點(diǎn)擊開(kāi)啟引擎，選擇抽取加速：

• 加速時(shí)間可選“手動(dòng)觸發(fā)”和“定時(shí)加速”，定時(shí)加速設(shè)置時(shí)間后定期觸發(fā)抽取任務(wù)
• 智能聚合抽取支持“全表加速”、“預(yù)計(jì)算”、“全表計(jì)算+預(yù)計(jì)算”三種模式，其中全表加速抽取全表數(shù)據(jù)，預(yù)計(jì)算基于歷史查詢智能預(yù)計(jì)算查詢結(jié)果，節(jié)省抽取空間
• 勾選按日期加速，可以選擇日期字段，每日根據(jù)日期字段增量抽取
• 配置完成后，點(diǎn)擊保存，抽取任務(wù)即會(huì)自動(dòng)觸發(fā)，抽取完成后，之后的數(shù)據(jù)查詢將在抽取引擎數(shù)據(jù)庫(kù)中完成。

Quick引擎抽取加速性能測(cè)試，10億數(shù)據(jù)sum、count、avg和median等聚合均在0.5秒內(nèi)返回，具備十億級(jí)數(shù)據(jù)亞秒級(jí)分析的能力，如下表為性能測(cè)試結(jié)果。

同時(shí)由于Quick BI是依托于阿里云飛天底座的產(chǎn)品架構(gòu)，具備橫向擴(kuò)展的能力，Quick引擎隨著機(jī)器數(shù)量的增加數(shù)據(jù)處理能力會(huì)不斷增強(qiáng)，理論上具有無(wú)限擴(kuò)展的能力。

Quick引擎 - 實(shí)時(shí)加速

當(dāng)直連模式出現(xiàn)性能問(wèn)題，同時(shí)對(duì)數(shù)據(jù)的實(shí)效性要求較高，天粒度更新無(wú)法滿足要求，而需要小時(shí)或分鐘粒度數(shù)據(jù)更新，由于抽取加速是天粒度數(shù)據(jù)更新而無(wú)法采用，此時(shí)可以考慮另一種選擇，采用實(shí)時(shí)加速來(lái)進(jìn)行高實(shí)效數(shù)據(jù)的查詢加速。

與抽取加速一樣，實(shí)時(shí)加速也是專(zhuān)業(yè)版特有功能，目前支持MaxCompute數(shù)據(jù)源，基于阿里云DLA（Data Lake Analysis）內(nèi)存計(jì)算引擎，查詢時(shí)把數(shù)據(jù)實(shí)時(shí)加載到DLA中進(jìn)行計(jì)算，提升查詢性能，可以把離線型數(shù)倉(cāng)MaxCompute通過(guò)實(shí)時(shí)加速變成在線分析型數(shù)倉(cāng)。

在數(shù)據(jù)集加速配置頁(yè)面，開(kāi)啟Quick引擎，切換到實(shí)時(shí)加速，保存即可開(kāi)啟數(shù)據(jù)集實(shí)時(shí)加速模式。

Quick引擎 - 查詢緩存

查詢緩存的原理是應(yīng)用端報(bào)表、儀表板在訪問(wèn)時(shí)臨時(shí)查詢結(jié)果被緩存下來(lái)，在配置的緩存有效時(shí)間內(nèi)，接下來(lái)其他用戶相同的查詢直接取緩存結(jié)果，命中緩存的查詢可以立即返回結(jié)果，沒(méi)有命中緩存的查詢會(huì)被發(fā)到底層數(shù)據(jù)庫(kù)進(jìn)行查詢，查詢返回后該查詢也會(huì)被緩存下來(lái)供接下來(lái)使用。

結(jié)果緩存是一種應(yīng)用范圍很廣且非常有效的數(shù)據(jù)查詢加速方式，它適用于所有數(shù)據(jù)源，對(duì)不同版本用戶都可用，對(duì)一定時(shí)間內(nèi)存在重復(fù)查詢的數(shù)據(jù)集都可以配置查詢緩存，特別是重復(fù)查詢較多的場(chǎng)景，比如儀表板展示類(lèi)，可以大幅提升查詢性能。

在加速配置頁(yè)面，開(kāi)啟查詢結(jié)果緩存，可配置不同緩存時(shí)間，表示緩存生效的有效期，如果數(shù)據(jù)是非小時(shí)粒度實(shí)效性，建議選擇12小時(shí)。

Quick引擎 - 維值加速

在直連查詢中，關(guān)于維度值的查詢是比較耗時(shí)的，比如商品名稱(chēng)、客戶名稱(chēng)、城市名稱(chēng)等，因?yàn)檫@類(lèi)查詢?cè)谥边B模式下需要去底層數(shù)據(jù)庫(kù)做去重聚合操作，要掃描全表數(shù)據(jù)，所以比較耗時(shí)。而在某些場(chǎng)景下，這類(lèi)查詢操作可能會(huì)非常頻繁的出現(xiàn)，比如即席分析的維度值分析和查詢控件的維度值查詢，在這類(lèi)場(chǎng)景下可以通過(guò)配置維值加速提升查詢性能。

在加速配置頁(yè)面，開(kāi)啟維值加速，該數(shù)據(jù)集是一張訂單明細(xì)表，在前端儀表板頁(yè)面經(jīng)常需要基于客戶名稱(chēng)和產(chǎn)品名稱(chēng)查詢成交情況，因此把這兩個(gè)字段配置維值加速，分別對(duì)應(yīng)上底層數(shù)據(jù)庫(kù)兩張用戶和商品維表的字段，之后維度值的查詢將直接從這兩張維表中取，而無(wú)需去明細(xì)表做聚合，從而提升查詢速度。

以上是關(guān)于Quick BI的計(jì)算內(nèi)核Quick引擎的功能和使用場(chǎng)景的介紹，依托阿里云的計(jì)算底座，Quick引擎實(shí)現(xiàn)了十億級(jí)數(shù)據(jù)亞秒級(jí)分析的能力，讓上層分析可視化應(yīng)用在大數(shù)據(jù)時(shí)代真正飛起來(lái)。