本次分享主題為轉(zhuǎn)轉(zhuǎn) One-Service 數(shù)據(jù)服務體系建設，主要介紹轉(zhuǎn)轉(zhuǎn)在建設數(shù)據(jù)服務體系過程中的三個階段，其中將詳細介紹 One-Service 統(tǒng)一查詢服務建設思路。

主要內(nèi)容包括以下幾大部分：

1. 轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)服務發(fā)展歷程
2. One-Service 查詢服務建設
3. 未來規(guī)劃

一、轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)服務發(fā)展歷程

圖片

在第一階段，隨著業(yè)務增長與人力資源的緊張，為了滿足各個業(yè)務線的數(shù)據(jù)需求，快速的使用統(tǒng)計數(shù)據(jù)做數(shù)據(jù)分析，本階段產(chǎn)生的數(shù)據(jù)結(jié)果大多以Excel或者數(shù)據(jù)統(tǒng)計到庫的方式提供數(shù)據(jù)，對外提供分析或者對接應用。此階段目標是快速產(chǎn)出數(shù)據(jù)結(jié)果，為業(yè)務決策提供數(shù)據(jù)支撐。

第二階段隨著業(yè)務的發(fā)展，分析數(shù)據(jù)的需求不斷的增多，分析的要求也更多樣化。針對不同主題下的數(shù)據(jù)，我們開發(fā)了各個主題的應用報表、多維分析報表，用來支持業(yè)務多樣化的分析的訴求。雖然在一定程度上解決了業(yè)務使用數(shù)據(jù)的痛點，但是在數(shù)據(jù)查詢服務上各做各的，不同的主題對應不同的查詢服務后端，形成了來一個主題開發(fā)一個主題的查詢服務的煙囪式開發(fā)模式。

第三階段是統(tǒng)一查詢服務One-Service，為了解決階段二暴露的問題，避免重復開發(fā)降低開發(fā)工作量，打造支持各類數(shù)據(jù)存儲的數(shù)據(jù)查詢服務，提供統(tǒng)一、穩(wěn)定、便捷、安全、可控的數(shù)據(jù)查詢出口，我們針對不同的主題數(shù)據(jù)形成的數(shù)據(jù)集，設計和實現(xiàn)了一套統(tǒng)一的數(shù)據(jù)服務，可以完成所有主題數(shù)據(jù)服務的查詢，并提供支持不同的協(xié)議以在不同的使用場景中使用。

接下來，將詳細介紹統(tǒng)一查詢服務實現(xiàn)的具體細節(jié)。

二、One-Service 查詢服務建設

2.1 背景

在日常的數(shù)據(jù)開發(fā)過程中，我們會把數(shù)據(jù)結(jié)果存儲在各類數(shù)據(jù)庫中或者導入到OLAP查詢引擎中供上層應用使用。對于不同的數(shù)據(jù)庫和OLAP引擎上層應用都要自行構(gòu)建查詢服務處理各自的數(shù)據(jù)邏輯，存在大量重復的開發(fā)工作，因此為了提升數(shù)據(jù)使用效率、減少重復性開發(fā)工作、降低開發(fā)成本，我們在各類存儲引擎的基礎上需要開發(fā)一套統(tǒng)一的數(shù)據(jù)查詢服務。

2.2 系統(tǒng)目標

圖片

目標：打造支持各類數(shù)據(jù)存儲的數(shù)據(jù)查詢服務，提供統(tǒng)一、穩(wěn)定、便捷、安全、可擴展的數(shù)據(jù)查詢出口。

需要支持常用的OLTP與OLAP數(shù)據(jù)存儲引擎，比如MySQL、Kylin、Druid、Clickhouse、StarRocks等，所有數(shù)據(jù)出口由同一套查詢服務支持，并且需要保證服務的可控、穩(wěn)定、安全，對接BI需求、數(shù)據(jù)服務、數(shù)據(jù)應用工具開發(fā)等上層各類數(shù)據(jù)應用場景。

2.3 整體架構(gòu)

圖片

針對之前闡述的系統(tǒng)背景要求與目標，我們設計了一套統(tǒng)一查詢服務One-Service，打通了基礎數(shù)據(jù)平臺中的元信息，通過配置管理數(shù)據(jù)源、數(shù)據(jù)集的方式來應對不同的多樣性數(shù)據(jù)需求。并且接入了權(quán)限管理平臺，支持對數(shù)據(jù)集進行權(quán)限管理與配置。在服務本身設計了一些服模塊功能模塊，權(quán)限控制模塊、查詢歷史記錄、監(jiān)控告警模塊等功能來輔助完成相應的系統(tǒng)要求。

1. 基礎數(shù)據(jù)平臺：根據(jù)基礎數(shù)據(jù)平臺維護的各類表與指標的元信息，通過配置生成不同業(yè)務的數(shù)據(jù)集；
2. 管理后臺：包括數(shù)據(jù)源管理、數(shù)據(jù)集管理、數(shù)據(jù)權(quán)限管理。數(shù)據(jù)集管理是把不同的數(shù)據(jù)源的數(shù)據(jù)抽象成一個數(shù)據(jù)集合，根據(jù)存儲引擎的不同采用對應的組合與配置方式，比如支持SQL的存儲引擎，可以通過SQL來生成對應不同業(yè)務的各類數(shù)據(jù)集，并且可以通過子查詢來形成不同的數(shù)據(jù)集來多樣化支持不同場景與需求，同時各類字段格式轉(zhuǎn)換、特殊過濾條件處理都可以放到數(shù)據(jù)集中進行配置處理；
3. 權(quán)限管理中臺：通過話權(quán)限管理平臺，用來對用的數(shù)據(jù)集權(quán)限進行管理，查詢平臺權(quán)限管理粒度為數(shù)據(jù)集；
4. 查詢服務：包括查詢接口服務、后臺管理服務、存儲引擎查詢器，以及其他輔助功能。針對不同的存儲引擎會有與之對應的查詢器進行數(shù)據(jù)查詢支持。

2.4 查詢引擎設計

圖片

在查詢引擎方面，因為我們要支持不同的查詢引擎進行查詢，所以我們抽象出了一些抽象類，其中有通用統(tǒng)一的Map類型數(shù)據(jù)源參數(shù)、數(shù)據(jù)集參數(shù)、通用的接口調(diào)用方法等，通過繼承查詢器抽象類的方式實現(xiàn)各類存儲引擎的查詢器，可以方便的對查詢器進行管理、擴展與功能開發(fā)。同時針對不同的查詢引擎可以做定制化的查詢控制與優(yōu)化。查詢器抽象類抽象方法大致如下：

• getSchemas 獲取庫信息
• getTables 獲取表信息
• getDatasetDetail 查詢數(shù)據(jù)集配置
• queryDimVals 查詢維度信息
• queryAggData 查詢數(shù)據(jù)
• viewAggDataQuery 查詢生成查詢sql或者執(zhí)行計劃信息
• getAggregateDataDownload 同步下載數(shù)據(jù)
• getDataDownloadAsync 異步下載數(shù)據(jù)接口

統(tǒng)一查詢參數(shù)cfg設計與查詢信息封裝：上層應用通過數(shù)據(jù)集元信息，根據(jù)查詢場景生成組裝Json格式的查詢參數(shù)，包括維度、過濾、聚合、指標查詢信息。后端收到對應數(shù)據(jù)集與查詢信息組裝對應查詢邏輯，然后調(diào)用查詢接口對數(shù)據(jù)進行查詢與結(jié)果返回。參數(shù)示例如下：

{
    "rows": [
        {
            "columnName": "date",
            "filterType": "eq",
            "values": []
        },
        {
            "columnName": "channelname",
            "filterType": "eq",
            "values": []
        }
    ],
    "filters": [
        {
            "columnName": "date",
            "filterType": "=",
            "values": [
                "2023-05-10-00"
            ]
        }
    ],
    "values": [
        {
            "column": "active_count",
            "aggType": "sum"
        }
    ],
    "pageSize": 10,
    "pageNum": 1
}

常用查詢參數(shù)簡要說明：

• rows字段為group by的維度
• filters為過濾條件，支持各類過濾條件定義表達
• values為查詢指標 aggType支持：count、sum、avg、max、min、distinct、raw原始值
• orders為排序?qū)傩裕琧olumnName為列名，orderType為排序升序降序值為 ASC、DESC
• pageSize 頁面行數(shù)
• pageNum 頁碼

前端或者后端開發(fā)，通過數(shù)據(jù)開發(fā)配置的數(shù)據(jù)集信息，可以快速的生成自己的場景查詢的cfg配置，然后把請求發(fā)送到統(tǒng)一查詢服務上，服務會根據(jù)數(shù)據(jù)集配置的數(shù)據(jù)源信息，獲取到對應數(shù)據(jù)存儲引擎的查詢器，然后把對應的查詢配置參數(shù)通過邏輯轉(zhuǎn)換成對應引擎的查詢邏輯，完成數(shù)據(jù)查詢并組裝會返回結(jié)果。

至此我們基本完成了One-Service核心功能的設計，當有新的查詢引擎需要支持的時候，我們通過繼承對應的抽象類，完成相應的方法即可以對該查詢引擎的數(shù)據(jù)進行查詢，開發(fā)工作量相對比較小，可以快速支持新引擎，截止目前我們已經(jīng)完成了大多數(shù)引擎的查詢支持。對于具體的復雜的應用場景，我們可以通過數(shù)據(jù)開發(fā)的結(jié)果表，配置生成不同的數(shù)據(jù)集來做二次邏輯加工，來支持多樣的數(shù)據(jù)需求。同時我們開發(fā)了https、微服務兩個數(shù)據(jù)查詢服務版本方便于前端、后端開發(fā)人員對接數(shù)據(jù)需求。

2.5 數(shù)據(jù)安全

圖片

數(shù)據(jù)安全管控對于保護數(shù)據(jù)資產(chǎn)、維護數(shù)據(jù)完整性和合規(guī)性至關重要。通過數(shù)據(jù)安全管控，企業(yè)可以降低數(shù)據(jù)泄露、濫用和損壞的風險，確保數(shù)據(jù)安全。在數(shù)據(jù)安全方面，目前控制到數(shù)據(jù)集粒度。整體上通過兩種方式來管理：

• 一個種是對接了權(quán)限認證的系統(tǒng)，用戶登錄之后通過配置的用戶角色與數(shù)據(jù)集對應關系來管理用戶對應的數(shù)據(jù)集權(quán)限，在用戶進行數(shù)據(jù)查詢請求時后端服務會校驗用戶權(quán)限，對沒有對應數(shù)據(jù)集權(quán)限的查詢請求進行攔截；
• 另一種沒有用戶認證的情況，采用授權(quán)碼的方式來控制用戶數(shù)據(jù)集的訪問權(quán)限，這種情況一般多用在內(nèi)部的后端服務調(diào)用上，保證后端在使用查詢服務的情況下依然有權(quán)限管控，不能看到權(quán)限以外的數(shù)據(jù)集信息。

同時在系統(tǒng)中，有對應請求的查詢記錄信息和監(jiān)控告警模塊，對于異常查詢、鑒權(quán)異常、慢查詢等進行相應的監(jiān)控，可以通過告警或者限流的方式篩選出異常查詢情況并做出相應的處理，來保證系統(tǒng)的穩(wěn)定與數(shù)據(jù)的安全。

2.6 智能查詢

圖片

在服務投入使用的過程中，我們發(fā)現(xiàn)很多請求其實請求的結(jié)果數(shù)據(jù)量級很小邏輯很輕，這種請求如果都發(fā)送到OLAP的引擎中進行查詢，在早高峰資源占用緊張的情況下也會受到影響，影響用戶查詢體驗。而且各種數(shù)據(jù)庫或者OLAP引擎都有著各自適用的場景，目前針對大數(shù)據(jù)并沒有一個完美引擎，因此在這套查詢體系里為了最大化用戶體驗，提升查詢效率，設計根據(jù)數(shù)據(jù)集優(yōu)先級，以及查詢條件自動選擇最適合的查詢引擎來進行數(shù)據(jù)查詢與加載。

1. 底層寬表：比如我們在Hive當中有訂單主題的寬表，我們會按照業(yè)務分析場景，把寬表拆成最常用分析維度數(shù)據(jù)集，較常用維度數(shù)據(jù)集，全量數(shù)據(jù)集等數(shù)據(jù)集；
2. 數(shù)據(jù)子集：根據(jù)寬表與分析場景的情況，我們會配置定義出各類數(shù)據(jù)分析子集，分析場景下的全量數(shù)據(jù)集會存儲在ClickHouse當中進行最后命中查詢，不同維度的子集與存儲引擎可以多對一進行任意優(yōu)先配置與組合；
3. 優(yōu)先級：根據(jù)分析場景與數(shù)據(jù)量級大小，把最常用的數(shù)據(jù)集按照引擎特性分別存儲在不同的數(shù)據(jù)庫或者OLAP引擎當中，根據(jù)查詢性能、數(shù)據(jù)量級的不同常規(guī)優(yōu)先級 MySQL（高）-> Kylin(中) -> ClickHouse(低)；
4. 引擎選擇器：當我們查詢某一個數(shù)據(jù)集的時候，會去判斷該數(shù)據(jù)集所屬數(shù)據(jù)集組，在改組下有各種維度不同存儲引擎下的數(shù)據(jù)集，再根據(jù)查詢條件按照配置好的優(yōu)先級順序，進行匹配查詢。追求最好的查詢效率。

這是一種常用的處理方式，用存儲空間換取查詢效率與用戶體驗的方案，這個方案中在不同的引擎里會冗余不同維度的子數(shù)據(jù)集數(shù)據(jù)，具體的都要視查詢場景與數(shù)據(jù)集特點進行拆分優(yōu)化，充分利用每個引擎的特點與優(yōu)勢，來提供更快更穩(wěn)定的查詢體驗。

2.7.平臺建設

圖片

在系統(tǒng)核心功能完成之后，在易用性上我們基于該服務建設了管理功能與自助分析平臺。整體如上圖所示，我們可以查看自己有權(quán)限的數(shù)據(jù)集，并對數(shù)據(jù)集的數(shù)據(jù)進行自助分析，選擇維度過濾，確定查詢的指標與分組的維度進行自助的數(shù)據(jù)查詢與分析。同時展示了對應的查詢參數(shù)cfg參數(shù)與最終生成的查詢SQL，方面前后端開發(fā)人員快速上手使用該查詢服務，提升開發(fā)效率。

至此通過該系統(tǒng)基本上解決了數(shù)據(jù)查詢服務統(tǒng)一的問題，在統(tǒng)一的指標管理、數(shù)據(jù)集管理的體系下，保證了數(shù)據(jù)出口邏輯的一致性。并且該系統(tǒng)可以支持橫向擴展來適應更多的查詢請求。完成支持各類數(shù)據(jù)存儲的數(shù)據(jù)查詢服務，提供統(tǒng)一、穩(wěn)定、便捷、安全、可擴展的數(shù)據(jù)查詢出口統(tǒng)一查詢服務One-Service系統(tǒng)。

三、未來規(guī)劃

圖片

1. 權(quán)限管理細化：主要是要以更細的粒度管控數(shù)據(jù)權(quán)限，把數(shù)據(jù)權(quán)限控制到指標字段級別，進一步保證數(shù)據(jù)使用的安全。并且在異常請求訪問攔截上增強識別能力，通過多種手段及時干預防止發(fā)生數(shù)據(jù)泄露等情況。
2. 多引擎支持：目前已經(jīng)支持了大部分的OLAP的存儲分析引擎，后續(xù)考慮到應用場景的多樣性，準備接入Redis、ElasticSearch等存儲引擎，擴展服務使用場景。
3. 線上服務化：目前各個查詢之間沒有做資源隔離，對高QPS高穩(wěn)定性要求的場景不能夠很好的支持，如果同時有一些大查詢在處理，那么勢必會對其他查詢有一定的影響，所以為了滿足上面的場景需要對查詢資源進行隔離或者劃分服務等級，來區(qū)分使用場景區(qū)別對待，使統(tǒng)一查詢服務能夠直接對線上提供有保障的查詢服務。因為要對接線上的查詢服務，所以對系統(tǒng)穩(wěn)定查詢穩(wěn)定有了更高的要求，要對各個查詢性能進行監(jiān)控與有針對性的優(yōu)化，從而保障服務的穩(wěn)定。
4. 易用性：在目前的使用過程中由于前后端都需要根據(jù)使用場景生成cfg查詢參數(shù)，雖然提供了一些圖形化工具來幫助快速生成，但是也有一定的溝通和理解成本，為了提升開發(fā)效率，打算支持預制查詢參數(shù)組合，讓前后端在使用的時候可以簡單的通過設置屬性值的方式來完成傳參，整體上更易于理解，不用關心cfg參數(shù)具體的格式和各種拼接規(guī)則，采用常規(guī)的方式能夠更直接更簡單的使用查詢服務，提升易用性。同時完善自助分析的功能，增加更多的展示形式，優(yōu)化操作邏輯，讓使用數(shù)據(jù)集進行自助分析取數(shù)變的更簡單更智能，提升用戶體驗與數(shù)據(jù)分析效率。

關于作者

張業(yè)成，轉(zhuǎn)轉(zhuǎn)數(shù)據(jù)智能部高級數(shù)據(jù)開發(fā)工程師，專注于數(shù)據(jù)開發(fā)與數(shù)據(jù)應用平臺建設。