通過傳統(tǒng)的離線數(shù)據(jù)分析，企業(yè)僅能針對(duì)歷史數(shù)據(jù)進(jìn)行事后分析。 而隨著數(shù)據(jù)量的爆發(fā)式增 長(zhǎng)，以及市場(chǎng)環(huán)境和業(yè)務(wù)需求的快速變化，企業(yè)對(duì)數(shù)據(jù)時(shí)效性的 要求在不斷提高。 如在互聯(lián)網(wǎng)行業(yè)中，客戶端需要滿足用 戶對(duì)個(gè)性化產(chǎn) 品和服務(wù)的需求； 在金融行業(yè)中， 企業(yè)需要更快速地進(jìn)行風(fēng)險(xiǎn)控制和趨勢(shì)分析； 在新零售行業(yè)中，企業(yè)需要更快速地獲取 銷售數(shù)據(jù)，做出業(yè)務(wù) 決策等。 因此 ，企業(yè)需要實(shí)時(shí)數(shù)據(jù)計(jì)算的能力來滿足實(shí)時(shí)數(shù)據(jù)分析的需求。

1 實(shí)時(shí)開發(fā)中的痛點(diǎn)

在實(shí)時(shí)任務(wù)的開發(fā)過程中，任務(wù)調(diào)試是整個(gè)開發(fā)流程中比較耗時(shí)同時(shí)操作比較繁瑣的環(huán)節(jié)。在調(diào)試階段，用戶普遍會(huì)面臨以下幾個(gè)痛點(diǎn)。

1.1 任務(wù)頻繁上下線

在調(diào)試過程中，需要驗(yàn)證任務(wù)代碼邏輯是否正確，任務(wù)配置參數(shù)是否合理，就需要重復(fù)任務(wù)上線、運(yùn)行、下線調(diào)整重啟這一過程。

（實(shí)時(shí)任務(wù)開發(fā)流程）

1.2 需要?jiǎng)?chuàng)建測(cè)試結(jié)果表

由于實(shí)時(shí)任務(wù)在調(diào)試過程中需要不斷提交到線上運(yùn)行，調(diào)試過程中會(huì)產(chǎn)生臟數(shù)據(jù)，因此一般需要?jiǎng)?chuàng)建一張測(cè)試的結(jié)果表用于調(diào)試，在調(diào)試完成后再通過修改代碼將結(jié)果表替換為正式的結(jié)果表。這個(gè)替換表的過程涉及到代碼變更，可能會(huì)引入新的問題，同時(shí)維護(hù)測(cè)試表需要額外的成本。

1.3 無法使用特定的測(cè)試數(shù)據(jù)進(jìn)行調(diào)試

將任務(wù)實(shí)際上線運(yùn)行時(shí)，使用的源端數(shù)據(jù)是任務(wù)中指定的源端，大部分實(shí)時(shí)任務(wù)中使用消息隊(duì)列中的流式數(shù)據(jù)作為源端，若想在調(diào)試階段使用特定的測(cè)試數(shù)據(jù)進(jìn)行調(diào)試，還需要用戶在源端中自行插入指定數(shù)據(jù)，或使用測(cè)試源端表，在調(diào)試結(jié)束正式上線前替換為正式的源端表。操作復(fù)雜，同時(shí)也有可能在替換源端或插入數(shù)據(jù)時(shí)引入新的問題。

2 針對(duì)痛點(diǎn)的解決方案

針對(duì)上述痛點(diǎn) ， 有數(shù)實(shí)時(shí)計(jì)算平臺(tái)提供了 相應(yīng)的解決方案，即 實(shí)時(shí)開發(fā)調(diào)試的功能。調(diào)試功能分為兩個(gè)步驟，第一步是獲取調(diào)試數(shù)據(jù)，第二步是使用調(diào)試數(shù)據(jù)進(jìn)行任務(wù)本地調(diào)試。

2.1 獲取調(diào)試數(shù)據(jù)

在獲取調(diào)試數(shù)據(jù)步驟中，目前提供了在線采樣、上傳本地?cái)?shù)據(jù)、在線維護(hù)測(cè)試數(shù)據(jù)的功能。用戶可直接使用在線采樣功能，針對(duì)任務(wù)中使用的源表進(jìn)行采樣，在后續(xù)的調(diào)試過程中即可直接使用采樣的數(shù)據(jù)。

針對(duì)用戶想使用特定的測(cè)試數(shù)據(jù)進(jìn)行任務(wù)調(diào)試的需求，平臺(tái)支持用戶在在線采樣后對(duì)采樣結(jié)果進(jìn)行編輯和保存，保存采樣數(shù)據(jù)后，這份數(shù)據(jù)將作為這個(gè)任務(wù)可長(zhǎng)期重復(fù)使用的調(diào)試數(shù)據(jù)記錄在任務(wù)中。此外用戶還可以下載源端數(shù)據(jù)結(jié)構(gòu)文件，自行填寫源端數(shù)據(jù)后上傳至任務(wù)中，作為此任務(wù)的測(cè)試樣本進(jìn)行保存。

2.2 任務(wù)本地調(diào)試

在獲取到調(diào)試的樣本數(shù)據(jù)后，用戶無需將任務(wù)提交上線即可開始調(diào)試，同時(shí)任務(wù)的調(diào)試結(jié)果將不會(huì)寫入結(jié)果表中，僅會(huì)在開發(fā)IDE中進(jìn)行展示，方便用戶確認(rèn)代碼邏輯是否正確。

通過任務(wù)本地調(diào)試的功能，免除了用戶需要頻繁上線任務(wù)的過程，也省去了創(chuàng)建測(cè)試結(jié)果表和替換結(jié)果表代碼的過程，為實(shí)時(shí)任務(wù)開發(fā)提高了效率，也保障了線上數(shù)據(jù)的安全。

（使用調(diào)試功能后實(shí)時(shí)任務(wù)開發(fā)流程）

通過調(diào)試任務(wù)功能，用戶在開發(fā)環(huán)節(jié)中即可驗(yàn)證代碼邏輯。后續(xù)有數(shù)實(shí)時(shí)計(jì)算平臺(tái)將在運(yùn)行參數(shù)調(diào)優(yōu)方面持續(xù)做出優(yōu)化，徹底解決用戶調(diào)試實(shí)時(shí)任務(wù)難的問題。

3 應(yīng)用案例

3.1 案例場(chǎng)景

業(yè)務(wù)方需要使用商品售賣結(jié)果的實(shí)時(shí)數(shù)據(jù)進(jìn)行報(bào)表展示，數(shù)據(jù)加工團(tuán)隊(duì)需要使用 Kafka 消息隊(duì)列中的商品實(shí)時(shí)銷售情況關(guān)聯(lián)包含商品詳情的 MySQL 維表，將結(jié)果寫入 MySQL 結(jié)果表中供業(yè)務(wù)方查詢。

3.2 開發(fā)前準(zhǔn)備

使用的 Kafka topic：testgoods， 數(shù)據(jù)預(yù)覽：

使用的 MySQL 維表：goods_info，包含商品ID和商品名稱， 數(shù)據(jù)預(yù)覽：

表結(jié)構(gòu)：

3.3 創(chuàng)建任務(wù)

（1）創(chuàng)建一個(gè) SQL 任務(wù)

（2）編寫業(yè)務(wù)邏輯

set 'testgoods.connections.group.id' = 'mysql_join_example';
--設(shè)置Kafka消費(fèi)者組id，需要更改為自己命名的groupid
set 'testgoods.scan.startup.mode' = 'earliest-offset';
--設(shè)置讀取消息隊(duì)列的位置
 create view v1 as
select
 PROCTIME() as proctime,
 itemID,
 itemType,
 onSellTime,
 price
from
 poc.testgoods;
insert into
 `ljy_test_mysql`.`sloth_test`.`goods_join_mysql_sink`
select
 v1.itemID,
 v1.itemType,
 v1.onSellTime,
 v1.price,
 goods_info.itemName as itemName
from
 v1
 left join `ljy_test_mysql`.`sloth_test`.`goods_info` FOR SYSTEM_TIME AS of v1.proctime on v1.itemID = goods_info.itemID;

3.4 調(diào)試任務(wù)

（1）進(jìn)行源表和維表采樣

點(diǎn)擊頁面中的添加 source 按鈕，在 source 塊中選擇源表和維表，點(diǎn)擊 source 塊中的調(diào)試按鈕進(jìn)行采樣。

源表 source 塊：此處提前將 Kafka的topic：testgoods登記為一張流表，因此有數(shù)據(jù)庫、表的選擇。

源表采樣結(jié)果：

維表 source 塊：

維表采樣結(jié)果：

在獲取到采樣結(jié)果后，雙擊結(jié)果欄中的數(shù)值可修改樣本數(shù)據(jù)，點(diǎn)擊保存按鈕可將樣本保存為正式樣本用于后續(xù)多次調(diào)試。

（2）調(diào)試任務(wù)

點(diǎn)擊 SQL 塊操作欄中的調(diào)試按鈕，系統(tǒng)將自動(dòng)解析代碼中使用的源表和維表并展示在調(diào)試側(cè)邊欄中，用戶選擇每張?jiān)幢砗途S表需要使用的樣本數(shù)據(jù)后，即可對(duì)任務(wù)代碼開始調(diào)試，調(diào)試結(jié)果展示在代碼框下方。

調(diào)試結(jié)果符合用戶預(yù)期，代碼邏輯驗(yàn)證通過，任務(wù)可提交上線。

4 有數(shù)實(shí)時(shí)計(jì)算平臺(tái)介紹

目前 Apache Flink 已成為大數(shù)據(jù)實(shí)時(shí)計(jì)算的事實(shí)標(biāo)準(zhǔn)，具備高性能、低延遲等特點(diǎn)，但作為一款開源產(chǎn)品，社區(qū)版 Apache Flink 在產(chǎn)品化方面并未投入較大精力，因此企業(yè)用戶在使用社區(qū)版 Flink 時(shí)，開發(fā)門檻高、運(yùn)維成本高，針對(duì)這些問題，我們基于 Apache Flink 構(gòu)建了一站式、企業(yè)級(jí)，高性能實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)。

在開發(fā)方面，為用戶提供了一站式的開發(fā)控制臺(tái)進(jìn)行任務(wù)開發(fā)，提供元數(shù)據(jù)中心進(jìn)行元數(shù)據(jù)管理，內(nèi)置豐富 connector 達(dá)到開箱即用的效果，保證了與用戶使用的大數(shù)據(jù)組件無縫對(duì)接，提供UDF管理功能、在線調(diào)試功能、版本管理功能，大大降低了實(shí)時(shí)計(jì)算任務(wù)的開發(fā)門檻。

在運(yùn)維方面，提供全鏈路監(jiān)控告警、任務(wù)是在檢索和基于元數(shù)據(jù)中心的任務(wù)血緣，幫助用戶快速發(fā)現(xiàn)問題定位問題，提供企業(yè)級(jí)權(quán)限管理保障線上數(shù)據(jù)安全。

（有數(shù)實(shí)時(shí)計(jì)算平臺(tái)與 Apache Flink 的功能對(duì)比）

（有數(shù)實(shí)時(shí)計(jì)算 平 臺(tái) 架構(gòu)）

作者簡(jiǎn)介

佳鈺，網(wǎng)易數(shù)帆有數(shù)實(shí)時(shí)計(jì)算平臺(tái)產(chǎn)品經(jīng)理 。