導(dǎo) 語(yǔ)

本文為數(shù)據(jù)庫(kù)「擁抱Data+AI」系列連載第1篇，該系列是阿里云瑤池?cái)?shù)據(jù)庫(kù)面向各行業(yè)Data+AI應(yīng)用場(chǎng)景，基于真實(shí)客戶案例&最佳實(shí)踐，展示Data+AI行業(yè)解決方案的連載文章。本篇內(nèi)容針對(duì)電商行業(yè)痛點(diǎn)，將深入探討如何利用數(shù)據(jù)與AI技術(shù)以及數(shù)據(jù)分析方法論，為電商行業(yè)注入新的活力與效能。
相關(guān)內(nèi)容推薦：《大咖說(shuō)｜Data+AI：企業(yè)智能化轉(zhuǎn)型的核心驅(qū)動(dòng)力》

行業(yè)趨勢(shì)

在當(dāng)今數(shù)字化浪潮洶涌澎湃的時(shí)代，電商行業(yè)正經(jīng)歷著深刻的變革與發(fā)展。數(shù)據(jù)（Data）與人工智能（AI）成為推動(dòng)電商行業(yè)變革發(fā)展的核心力量。海量的數(shù)據(jù)中蘊(yùn)含著無(wú)盡的價(jià)值與機(jī)遇，通過(guò)對(duì)大數(shù)據(jù)的深入挖掘和分析，電商企業(yè)能夠精準(zhǔn)洞察消費(fèi)者需求、優(yōu)化運(yùn)營(yíng)流程、提升決策效率。而 AI 的加入為電商領(lǐng)域帶來(lái)了更強(qiáng)大的智能服務(wù)能力，同時(shí)在數(shù)據(jù)價(jià)值發(fā)現(xiàn)上帶來(lái)無(wú)限的想象空間。

在過(guò)去幾年，電商企業(yè)通過(guò)構(gòu)建大數(shù)據(jù)體系實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型，然而在享受數(shù)據(jù)紅利背后也發(fā)現(xiàn)了現(xiàn)有大數(shù)據(jù)架構(gòu)的不足：在信息維度上主要以結(jié)構(gòu)化分析為主，圖片、文檔等信息有待挖掘；在應(yīng)用方面缺乏實(shí)時(shí)和敏捷的分析應(yīng)用；在運(yùn)維上多引擎組合極大增加開(kāi)發(fā)和運(yùn)維成本。隨著技術(shù)變革，大語(yǔ)言模型和RAG已實(shí)現(xiàn)多模態(tài)分析可拓展更多信息維度，離在線一體引擎可實(shí)現(xiàn)了流、批處理及在線分析的場(chǎng)景融合。

在極需創(chuàng)新的當(dāng)下，如何快速升級(jí)成可支撐未來(lái)3~5年業(yè)務(wù)創(chuàng)新的Data+AI架構(gòu)？在擁有更多信息維度下，如何實(shí)現(xiàn)更深入和精準(zhǔn)的數(shù)據(jù)洞察？本文將深入探討如何利用好新的數(shù)據(jù)與AI技術(shù)以及數(shù)據(jù)分析方法論，為電商行業(yè)注入新的活力與效能。

技術(shù)挑戰(zhàn)

隨著在線處理、實(shí)時(shí)分析、智能化決策成為電商行業(yè)的剛需，企業(yè)技術(shù)架構(gòu)在數(shù)據(jù)分析能力和AI能力構(gòu)建上同時(shí)面臨很多挑戰(zhàn)：

1. 數(shù)據(jù)在線重刷：業(yè)務(wù)上開(kāi)放了自定義配置能力，商家修改配置后想要立馬看到配置之后的數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)引擎需要具備豐富的函數(shù)支持、事務(wù)以及復(fù)雜邏輯處理能力，能夠根據(jù)配置在線重算歷史數(shù)據(jù)并且對(duì)客提供分析服務(wù)。

2. 實(shí)時(shí)在線分析：電商業(yè)務(wù)需要提供實(shí)時(shí)分析的同時(shí)也需要結(jié)合歷史數(shù)據(jù)作對(duì)比分析，因此需要引擎提供流批一體的能力，滿足實(shí)時(shí)指標(biāo)、離線指標(biāo)、累計(jì)指標(biāo)、同環(huán)比及趨勢(shì)分析等指標(biāo)的加工和復(fù)雜運(yùn)算。

3. 成本優(yōu)化：長(zhǎng)周期數(shù)據(jù)分析對(duì)商家來(lái)說(shuō)很有價(jià)值，但數(shù)據(jù)倉(cāng)庫(kù)引擎需要支持冷/熱數(shù)據(jù)分層來(lái)控制長(zhǎng)周期數(shù)據(jù)存儲(chǔ)成本，同時(shí)在開(kāi)發(fā)和使用上對(duì)業(yè)務(wù)是無(wú)感的。

4. 穩(wěn)定性提升：由于對(duì)外提供付費(fèi)服務(wù)因此需要時(shí)刻保障業(yè)務(wù)的連續(xù)性。數(shù)據(jù)倉(cāng)庫(kù)引擎在極端情況需要保障集群性能不降級(jí)。

5. 數(shù)據(jù)質(zhì)量和治理：AI的應(yīng)用依賴(lài)于高質(zhì)量的數(shù)據(jù)，數(shù)據(jù)的“自由散漫”問(wèn)題，即數(shù)據(jù)的不準(zhǔn)確、分散性和新鮮度是制約電商行業(yè)AI落地的重要因素。

6. 數(shù)據(jù)資產(chǎn)與AI聯(lián)動(dòng)：企業(yè)積累了大量數(shù)據(jù)資產(chǎn)，這些資產(chǎn)價(jià)值的釋放不僅依賴(lài)數(shù)據(jù)資產(chǎn)與AI的相互聯(lián)動(dòng)（數(shù)據(jù)賦能AI，AI賦能數(shù)據(jù)），還依賴(lài)數(shù)據(jù)資產(chǎn)團(tuán)隊(duì)和AI團(tuán)隊(duì)間的協(xié)同，企業(yè)缺乏高效的聯(lián)動(dòng)機(jī)制。

7. 成本、人才與組織：AI落地通常需要較高的初期投入，包括基礎(chǔ)設(shè)施投入、人才培養(yǎng)投入、業(yè)務(wù)流程、組織變革等，企業(yè)需要評(píng)估AI投資回報(bào)率，實(shí)現(xiàn)降本增效。

阿里云 Data+AI 解決方案

在今年9月云棲大會(huì)上，阿里云瑤池?cái)?shù)據(jù)庫(kù)重磅發(fā)布“DMS+X：統(tǒng)一、開(kāi)放、多模的Data+AI數(shù)據(jù)管理服務(wù)”。該平臺(tái)通過(guò)OneMeta和OneOps兩大創(chuàng)新，簡(jiǎn)化了數(shù)據(jù)管理與AI開(kāi)發(fā)，實(shí)現(xiàn)DMS+X一站式的Data+AI全生命周期管理。在DMS+X之上，阿里云將助力企業(yè)數(shù)據(jù)以最快的速度擁抱AI，落地業(yè)務(wù)，產(chǎn)生價(jià)值。

為了應(yīng)對(duì)業(yè)務(wù)發(fā)展對(duì)技術(shù)的挑戰(zhàn)，電商行業(yè)客戶可以通過(guò)阿里云DMS+AnalyticDB實(shí)現(xiàn) Data+AI 架構(gòu)全新升級(jí)，構(gòu)建AI原生的倉(cāng)內(nèi)智能能力，打造新一代的在線數(shù)倉(cāng)。

面向 Data+AI 的數(shù)據(jù)架構(gòu)升級(jí)

Zero-ETL

隨著電商行業(yè)升級(jí)，業(yè)務(wù)規(guī)則配置靈活性、報(bào)表分析自助性成為剛需。傳統(tǒng)基于ETL和離線調(diào)度加工的開(kāi)發(fā)模式越發(fā)不能滿足商家分析訴求。為應(yīng)對(duì)日益旺盛的分析需求，阿里云瑤池旗下的云原生數(shù)據(jù)倉(cāng)庫(kù)AnalyticDB PostgreSQL版（以下簡(jiǎn)稱(chēng)ADB-PG）推出 Zero-ETL 功能，無(wú)需配置ETL任務(wù)即可實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)庫(kù)的增量同步，結(jié)合 ADB-PG 增量實(shí)時(shí)物化視圖實(shí)現(xiàn)無(wú)調(diào)度的任務(wù)加工和數(shù)據(jù)重刷，提升商家分析時(shí)效性和靈活性。

實(shí)時(shí)在線分析

在過(guò)去流數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析的成本極高，同時(shí)在開(kāi)發(fā)和運(yùn)維上因?yàn)橐獙W(xué)習(xí)兩套引擎語(yǔ)法成本較高。ADB-PG 增量實(shí)時(shí)物化視圖支持豐富語(yǔ)法：多表關(guān)聯(lián)、嵌套子查詢(xún)、窗口函數(shù)等；支持行級(jí)數(shù)據(jù)刷新和級(jí)聯(lián)刷新，不需要業(yè)務(wù)上來(lái)實(shí)現(xiàn)數(shù)據(jù)任務(wù)的調(diào)度依賴(lài)。在Upsert下通過(guò)ADB-PG分布式直寫(xiě)計(jì)算節(jié)點(diǎn)能力加持下可達(dá)到10W+ RPS的寫(xiě)入吞吐。

混合負(fù)載資源隔離

集群同時(shí)存在高吞吐寫(xiě)入、歷史數(shù)據(jù)重算、實(shí)時(shí)計(jì)算和在線分析服務(wù)需求，因此需要支持混合業(yè)務(wù)的負(fù)載。結(jié)合 ADB-PG 資源隔離能力構(gòu)建了不同資源組，根據(jù)業(yè)務(wù)在不同時(shí)間段的重要性動(dòng)態(tài)地分配資源，比如在早上需要保障在線分析服務(wù)和實(shí)時(shí)計(jì)算的業(yè)務(wù)連續(xù)性，在數(shù)據(jù)刷新資源時(shí)可以調(diào)低一些。在凌晨則相反，批處理加工的資源最大，同時(shí)也保留一部分資源保障KA客戶的分析服務(wù)。

長(zhǎng)周期數(shù)據(jù)歸檔

在過(guò)去由于成本考慮無(wú)法為客戶提供兩年前的歷史數(shù)據(jù)分析服務(wù)，同時(shí)對(duì)于沒(méi)有分區(qū)的表需要業(yè)務(wù)上手動(dòng)轉(zhuǎn)冷非常不方便。通過(guò)ADB-PG 實(shí)現(xiàn)了長(zhǎng)周期數(shù)據(jù)的自動(dòng)歸檔，可以支持分區(qū)級(jí)和行級(jí)（指導(dǎo)字段）。在使用上可以自動(dòng)路由到熱或冷數(shù)據(jù)，也可以通過(guò)參數(shù)控制僅訪問(wèn)熱數(shù)據(jù)。在保障用戶能夠使用歷史數(shù)據(jù)的同時(shí)實(shí)現(xiàn)存儲(chǔ)成本優(yōu)化。

滿足 KA 業(yè)務(wù)

對(duì)KA用戶需要有獨(dú)立的資源保障，但同時(shí)也要考慮整體的計(jì)算和存儲(chǔ)成本。對(duì)于一些批處理加工的數(shù)據(jù)，通過(guò)ADB-PG 數(shù)據(jù)互訪能力實(shí)現(xiàn)跨實(shí)例的數(shù)據(jù)訪問(wèn)避免數(shù)據(jù)冗余存儲(chǔ)，通過(guò)實(shí)時(shí)物化視圖可以對(duì)中心數(shù)倉(cāng)和KA 數(shù)倉(cāng)上的數(shù)據(jù)進(jìn)行計(jì)算，結(jié)果數(shù)據(jù)留存在衛(wèi)星數(shù)倉(cāng)。對(duì)于一些高頻率查詢(xún)的數(shù)據(jù)通過(guò)CDC增量同步到KA數(shù)倉(cāng)，提供高性能的在線服務(wù)。對(duì)計(jì)算任務(wù)根據(jù)資源消耗情況進(jìn)行費(fèi)用分?jǐn)偂?/p>

動(dòng)態(tài)資源彈升

數(shù)據(jù)產(chǎn)品對(duì)外提供付費(fèi)服務(wù)，因?yàn)樾枰獣r(shí)刻保障業(yè)務(wù)連續(xù)性。開(kāi)源MPP架構(gòu)產(chǎn)品雖然能提供高可用能力，但在計(jì)算節(jié)點(diǎn)依賴(lài)的宿主機(jī)發(fā)生宕機(jī)情況下會(huì)影響整個(gè)集群的性能。為了保障集群性能不降級(jí)，ADB-PG 提供了動(dòng)態(tài)資源彈升的能力。

AI 場(chǎng)景實(shí)踐探索

電商行業(yè)客戶可在數(shù)據(jù)倉(cāng)庫(kù)之上進(jìn)行AI場(chǎng)景化實(shí)踐探索，阿里云瑤池?cái)?shù)據(jù)庫(kù)提供了智能問(wèn)數(shù)和以圖搜圖場(chǎng)景的解決方案。

智能問(wèn)數(shù)

在當(dāng)今快速演進(jìn)的商業(yè)環(huán)境中，數(shù)據(jù)已成為企業(yè)策略制定的關(guān)鍵資源。無(wú)論是優(yōu)化決策流程還是驅(qū)動(dòng)創(chuàng)新，對(duì)數(shù)據(jù)的精確分析和高效管理至關(guān)重要。

DMS是阿里云在2013年發(fā)布的數(shù)據(jù)管理服務(wù)，能夠滿足企業(yè)一站式數(shù)據(jù)管理訴求。DMS Data Copilot是DMS基于阿里云大模型構(gòu)建的數(shù)據(jù)智能助手，支持用戶通過(guò)自然語(yǔ)言的方式生成并優(yōu)化SQL，降低SQL編寫(xiě)門(mén)檻，提升開(kāi)發(fā)效率。

企業(yè)內(nèi)的數(shù)據(jù)團(tuán)隊(duì)需要為商家研發(fā)數(shù)據(jù)智能產(chǎn)品，并對(duì)內(nèi)部的產(chǎn)品運(yùn)營(yíng)團(tuán)隊(duì)提供數(shù)據(jù)分析支持。大量的數(shù)據(jù)報(bào)表并不能完全滿足商家，運(yùn)營(yíng)和產(chǎn)品的需求，在繁重的開(kāi)發(fā)工作之外還需要頻頻應(yīng)對(duì)各方的取數(shù)需求，這些臨時(shí)的需求并不足以建設(shè)報(bào)表來(lái)滿足，諸如此類(lèi)的問(wèn)題每天都在發(fā)生，為數(shù)據(jù)研發(fā)工作帶來(lái)不小的挑戰(zhàn)。
DMS Copilot解決方案可以滿足各方靈活取數(shù)需求，以自然語(yǔ)言交互方式獲取數(shù)據(jù)，只需提出問(wèn)題即可獲得所需結(jié)果，還支持一鍵生成圖表，查看數(shù)據(jù)變化趨勢(shì)。

對(duì)內(nèi)部提升數(shù)據(jù)報(bào)表開(kāi)發(fā)效率。以一個(gè)場(chǎng)景為例，需求方要基于銷(xiāo)售大區(qū)和合同版本維度統(tǒng)計(jì)近7天訪問(wèn)"全局概覽"頁(yè)面的TOP3商家類(lèi)目。只需輸入這段文本需求 DMS Copilot即可生成相應(yīng)的SQL代碼。根據(jù)用戶的個(gè)性化需求Copilot還給出了歷史知識(shí)庫(kù)引用進(jìn)一步提升回答準(zhǔn)確度。

以圖搜圖

基于 ADB-PG 一站式RAG的OpenAPI構(gòu)建圖片上傳、向量化 (Embedding)、圖片檢索完整鏈路，三天即可完成整個(gè)圖搜技術(shù)底座的搭建和優(yōu)化，對(duì)客提供同源貨品推薦服務(wù)。

?
?

?

總結(jié)與展望

針對(duì)電商行業(yè)痛點(diǎn)，阿里云瑤池?cái)?shù)據(jù)庫(kù)提供完整的 Data+AI 解決方案及落地最佳實(shí)踐，針對(duì)七大挑戰(zhàn)提供了創(chuàng)新的技術(shù)方案。利用 DMS+AnalyticDB 同時(shí)滿足數(shù)據(jù)在線處理、實(shí)時(shí)分析和智能化AI實(shí)踐，大大降低了企業(yè)開(kāi)發(fā)和運(yùn)維成本。

Data+AI為企業(yè)提供了增長(zhǎng)的新途徑，企業(yè)必須認(rèn)識(shí)到Data+AI的重要性，并將其作為戰(zhàn)略實(shí)施重點(diǎn)，促進(jìn)智能化轉(zhuǎn)型以保持競(jìng)爭(zhēng)力和市場(chǎng)領(lǐng)導(dǎo)地位，迎接新的機(jī)會(huì)。電商行業(yè)客戶進(jìn)行面向Data+AI的升級(jí)和轉(zhuǎn)型，對(duì)外提供AI原生能力，能讓AI的開(kāi)發(fā)和應(yīng)用更普惠。通過(guò)循序漸進(jìn)地探索和落地，期待未來(lái)能在電商產(chǎn)品上實(shí)現(xiàn)全面智能化。