數(shù)據(jù)曾被譽(yù)為新的石油，但這種說(shuō)法正在演變。隨著人工智能的興起，算力已經(jīng)成為企業(yè)推動(dòng)創(chuàng)新和成功的關(guān)鍵資源。生成式人工智能所涉及到知識(shí)工作和創(chuàng)造性工作的領(lǐng)域 ，如果生成式人工智能可以讓這些人至少提高 10% 的效率和 / 或創(chuàng)造力， 他們不僅變得更快、更有效率，而且比以前更有能力。因此，生成式人工智能具有創(chuàng)造數(shù)萬(wàn)億美元經(jīng)濟(jì)價(jià)值的潛力。

顯然，與先前發(fā)明的相似之處和潛在影響是確定的。與互聯(lián)網(wǎng)和移動(dòng)電話的進(jìn)行比較，人們希望通過(guò)這種比較來(lái)捕捉這種新技術(shù)的誘惑力和時(shí)刻。

那么人工智能將如何影響 “知識(shí)工作” 呢？尤其是數(shù)據(jù)分析在短時(shí)間內(nèi)經(jīng)歷了快速增長(zhǎng)，引發(fā)了人們對(duì)數(shù)據(jù)分析所提供價(jià)值的質(zhì)疑。這導(dǎo)致人們?cè)絹?lái)越希望有更好的標(biāo)準(zhǔn)和工具來(lái)滿足交付價(jià)值的需要，采用軟件工程實(shí)踐為數(shù)據(jù)分析帶來(lái)了長(zhǎng)足的進(jìn)步。引入人工智能這樣的新變量似乎令人望而生畏，并伴隨著過(guò)多的考量。然而，將人工智能整合到一家公司的數(shù)據(jù)戰(zhàn)略中是至關(guān)重要的，忽視它將錯(cuò)失良機(jī)。

1. 關(guān)于數(shù)據(jù)分析

數(shù)據(jù)分析市場(chǎng)增長(zhǎng)迅速，并繼續(xù)增長(zhǎng)，預(yù)計(jì)到 20302 年，北美市場(chǎng)的復(fù)合年增長(zhǎng)率將達(dá)到 27.3%。

圖片

在數(shù)據(jù)科學(xué)和數(shù)據(jù)分析學(xué)位出現(xiàn)之前，從其他分析領(lǐng)域過(guò)渡到數(shù)據(jù)分析要容易得多，例如物理，數(shù)學(xué)，會(huì)計(jì)，經(jīng)濟(jì)等等。但在過(guò)去的幾年里，情況已經(jīng)發(fā)生了根本性的變化。高等教育學(xué)位的增長(zhǎng)反映了人們對(duì)這個(gè)領(lǐng)域的興趣，數(shù)據(jù)科學(xué)學(xué)士學(xué)位增長(zhǎng)了數(shù)倍。

從廣義上看，數(shù)據(jù)分析由來(lái)已久，例如，會(huì)計(jì)和財(cái)務(wù)就是分析性很強(qiáng)的領(lǐng)域，在向公眾報(bào)告有關(guān)公司財(cái)務(wù)狀況的指標(biāo)時(shí)有嚴(yán)格的定義和規(guī)定。現(xiàn)代意義上的數(shù)據(jù)分析滿足了從有限信息中獲取盡可能多信息的愿望，并提出了一系列挑戰(zhàn)，需要與傳統(tǒng)軟件工程不同的思維方式。雖然軟件工程創(chuàng)建的代碼片段是確定的，并且可能是冪等的，但是數(shù)據(jù)流水線可以并且確實(shí)會(huì)隨著數(shù)據(jù)采集過(guò)程的變化而變化。

數(shù)據(jù)分析需要與軟件工程類(lèi)似的標(biāo)準(zhǔn)，但需要新的工具。這就是為什么當(dāng)數(shù)據(jù)網(wǎng)格出現(xiàn)時(shí)，它引起了數(shù)據(jù)社區(qū)的共鳴，讓人想起了軟件工程的敏捷宣言。數(shù)據(jù)網(wǎng)格解決了分散在整個(gè)組織中的不可信和分散的數(shù)據(jù)這一痛點(diǎn)。聯(lián)邦產(chǎn)品所有權(quán)的想法也很誘人，由于集中的提取 - 轉(zhuǎn)換 - 加載 (ETL) 過(guò)程已經(jīng)變得過(guò)于繁瑣和遲緩，以至于無(wú)法快速滿足組織的分析需求。

這引發(fā)了對(duì)從 ETL 到 ELT 的轉(zhuǎn)換，其中數(shù)據(jù)轉(zhuǎn)換是最后一步，由數(shù)據(jù)分析師或分析工程師負(fù)責(zé)。以獲得授權(quán)的數(shù)據(jù)團(tuán)隊(duì)創(chuàng)建自己的數(shù)據(jù)模型，而不是依賴(lài)數(shù)據(jù)架構(gòu)師來(lái)構(gòu)建，這減少了數(shù)據(jù)消費(fèi)端等待獲取數(shù)據(jù)的時(shí)間。

圖片

然而，隨著速度的提高，來(lái)自多個(gè)來(lái)源的數(shù)據(jù)表也隨之增多，需要考慮將數(shù)據(jù)呈現(xiàn)給最終用戶的 “最終負(fù)載”。ETL 流水線通常直接采用可視化工具 (如 Tableau或PowerBI等) 或電子表格，而不是作為建模數(shù)據(jù)返回到數(shù)據(jù)庫(kù)。

圖片

考慮到向用戶交付最終價(jià)值通常需要最后的負(fù)載，一個(gè)更準(zhǔn)確的縮寫(xiě)詞可能是 ELTL，還需注意的是最后一次加載之前的數(shù)據(jù)治理步驟。

2. 數(shù)據(jù)治理、數(shù)據(jù)建模和語(yǔ)義層

忽略數(shù)據(jù)治理而直接交付給業(yè)務(wù)用戶的數(shù)據(jù)會(huì)引起許多問(wèn)題。在用戶比較儀表盤(pán)時(shí)，并意識(shí)到相似的指標(biāo)可能產(chǎn)生了不同的結(jié)果。錯(cuò)誤會(huì)呈現(xiàn)在最終的產(chǎn)品中，因?yàn)闇y(cè)試并沒(méi)有得到足夠的重視。這與軟件工程不同，在軟件工程中，測(cè)試是質(zhì)量的保證。隨著數(shù)據(jù)分析領(lǐng)域的成熟，軟件工程已經(jīng)經(jīng)歷的這種坑正在重復(fù)。

為了提高準(zhǔn)確性，人們嘗試使用數(shù)據(jù)的語(yǔ)義層。語(yǔ)義層定義了公共度量，以確保整個(gè)組織的數(shù)據(jù)一致性。這是數(shù)據(jù)分析領(lǐng)域添加更多數(shù)據(jù)治理的重要改進(jìn)。此外，還出現(xiàn)了許多強(qiáng)調(diào)數(shù)據(jù)目錄的數(shù)據(jù)治理解決方案。而今，我們有了更多的工具，強(qiáng)調(diào)了與傳統(tǒng)數(shù)據(jù)分析不同的軟件工程原則。

那么，AI會(huì)應(yīng)用到數(shù)據(jù)分析領(lǐng)域的哪些方面呢？典型地，AI正被應(yīng)用于數(shù)據(jù)分析的最后一個(gè) “加載” 環(huán)節(jié)，即電子表格、可視化和數(shù)據(jù)庫(kù)中的人工智能。這些數(shù)據(jù)加載很重要，但是更重要的是在數(shù)據(jù)倉(cāng)庫(kù)建模上添加 AI。

圖片

如果沒(méi)有AI輔助的數(shù)據(jù)建模和數(shù)據(jù)治理，整個(gè)方案很可能會(huì)失敗。

2.1 精確分析

對(duì)數(shù)據(jù)建模的重新強(qiáng)調(diào)似乎令數(shù)據(jù)分析領(lǐng)域形成了閉環(huán)。到目前為止，流程中的差異已經(jīng)允許數(shù)據(jù)團(tuán)隊(duì)在創(chuàng)建表格方面擁有比以前更多的自主權(quán)，將數(shù)據(jù)傳遞給業(yè)務(wù)用戶的速度有了明顯的提高，但還是太慢了。數(shù)據(jù)團(tuán)隊(duì)是一個(gè)瓶頸，向儀表盤(pán)添加新的過(guò)濾器并不總是向最終用戶提供信息的最佳方法。

這實(shí)際上在重復(fù)過(guò)去的錯(cuò)誤，也就是說(shuō)，這個(gè)錯(cuò)誤就是大規(guī)模的數(shù)據(jù)生成無(wú)需考慮數(shù)據(jù)治理。這就是為什么最成功的AI數(shù)據(jù)應(yīng)用程序?qū)〝?shù)據(jù)治理。數(shù)據(jù)治理不是可選項(xiàng)，而是提供一個(gè)可靠的人工智能Data Agent的本質(zhì)特征。

因此，我們需要添加 AI能力來(lái)提高速度，改善對(duì)數(shù)據(jù)建模和數(shù)據(jù)治理的依賴(lài)，提升元數(shù)據(jù)和文檔實(shí)踐。本質(zhì)上，人們需要需要精確的信息。有些儀表盤(pán)存在一個(gè)組合問(wèn)題，太多過(guò)濾器和許多不同的選項(xiàng)導(dǎo)致有太多的視圖，以至于很難對(duì)其進(jìn)行排序。AI的能力幾乎可以即時(shí)訪問(wèn)數(shù)據(jù)并獲得新的見(jiàn)解。這種能夠精確得到人們所需要的東西的能力稱(chēng)之為 “精確分析”。“有了這么多可能的數(shù)據(jù)和度量的組合，精確分析允許AI根據(jù)用例對(duì)數(shù)據(jù)進(jìn)行正確的轉(zhuǎn)換。

2.2 數(shù)據(jù)對(duì)象

單個(gè)查詢結(jié)果的數(shù)據(jù)單元可以視為 “數(shù)據(jù)對(duì)象”。使用 AI，用戶可以生成許多不同的、唯一的數(shù)據(jù)對(duì)象，這些數(shù)據(jù)對(duì)象與儀表盤(pán)在不同： 

• 它們更容易訪問(wèn)和比較。
• 比較數(shù)據(jù)對(duì)象的能力是內(nèi)置的。

數(shù)據(jù)對(duì)象也被稱(chēng)為數(shù)據(jù)產(chǎn)品和數(shù)據(jù)模型，我們可以使用數(shù)據(jù)對(duì)象作為任務(wù)名稱(chēng)來(lái)描述響應(yīng)用戶的提示詞查詢。

數(shù)據(jù)對(duì)象目前被定義為以下三種： 度量 (1 行和 1 列)、記錄 (1 行和多列) 和數(shù)據(jù)集 (多行和多列)。建立數(shù)據(jù)類(lèi)型有助于更容易地組織和共享數(shù)據(jù)，并定義如何組織數(shù)據(jù)對(duì)象。

當(dāng)前的AI能力和可靠性的改進(jìn)之間需要達(dá)到一個(gè)權(quán)衡。目前的AI能力很大程度上依賴(lài)于一個(gè)文檔化的語(yǔ)義層。這個(gè)語(yǔ)義層建立在數(shù)據(jù)庫(kù)中關(guān)于表的元數(shù)據(jù)之上。需要對(duì)這些表進(jìn)行建模，并描述它們彼此之間的關(guān)系。AI可以幫助發(fā)現(xiàn)這些關(guān)系，但需要人工確認(rèn)這些關(guān)系。

所有元數(shù)據(jù)之所以重要是因?yàn)锳I需要上下文，一般的AI系統(tǒng)通過(guò) RAG 來(lái)構(gòu)建。再將數(shù)據(jù)發(fā)送到正在使用的 AI 模型之前，RAG 允許檢索上下文并將其放入提示詞中。

為了提高這些系統(tǒng)的準(zhǔn)確性，需要通過(guò)一些檢查機(jī)制來(lái)構(gòu)建工作流，例如： 主鍵和連接的檢查。這不僅使 AI 的輸出得到改進(jìn)，而且令 SQLMesh 這樣的工具更容易地與審計(jì)的輸出集成。在 SQLMesh 中，定義行列組合被稱(chēng)為 “grain”，連接關(guān)系被稱(chēng)為 references。這些原型允許AI系統(tǒng)建立護(hù)欄，并提高 RAG 的精度。

3. AI 驅(qū)動(dòng)的數(shù)據(jù)分析

我們能夠利用AI來(lái)解決數(shù)據(jù)領(lǐng)域的一些基本問(wèn)題?，F(xiàn)在有很多工具可用，要么提供可以與數(shù)據(jù)集成的解決方案，要么提供可以從頭開(kāi)始構(gòu)建的方案。AI驅(qū)動(dòng)的數(shù)據(jù)分析方案大致分為兩個(gè)方向：查詢來(lái)自數(shù)據(jù)庫(kù)或文檔等來(lái)源的數(shù)據(jù)和從已經(jīng)存在的報(bào)表中檢索數(shù)據(jù)。

3.1 從現(xiàn)有數(shù)據(jù)源檢索數(shù)據(jù)的 AI

這些工具在分析報(bào)告的數(shù)據(jù)目錄之上構(gòu)建一個(gè)Data Agent。與原始數(shù)據(jù)源相比，從已經(jīng)存在的報(bào)表中檢索數(shù)據(jù)的缺陷是報(bào)表之間的不一致。我們可以專(zhuān)注于查詢數(shù)據(jù)并作為一個(gè)堅(jiān)實(shí)的起點(diǎn)，然后在此基礎(chǔ)上構(gòu)建現(xiàn)有報(bào)告的檢索。我們也可以只專(zhuān)注于從現(xiàn)有來(lái)源檢索，并不試圖以任何方式轉(zhuǎn)換數(shù)據(jù)，而是提供已經(jīng)轉(zhuǎn)換的信息。因此，提供強(qiáng)大的 AI 數(shù)據(jù)治理和可解釋性的工具將蓬勃發(fā)展。

3.2 從原始數(shù)據(jù)查詢的AI(如，Text2sql)

Text2SQL 真的可以工作嗎？該技術(shù)現(xiàn)在對(duì)于企業(yè)解決方案來(lái)說(shuō)是可行的，可以交付準(zhǔn)確和相關(guān)的結(jié)果。這方面的一個(gè)指標(biāo)是著名的 Text-to-SQL 基準(zhǔn)測(cè)試Spider 的進(jìn)展。Spider 基準(zhǔn)測(cè)試是 WikiSQL 基準(zhǔn)測(cè)試的繼承者，解決了它的一些缺點(diǎn)。當(dāng)前最佳執(zhí)行模型的準(zhǔn)確率是 91.2% 。另外，人工智能基準(zhǔn)常常有錯(cuò)誤，某些性能改進(jìn)可能意味著對(duì)基準(zhǔn)的過(guò)度擬合。作為參考，MMLU 的錯(cuò)誤率大約為 9% 。

LLM 的出現(xiàn)使得 Spider 基準(zhǔn)測(cè)試背后的團(tuán)隊(duì)引入了一個(gè)名為 Spider 2.0的新挑戰(zhàn)。這是一個(gè)多步驟的工作流，可以用來(lái)測(cè)試RAG)工作流的性能。這是一個(gè)令人興奮的新基準(zhǔn)測(cè)試，有助于展示這些系統(tǒng)在生產(chǎn)環(huán)境中的性能。

另外，Text2SQL 需要有適當(dāng)?shù)淖o(hù)欄來(lái)確保結(jié)果足夠準(zhǔn)確，以產(chǎn)生切實(shí)的影響。

3.3 信任、幻覺(jué)和人機(jī)交互

在構(gòu)建一個(gè)成功的Text2SQL 系統(tǒng)時(shí)，上下文就是一切。一個(gè)常見(jiàn)的問(wèn)題是，這種準(zhǔn)確性是否足以讓數(shù)據(jù)團(tuán)隊(duì)放心，可信度會(huì)不會(huì)被一個(gè)不準(zhǔn)確的人工智能系統(tǒng)破壞。重要的是要圍繞 AI 構(gòu)建的應(yīng)用程序，我們需要從一開(kāi)始就考慮對(duì)結(jié)果的信任。

除了可信度和元數(shù)據(jù)之外，還需要向數(shù)據(jù)團(tuán)隊(duì)和業(yè)務(wù)用戶提供控制能力。無(wú)論采用何種的形式，所提供的控制必須使雙方確信他們了解了信息的來(lái)源，并且可以自行審計(jì)。一些有利于數(shù)據(jù)團(tuán)隊(duì)的控制方法如下：

• 當(dāng)AI沒(méi)有足夠的信心能夠回答一個(gè)問(wèn)題時(shí)，需要通知數(shù)據(jù)團(tuán)隊(duì)，以便將該問(wèn)題轉(zhuǎn)發(fā)給他們。
• 能夠?qū)徲?jì)的 SQL 查詢和AI的思考方式，以獲得其最終答案。

業(yè)務(wù)用戶也需要通過(guò)以下方式實(shí)施控制：

• 實(shí)時(shí)透明地進(jìn)入AI思維鏈路
• 能夠?qū)⒃磾?shù)據(jù)表與最終輸出進(jìn)行比較
• 通過(guò)人機(jī)交互，給人工智能提供反饋

所有這些組件都只能在Data Agent結(jié)構(gòu)中使用。在 LangChain 的一篇描述認(rèn)知架構(gòu)的文章中，描述了根據(jù)能力水平對(duì) LLM 系統(tǒng)進(jìn)行排名。

圖片

未來(lái)的Data Agent可能會(huì)更善于提出后續(xù)問(wèn)題，在元數(shù)據(jù)不足的情況下，Data Agent將能夠收集這些信息。感知架構(gòu)不僅使用Data Agent進(jìn)行查詢和檢索，還將能夠更新由用戶反饋的元數(shù)據(jù)。這個(gè)新一代的數(shù)據(jù)分析方案將創(chuàng)建一個(gè)飛輪效應(yīng)，導(dǎo)致文檔的改進(jìn)和對(duì)重要數(shù)據(jù)指標(biāo)的更大共識(shí)。

最成功的平臺(tái)仍將依靠人機(jī)交互，以提高AI的輸出效果。聲稱(chēng)Data agent是自主的，導(dǎo)致了 一些產(chǎn)品的平庸結(jié)果，但是依賴(lài)于人機(jī)交互的方式則產(chǎn)生了巨大收益。重要的是，我們應(yīng)該現(xiàn)實(shí)地看待當(dāng)前的AI能力，并建立適當(dāng)?shù)姆雷o(hù)措施。

3.4 數(shù)據(jù)智能 vs 商業(yè)智能

AI 驅(qū)動(dòng)的數(shù)據(jù)應(yīng)用所需要的范圍比傳統(tǒng)的 BI 工具更大。為了AI 方案的成功，治理和控制需要作為解決方案的一部分，而不是事后諸葛亮。數(shù)據(jù)智能平臺(tái)超越了傳統(tǒng) BI 平臺(tái)對(duì)可視化的強(qiáng)調(diào)，包括：

• 自然語(yǔ)言通達(dá) (即 “認(rèn)知層”)
• 語(yǔ)義編目與發(fā)現(xiàn)
• 自動(dòng)化管理與優(yōu)化
• 加強(qiáng)管治并保護(hù)私隱

有越來(lái)越多的工具實(shí)現(xiàn) SQL 接口來(lái)查詢數(shù)據(jù)，任何可以使用 SQL 查詢的數(shù)據(jù)源都可以被Data Agent使用。通過(guò)Data Agent 的 API ，我們可以構(gòu)建自己的 UI，并向用戶提供有價(jià)值的見(jiàn)解。

4. AI驅(qū)動(dòng)數(shù)據(jù)分析的收益

那么，誰(shuí)能從這樣的AI解決方案中受益呢？ 主要受益者是數(shù)據(jù)團(tuán)隊(duì)和業(yè)務(wù)用戶 (即數(shù)據(jù)使用者)。

4.1 Data Agent 如何幫助數(shù)據(jù)團(tuán)隊(duì)

Data Agent 通過(guò)自動(dòng)化數(shù)據(jù)處理、實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)質(zhì)量、智能數(shù)據(jù)發(fā)現(xiàn)和任務(wù)調(diào)度優(yōu)化，幫助數(shù)據(jù)團(tuán)隊(duì)提升效率。它能夠自動(dòng)執(zhí)行ETL任務(wù)，減少人工干預(yù)，確保數(shù)據(jù)準(zhǔn)確性；通過(guò)機(jī)器學(xué)習(xí)發(fā)現(xiàn)數(shù)據(jù)中的模式和趨勢(shì)，生成洞察報(bào)告；同時(shí)優(yōu)化任務(wù)執(zhí)行順序，提升資源利用率。此外，Data Agent 還支持團(tuán)隊(duì)協(xié)作與知識(shí)共享，確保數(shù)據(jù)安全與合規(guī)性，為數(shù)據(jù)團(tuán)隊(duì)提供可靠的技術(shù)支持，助力數(shù)據(jù)驅(qū)動(dòng)決策。

4.2 Data Agent 如何幫助業(yè)務(wù)用戶

Data Agent 通過(guò)簡(jiǎn)化數(shù)據(jù)訪問(wèn)和分析流程，幫助業(yè)務(wù)用戶更高效地利用數(shù)據(jù)。它提供直觀的可視化工具和自然語(yǔ)言查詢功能，使非技術(shù)用戶也能輕松獲取所需數(shù)據(jù)并生成報(bào)告。Data Agent 還能自動(dòng)分析業(yè)務(wù)數(shù)據(jù)，識(shí)別關(guān)鍵趨勢(shì)和異常，提供 actionable insights，幫助用戶快速做出數(shù)據(jù)驅(qū)動(dòng)的決策。此外，它支持個(gè)性化數(shù)據(jù)推送，確保用戶及時(shí)獲取與其工作相關(guān)的信息，提升業(yè)務(wù)效率和決策質(zhì)量。

5. Data Agent 的發(fā)展趨勢(shì)

許多產(chǎn)品都在宣傳 “專(zhuān)有的AI數(shù)據(jù)分析師” 或 “專(zhuān)有的AI數(shù)據(jù)科學(xué)家”。然而，未來(lái)將是把所有這些數(shù)據(jù)角色集成到一個(gè)或多個(gè)Data Agent中。這個(gè)Data Agent最終將能夠覆蓋數(shù)據(jù)成熟度生命周期的所有方面，包括但不限于：

• Ad Hoc 和 Reactive 查詢
• 描述性報(bào)道 (“發(fā)生了什么”)
• 診斷報(bào)告 (“為什么會(huì)發(fā)生？”)
• 預(yù)測(cè)分析 (“會(huì)發(fā)生什么？”)
• 規(guī)范性分析 (“如何讓它發(fā)生？”)

大多數(shù)數(shù)據(jù)分析領(lǐng)域的解決方案都涵蓋了數(shù)據(jù)成熟度生命周期的特定方面。然而，Data Agent 的目標(biāo)是最終封裝數(shù)據(jù)分析的所有領(lǐng)域，真正為業(yè)務(wù)交付價(jià)值。

【參考資料】

• https://www.sequoiacap.com/article/generative-ai-a-creative-new-world/
• https://www.insidehighered.com/news/tech-innovation/teaching-learning/2024/01/25/data-science-major-takes-across-college-campuses
• https://yale-lily.github.io/spider
• Are we Done with MMLU? https://arxiv.org/html/2406.04127v1
• https://blog.langchain.dev/what-is-a-cognitive-architecture/
• https://www.databricks.com/blog/what-is-a-data-intelligence-platform