這種絲滑的操作流程簡(jiǎn)直是職場(chǎng)人的福音！

近日，來(lái)自中科院自動(dòng)化所、港理工等機(jī)構(gòu)的研究者們?cè)斐隽艘粋€(gè)「表格 AI 助手」SheetCopilot，該智能體能根據(jù)用戶指令生成操縱表格的解決方案并在特定軟件（如：Excel、GoogleSheets 等）上執(zhí)行。SheetCopilot 可以快速連接多款表格處理軟件，且支持多表操作、圖表繪制和數(shù)據(jù)透視表生成，有望賦能多個(gè)領(lǐng)域的表格數(shù)據(jù)處理和可視化，并向?qū)崿F(xiàn)通才智能助手邁出關(guān)鍵一步。

網(wǎng)站：https://sheetcopilot-demo.github.io/

論文：https://arxiv.org/abs/2305.19308

讓我們首先通過(guò)以下示例來(lái)感受 SheetCopilot 如何顯著提升工作效率。

假如你是一個(gè)剛?cè)肼毿“?，有一天老板要求你幫他分析銷售數(shù)據(jù)。你拿到表格一看，上千行的數(shù)據(jù)眼花繚亂，一時(shí)不知從何下手，于是你邊查邊做。

首先，你嘗試采用把各 Product 名稱提取出來(lái)，然后用公式對(duì)各 Product 的收入求和。

搞了二十多分鐘，SUMIF 一直報(bào)”#NAME?”的錯(cuò)誤，遂放棄。

繼續(xù)上網(wǎng)搜索，發(fā)現(xiàn)還有數(shù)據(jù)透視表（Pivot table）這么方便的工具，于是開始第二次挑戰(zhàn)。

又花了二十多分鐘，終于搞定。整個(gè)過(guò)程將近一個(gè)小時(shí)，效率不如人意。以后每次老板交個(gè)你新的表格處理任務(wù)，你之前的經(jīng)驗(yàn)派不上用場(chǎng)，又得從頭開始邊查網(wǎng)站邊做: （。

你的同事則使用 SheetCopilot，伸個(gè)懶腰的工夫就把各種奇怪的要求都完成了: ）。

看到 SheetCopilot 如此絲滑，你也簡(jiǎn)單嘗試了一下，畫個(gè)圖不在話下。

有了 SheetCopilot，你再也不用把鼠標(biāo)滑過(guò)半張桌子的距離來(lái)選中超出屏幕的數(shù)據(jù)了，輕松讓上千行數(shù)據(jù)在多張表之間輾轉(zhuǎn)騰挪。

為什么提出 SheetCopilot

長(zhǎng)久以來(lái)，人們一直渴望擁有即使沒有專業(yè)經(jīng)驗(yàn)也能熟練掌握復(fù)雜軟件的能力。許多人都曾遇到過(guò)這樣的情況：不知如何操作 PhotoShop 的繁瑣界面，想要分析數(shù)據(jù)卻不知道數(shù)據(jù)透視表這一高級(jí)功能，想要繪制齒輪卻對(duì) Solidworks 一無(wú)所知。

隨著具有強(qiáng)大語(yǔ)言理解和生成能力的大型語(yǔ)言模型（LLM）的出現(xiàn)，這個(gè)愿景比以往任何時(shí)候都更接近現(xiàn)實(shí)。如果能夠引導(dǎo) LLM 掌握各種軟件，就能夠釋放出 LLM 幾乎無(wú)限的潛能，進(jìn)而讓人類的生產(chǎn)力達(dá)到前所未有的高度。

這篇文章指出電子表格（Spreadsheet）是進(jìn)行這項(xiàng)研究的理想基礎(chǔ)，因?yàn)樗且环N常見的多功能生產(chǎn)工具。然而，表格操控面臨著多樣化的挑戰(zhàn)，用戶難以掌握足夠的表格處理和編程技巧以應(yīng)對(duì)變化多端的任務(wù)需求。

如果有一種通才 AI 智能體，它掌握豐富的軟件操控技能，那么不僅辦公效率能得到極大提升，企業(yè)產(chǎn)出也會(huì)大大加快。SheetCopilot 的出現(xiàn)正好契合了人們這樣的遠(yuǎn)景。

SheetCopilot 有哪些亮點(diǎn)

1. 覆蓋表格處理的典型需求

SheetCopilot 涵蓋了表格操作的幾乎所有典型任務(wù)，可以出色地完成各式圖表生成任務(wù)。

銷售數(shù)據(jù)分析

實(shí)驗(yàn)圖表繪制

復(fù)雜公式計(jì)算

應(yīng)用條件格式

2. 超越基于 VBA 的方法

SheetCopilot 優(yōu)于用GPT-3.5 生成 VBA 代碼并執(zhí)行的方法，生成的解決方案的顯著優(yōu)于后者（見下圖），這使得 SheetCopilot 有望成為數(shù)據(jù)處理人員未來(lái)強(qiáng)大的 AI 輔助工具。

不僅如此，相比于晦澀的 VBA 代碼，SheetCopilot生成的解決方案包含通俗易懂的步驟，這免去了學(xué)習(xí)新編程語(yǔ)言并艱難調(diào)試的痛苦。

左圖：冗長(zhǎng)的 VBA 代碼；右圖：SheetCopilot簡(jiǎn)單易懂的解決方案。

3. 舒適的使用體驗(yàn)

SheetCopilot 在網(wǎng)絡(luò)連接穩(wěn)定的情況下，僅需約 10 步多表組合操作，即可在上千行數(shù)十列的表格中快速完成任務(wù)。這不僅解放了用戶疲憊的雙眼，還節(jié)省了查找網(wǎng)站并逐個(gè)嘗試操作步驟所浪費(fèi)的時(shí)間，同時(shí)也避免了學(xué)習(xí) VBA 的成本。

方法原理

這篇文章將表格操控所需的核心功能抽象為一組虛擬 API（稱為原子操作，見下圖），用于生成解決方案，作為 LLM 與應(yīng)用軟件之間交互的橋梁。

最簡(jiǎn)單的方法是對(duì) LLM 的一次查詢（query）生成一個(gè)任務(wù)的所有步驟。然而，隨著任務(wù)復(fù)雜度的增加，后序步驟更加依賴前序步驟的執(zhí)行結(jié)果，導(dǎo)致這種開環(huán)控制難以得到正確結(jié)果。例如，如果無(wú)法確定篩選后可見數(shù)據(jù)的位置，LLM 就難以確定操作范圍。

為了實(shí)現(xiàn)高效的閉環(huán)控制，SheetCopilot 根據(jù)軟件狀態(tài)反饋和外置原子操作知識(shí)庫(kù)優(yōu)化解決方案，提升了成功率和效率。

如何評(píng)測(cè)

該文提出了一個(gè)高質(zhì)量評(píng)測(cè)基準(zhǔn)。該基準(zhǔn)的任務(wù)具有多樣化的表述，并涉及豐富的原子操作，如下面詞云所示：

此基準(zhǔn)采用了如下有關(guān)成功率的指標(biāo)（越高越好）：

• Exec@1：生成的任務(wù)解決方案的執(zhí)行成功率。
• Pass@1：任務(wù)通過(guò)率，即執(zhí)行后能匹配上任意參考答案的解決方案的占比。

此基準(zhǔn)還考慮如下效率指標(biāo)（越低越好）：

• A50：將符合任務(wù)要求的解決方案的步數(shù)除以參考答案最少步數(shù)，然后對(duì)所有計(jì)算結(jié)果取中位數(shù)。
• A90：計(jì)算方式同上，但取所有計(jì)算結(jié)果的 90 分位數(shù)。該指標(biāo)反映動(dòng)作數(shù)的極值分布。

實(shí)驗(yàn)結(jié)果

表 1：在 SheetCopilot 數(shù)據(jù)集上對(duì)比 GPT-3.5-Turbo、GPT-4、Claude 以及生成 VBA 的方法。

不出意料，GPT-4 符合任務(wù)要求的解決方案占比最高且效率最優(yōu)，而 GPT-3.5-Turbo 則緊隨其后，Claude 最次但也接近 GPT-3.5-Turbo。

一個(gè)值得關(guān)注的結(jié)果是，與將用戶指令翻譯成 VBA 代碼并在 Excel 上執(zhí)行的方法對(duì)比，SheetCopilot 取得了非常出色的成功率。這意味著 SheetCopilot 讓軟件智能控制離我們又近了一大步，讓不會(huì)編程的用戶能以日常交流的方式指揮計(jì)算機(jī)完成繁雜的工作。

我們?cè)偻ㄟ^(guò)下面各個(gè)細(xì)分類別上的指標(biāo)來(lái)看一看這三個(gè) LLM 各自的優(yōu)缺點(diǎn)。

GPT-3.5 和 GPT-4 輕而易舉地解決了 Management（排序、篩選等表格管理操作）和 Entry & manipulation（數(shù)據(jù)輸入與操縱）這兩類任務(wù)，均取得了 100% 可執(zhí)行率。此外，三個(gè) LLM 在不同任務(wù)類別中各自表現(xiàn)出最佳效率，這一有趣的發(fā)現(xiàn)表明每個(gè) LLM 都有其獨(dú)特的優(yōu)勢(shì)，GPT-4 也難以完勝其它模型。

結(jié)語(yǔ)

SheetCopilot 借助 LLM成功地將感知、推理和決策通過(guò)文字接口構(gòu)成了一個(gè)閉環(huán)，實(shí)現(xiàn)高效的電子表格操控，促進(jìn)智能軟件控制更上一層樓，也為對(duì)通才智能體感興趣的研究者帶來(lái)了新的靈感。