這是一篇關于自然語言在表格數據查詢和可視化方面的綜述。該綜述全面概述如何通過自然語言實現表格數據查詢和可視化，使用戶能夠使用自然語言查詢與數據進行交互。介紹了可視化背后的基本概念和技術，特別強調了語義解析這一關鍵技術，它有助于將自然語言轉換為 SQL 查詢并實現數據可視化。然后深入探討了  Text-to-SQL  和   Text-to-Vis  問題在數據集、方法、指標和系統(tǒng)設計方面的最新進展，包括深入研究大型語言模型的影響，突出其優(yōu)勢、局限性和未來改進的潛力。通過該綜述，旨在為對在大型語言模型時代通過自然語言對數據查詢和可視化感興趣的研究人員和從業(yè)者提供路線圖。

1引言

1.1 研究背景與動機

隨著信息技術的飛速發(fā)展，數據在現代社會中呈現出爆炸式增長，其在商業(yè)、醫(yī)療、科研等諸多領域的重要性日益凸顯。結構化數據，特別是表格數據，因其簡潔明了、易于組織和分析的特點，成為了存儲和傳達信息的重要方式。然而，傳統(tǒng)的表格數據交互手段，如結構化查詢語言（SQL）和手動繪制可視化圖表，對用戶的技術能力要求較高。這使得許多非技術背景的人員在面對海量表格數據時，難以從中獲取有價值的信息，從而限制了數據的廣泛應用和價值挖掘。

自然語言處理技術的出現為解決這一困境提供了新的契機。通過自然語言接口，用戶可以使用日常語言與表格數據進行交互，無需掌握復雜的查詢語法或專業(yè)的可視化設計知識。這不僅極大地降低了數據交互的門檻，使更多人能夠受益于數據驅動的決策過程，還為數據探索和分析帶來了更高的效率和靈活性。例如，企業(yè)決策者可以直接詢問“過去一年中銷售額最高的產品類別是什么”，而無需編寫繁瑣的 SQL 查詢語句；科研人員可以輕松獲取“特定實驗條件下各項指標的變化趨勢”，并以直觀的可視化圖表進行展示。這種變革性的交互方式有望打破技術壁壘，釋放表格數據的巨大潛力，推動各行業(yè)的創(chuàng)新與發(fā)展。

1.2 自然語言接口的關鍵技術

自然語言接口的核心在于實現自然語言與表格數據之間的有效轉換，而這一過程依賴于多種關鍵技術，

其中語義解析技術尤為重要。語義解析是將自然語言查詢準確轉換為可在結構化數據庫上執(zhí)行的形式化表示的過程。在眾多形式語言和功能表示中，SQL和可視化規(guī)范在表格數據交互領域占據著主導地位。

SQL作為關系數據庫管理系統(tǒng)的標準查詢語言，具備強大的表達能力，能夠精確地描述數據檢索和操作的邏輯。它允許用戶從數據庫中選擇特定的列、篩選滿足條件的數據行、對數據進行聚合計算等。例如，對于一個包含銷售數據的表格，用戶可以通過 SQL 查詢獲取特定時間段內某類產品的銷售總額，如

SELECT SUM(sales) FROM table 
WHERE product_category = 'electronics' 
  AND time_period BETWEEN '2023-01-01' AND '2023-12-31

可視化規(guī)范則專注于定義數據如何以直觀的圖表形式呈現給用戶。不同類型的圖表適用于展示不同類型的數據特征，如柱狀圖用于比較不同類別數據的大小，折線圖用于呈現數據隨時間的變化趨勢，餅圖用于展示各部分數據占總體的比例關系等。通過將自然語言查詢轉換為可視化規(guī)范，系統(tǒng)可以自動生成符合用戶需求的圖表，幫助用戶更直觀地理解數據背后的信息。

在實際應用中，數據查詢和可視化往往緊密結合。查詢是可視化的基礎，只有獲取到準確的數據，才能進行有效的可視化呈現。例如，在分析市場趨勢時，首先需要查詢相關時間段內的銷售數據，然后根據數據特點選擇合適的圖表類型（如折線圖）進行可視化展示，從而清晰地呈現出市場的變化趨勢。這種緊密的結合使得用戶能夠從多個角度探索和理解表格數據，為決策提供有力支持。

1.3 研究問題與目標

本研究旨在全面深入地探討自然語言接口在表格數據查詢和可視化方面的一系列關鍵問題，為該領域的進一步發(fā)展提供清晰的路線圖。

首先，我們關注自然語言接口的演進歷程，詳細研究其從早期的簡單形式到如今基于先進技術的復雜系統(tǒng)的發(fā)展過程，揭示推動這一發(fā)展的技術變革和應用需求。

其次，深入剖析數據查詢與可視化這兩項關鍵任務之間的內在聯系，探索如何從語義解析的角度實現二者的無縫統(tǒng)一。這包括研究如何設計統(tǒng)一的語義表示，使得自然語言能夠同時驅動數據查詢和可視化操作，以及如何優(yōu)化解析過程，提高轉換的準確性和效率。

再者，全面評估現有自然語言接口方法的優(yōu)缺點，尤其著重分析大語言模型（ LLMs ）對該領域的深遠影響。我們將研究 LLMs 在處理自然語言查詢時的優(yōu)勢，如強大的語言理解能力和廣泛的知識儲備，以及其面臨的挑戰(zhàn)，如可解釋性差、對特定領域知識的理解有限等。同時，探討如何充分發(fā)揮 LLMs 的潛力，克服其局限性，推動自然語言接口性能的進一步提升。

通過對這些問題的深入研究，我們希望為從事自然語言接口研究和開發(fā)的人員提供有價值的參考，幫助他們在大語言模型時代更好地設計和應用自然語言接口，促進表格數據的高效利用和知識發(fā)現，推動相關領域的創(chuàng)新與發(fā)展。

2.背景與框架

2.1 工作流程

圖 1：用于表格數據查詢和可視化的自然語言接口的示意圖表示

自然語言接口的工作流程猶如一座精密的橋梁，連接著用戶與表格數據，實現了從自然語言查詢到數據結果呈現的無縫轉換。

用戶首先以自然語言問題的形式輸入查詢請求，例如“查詢本季度電子產品的銷售數據，并以柱狀圖展示銷售額最高的前三種產品”。接口接收到用戶輸入后，立即啟動預處理步驟。在這個階段，系統(tǒng)會對輸入的自然語言進行清洗，去除噪聲和無關信息，如多余的標點符號、停用詞等。接著進行分詞操作，將句子拆分成一個個單詞或詞語，以便后續(xù)處理。然后進行詞性標注，確定每個詞的詞性，如名詞、動詞、形容詞等。這些預處理步驟有助于提取關鍵信息，為后續(xù)的語義解析提供更清晰的輸入。

語義解析器是整個流程的核心組件，它負責將預處理后的自然語言查詢轉換為相應的功能表示。如果是數據查詢任務，語義解析器會根據數據庫 schema 和語言理解生成 SQL 查詢語句，如

SELECT product_name, sales FROM sales_table 
WHERE product_category = 'electronics' 
  AND quarter = 'Q4' ORDER BY sales DESC 
LIMIT 3

如果是可視化任務，它會生成可視化規(guī)范，包括圖表類型（柱狀圖）、數據字段（產品名稱、銷售額）、排序方式（按銷售額降序）等信息。

執(zhí)行引擎根據語義解析器生成的功能表示與數據庫進行交互。對于 SQL 查詢，執(zhí)行引擎會在數據庫中執(zhí)行查詢操作，檢索出符合條件的數據。對于可視化規(guī)范，執(zhí)行引擎會調用相應的可視化庫或工具，根據規(guī)范生成可視化圖表。

最后，接口將查詢結果或可視化圖表呈現給用戶。如果是數據查詢結果，可能以表格形式展示；如果是可視化圖表，則以直觀的圖形方式呈現。用戶可以根據呈現的結果進一步提出問題或進行深入分析，從而實現與表格數據的交互循環(huán)。

圖 2.將自然語言查詢轉換為 SQL 和銷售數據可視化規(guī)范的過程示例。有關季度銷售額的文本查詢被解析為 SQL 命令以獲取數字數據，而對銷售可視化的請求被轉換為相應的條形圖規(guī)范。

2.2 問題定義

在自然語言接口中，功能表示形式多樣，每種形式都在特定的數據交互場景中發(fā)揮著不可或缺的作用。

SQL 作為關系數據庫查詢的核心語言，具有強大的功能和廣泛的應用。它能夠精確地指定從數據庫中檢索數據的條件、要返回的列以及數據的排序方式等。通過SQL，用戶可以執(zhí)行各種復雜的數據查詢操作，如多表連接查詢，用于獲取來自多個相關表格的數據；子查詢，用于在查詢中嵌套其他查詢以實現更精細的篩選；數據聚合操作，如計算總和、平均值、計數等。例如，在一個包含銷售數據、產品信息和客戶信息的數據庫中，用戶可以使用 SQL 查詢獲取特定地區(qū)、特定時間段內購買了特定產品的客戶數量，以及這些客戶的平均消費金額等信息。

可視化規(guī)范則專注于數據的可視化呈現，將數據轉換為直觀易懂的圖表形式。常見的可視化圖表類型包括柱狀圖、折線圖、餅圖、散點圖等，每種類型都適用于展示不同類型的數據特征。柱狀圖適用于比較不同類別數據的大小，如比較不同產品類別的銷售額；折線圖用于展示數據隨時間或其他連續(xù)變量的變化趨勢，如觀察某產品在過去幾個季度的銷售趨勢；餅圖用于呈現各部分數據占總體的比例關系，如展示各產品類別在總銷售額中的占比；散點圖則用于探索兩個變量之間的關系，如分析產品價格與銷售量之間的相關性。可視化規(guī)范不僅定義了圖表的類型，還包括數據的映射方式、坐標軸的標簽、顏色的選擇等細節(jié)，以確保生成的圖表能夠準確傳達數據的信息。

除了 SQL 和可視化規(guī)范，還有其他一些形式的功能表示也在自然語言接口中發(fā)揮著作用。例如，Prolog 和 Datalog 等邏輯編程語言可以用于定義數據之間的邏輯關系和規(guī)則，適用于一些需要進行邏輯推理和知識表示的場景。FunQL 作為一種中間查詢語言，強調將自然語言構造映射為結構化查詢，注重實體之間的關系表達，為自然語言到數據庫查詢的轉換提供了另一種思路。這些不同形式的功能表示相互補充，為自然語言接口提供了豐富的表達方式，以適應不同類型的數據查詢和可視化需求。

2.3 框架

自然語言接口的框架由多個關鍵組件構成，這些組件協同工作，共同實現了自然語言與表格數據之間的高效交互。

圖 3：表格數據查詢和可視化中的自然語言接口框架。該技術框架包括各種關鍵組件：功能表示、數據集、方法、評估指標和系統(tǒng)設計。

2.3.1 數據集

數據集是自然語言接口的重要基礎，它為模型的訓練和評估提供了數據支持。數據集的質量和多樣性直接影響著模型的性能。高質量的數據集應包含豐富多樣的自然語言查詢和對應的正確功能表示，涵蓋不同領域、不同復雜度的查詢場景，以幫助模型學習到廣泛的語言表達和數據操作模式。例如，一個好的數據集可能包含來自商業(yè)、醫(yī)療、科研等多個領域的表格數據查詢，包括簡單的單表查詢、復雜的多表連接查詢以及涉及數據聚合和篩選的查詢等。同時，數據集還可以分為單輪數據集和多輪數據集，單輪數據集用于處理單個獨立的查詢，而多輪數據集則模擬用戶與系統(tǒng)之間的對話式交互，包含一系列相關的查詢序列，有助于模型理解上下文信息，提高處理連續(xù)查詢的能力。

2.3.2 方法

方法是實現自然語言接口的核心技術手段，涵蓋了從傳統(tǒng)方法到現代先進技術的演進。傳統(tǒng)方法主要包括基于規(guī)則的方法，如通過預定義的規(guī)則和模式將自然語言查詢轉換為功能表示。這種方法簡單直接，在早期的自然語言接口中得到了廣泛應用，但對于復雜多變的自然語言表達，其靈活性和適應性較差。隨著神經網絡技術的發(fā)展，基于神經網絡的方法逐漸興起。這些方法利用深度學習模型，如序列到序列模型，學習自然語言與功能表示之間的映射關系。神經網絡方法具有強大的學習能力，能夠自動捕捉數據中的復雜模式，但需要大量的訓練數據和計算資源。近年來，大語言模型（ LLMs ）的出現為自然語言接口帶來了新的突破。LLMs 基于大規(guī)模的預訓練，具備強大的語言理解和生成能力，通過巧妙的提示工程，可以在少樣本甚至零樣本的情況下處理自然語言查詢，為自然語言接口的性能提升提供了新的途徑。

2.3.3 評估指標

評估指標是衡量自然語言接口性能優(yōu)劣的重要依據。常見的評估指標包括基于字符串匹配的指標，如精確字符串匹配和模糊匹配。精確字符串匹配要求生成的功能表示與真實的參考表示完全一致，這是一種嚴格的評估方式，但可能過于苛刻，因為在實際應用中，語義等價的表示可能具有不同的字符串形式。模糊匹配則通過計算字符串之間的相似度來評估匹配程度，相對更加靈活，但也可能存在誤判的情況。除了字符串匹配指標，還有基于執(zhí)行結果的指標，如執(zhí)行匹配，它通過比較執(zhí)行生成的功能表示所得到的結果與預期結果是否一致來評估接口的準確性。此外，人工評估也是一種重要的評估方式，它可以通過用戶調查、專家評審等方式，從用戶體驗、實用性、可解釋性等多個角度對自然語言接口進行全面評估，彌補自動化指標的不足。

2.3.4 系統(tǒng)設計

系統(tǒng)設計關注自然語言接口的整體架構和實現細節(jié)，包括系統(tǒng)的模塊化設計、組件之間的通信機制、用戶界面的設計等方面。良好的系統(tǒng)設計應確保系統(tǒng)具有高度的可擴展性，能夠方便地集成新的功能和算法；具備高效的性能，能夠快速響應用戶查詢；提供友好的用戶界面，使用戶能夠輕松地與系統(tǒng)進行交互。例如，采用模塊化設計可以將語義解析、執(zhí)行引擎、可視化生成等功能模塊獨立開發(fā)和維護，便于系統(tǒng)的升級和擴展。優(yōu)化查詢執(zhí)行計劃可以提高數據檢索的效率，減少響應時間。設計簡潔直觀的用戶界面可以提高用戶的使用體驗，降低學習成本。

3.數據集

3.1 Text-to-SQL 數據集

表 1 全面概述了各種 Text-to-SQL 和 Text-to-Vis 數據集。

3.2  Text-to-Vis  數據集

 Text-to-Vis  數據集的發(fā)展在一定程度上與  Text-to-SQL  數據集相似。早期階段多為單域數據集，主要用于概念驗證，如 Gao 等人開發(fā)的數據集通過讓測試對象根據人工生成的可視化提出自然語言問題來構建，Kumar 等人則專注于犯罪數據相關的查詢與可視化研究。

跨域數據集方面，nvBench 是目前最大且常用的基準之一，它從  Text-to-SQL  基準 Spider 合成而來，包含 25,750 對自然語言與可視化內容，支持跨域   Text-to-Vis  任務，為該領域的研究提供了豐富的數據資源1213。

多輪數據集的出現是為了滿足生成準確可視化所需的大量信息需求。ChartDialogs 包含 3,284 個對話，專為使用 matplotlib 進行繪圖而設計；Dial-NVBench 基于跨域數據集 nvBench 創(chuàng)建，旨在處理對話輸入，通過多輪交互優(yōu)化可視化輸出，每個會話都包含足夠信息以生成合適的可視化1415。

多語言數據集方面，雖然多數   Text-to-Vis  數據集以英語為主，但 CNvBench 的出現填補了中文資源在該領域的空白。它通過翻譯和本地化英語 nvBench 數據集構建，確保自然語言查詢在中文語境下的流暢性和地道性，有助于推動中文等非英語語言環(huán)境下的   Text-to-Vis  研究

3.3 數據集選擇指南

在選擇數據集時，需要綜合考慮研究的具體需求和目標。對于跨域任務，Spider 和 nvBench 是理想的選擇，它們豐富的跨域數據和多樣化的查詢類型能夠有效測試模型在不同領域間的遷移能力和適應性。在多輪交互場景下，SParC、CoSQL、ChartDialogs 和 Dial-NVBench 則更為合適，這些數據集能夠模擬真實對話情境，有助于模型學習處理查詢之間的邏輯關系，從而更好地應對復雜的用戶需求和交互場景。合理選擇數據集對于準確評估模型性能、推動相關領域研究進展具有重要意義。

4.方法

圖 4. 文本到 SQL（上時間線）和文本到視覺（下時間線）方法隨時間的演變。彩色矩形代表方法的不同階段：傳統(tǒng)（藍色）、神經網絡（綠色）和基礎語言模型（橙色）。請注意，文本到視覺方法的發(fā)展通常比類似的文本到 SQL 方法晚，因此上下時間線不對齊。

4.1 Text-to-SQL 解析

4.1.1 傳統(tǒng)階段

在早期的 Text-to-SQL 研究中，規(guī)則基方法占據主導地位。TEAM 和 CHAT-80 等方法率先采用中間邏輯表示，將自然語言查詢轉換為獨立于數據庫模式的邏輯查詢，再進一步轉換為 SQL。然而，這類方法嚴重依賴手工制定的映射規(guī)則，靈活性較差。

在 2000 年代初期，更為先進的規(guī)則基方法應運而生。PRECISE 利用現成的自然語言解析器進行查詢翻譯，但由于其假設查詢中的單詞與數據庫元素一一對應，覆蓋范圍有限。NaLIR、ATHENA  和 SQLizer 等方法則采用基于排名的策略，通過尋找多個候選映射并根據分數進行排序，NaLIR 還通過用戶交互提高性能，ATHENA 借助領域特定本體獲取更豐富的語義信息，SQLizer 使用迭代過程優(yōu)化查詢邏輯形式。盡管這些方法有所改進，但仍受限于手動定義規(guī)則，難以處理自然語言的多樣性和靈活性。

4.1.2 神經網絡階段

神經網絡和 Seq2Seq 模型的引入，為  Text-to-SQL  領域帶來了巨大變革。Seq2Seq 模型通過編碼器-解碼器架構，能夠學習自然語言與SQL之間的復雜映射關系。

在編碼器方面，基于序列的編碼器如 bi-LSTM 和 Transformer 發(fā)揮了重要作用。bi-LSTM 因其能捕捉序列雙向依賴關系，在早期  Text-to-SQL  系統(tǒng)中廣泛應用，如 TypeSQL 通過為問題中的單詞分配類型并結合詞嵌入和類型嵌入，增強了對關鍵詞的編碼能力。隨著 Transformer 架構的興起，其自注意力機制能夠有效處理長距離依賴，被越來越多的模型采用。同時，基于圖的編碼器如 GNN 也逐漸嶄露頭角，適用于編碼富含結構信息的數據庫模式，Bogin 等人率先使用圖表示數據庫模式，后續(xù)研究不斷改進，如 RAT-SQL 結合全局推理、結構化推理和關系感知自注意力，LGESQL 挖掘多跳關系屬性和重要元路徑等。

解碼器方面，主要分為四類。整體式解碼器受機器翻譯啟發(fā)，利用 RNN 順序生成 SQL 命令，通過軟注意力機制關注輸入上下文，使用前一步解碼器隱藏狀態(tài)表示已生成的令牌。骨架式解碼器先生成 SQL 查詢模板，再填充具體細節(jié)，如 SQLNet 通過填充 SQL 草圖中的槽位簡化生成過程，HydraNet、IE-SQL 和 TypeSQL 等也采用類似的槽填充方法，COARSE2FINE 則通過兩步粗到細生成過程處理復雜查詢。語法式解碼器利用 SQL 語法規(guī)則生成查詢，如 Seq2Tree 采用自上而下解碼策略生成符合 SQL 語法層次結構的邏輯形式，Seq2AST 和 SyntaxSQLNet 進一步改進，通過抽象語法樹解碼，SmBoP 采用自下而上解碼機制確保生成語法有效的查詢，Bridge 使用 LSTM 指針生成器結合多頭注意力和復制機制靈活生成 SQL 查詢。執(zhí)行式解碼器利用 SQL 執(zhí)行器在解碼過程中驗證查詢有效性，如 Wang 等人、Suhr 等人和 SQLova 等方法，通過檢查部分生成的查詢或候選查詢的可執(zhí)行性，確保最終生成的 SQL 查詢在語法和語義上均正確。

4.1.3 基礎語言模型階段

基礎語言模型（FMs）如BERT、T5 和 GPT 的發(fā)展顯著提升了 NLP 任務性能，也推動了  Text-to-SQL  方法的進步?；谶@些模型的方法分為 PLM-based 和 LLM-based 兩類。

PLM-based 方法中，早期直接微調預訓練語言模型，包括僅編碼器模型（如BERT、RoBERTa）和編碼器-解碼器模型（如T5、BART）。僅編碼器模型如 IRNet、BRIDGE 和 X-SQL 等通過對輸入序列進行編碼，將其轉化為上下文敏感的表示，用于  Text-to-SQL  任務；編碼器-解碼器模型如 UnifiedSKG、Graphix-T5 和 RESDSQL 等則在Seq2Seq 任務中發(fā)揮優(yōu)勢，通過對文本輸入生成文本輸出，結合模型強大的語言理解能力和特定的解碼策略，有效生成 SQL 查詢。此外，TaBERT、Grappa 和 GAP 等方法通過額外的預訓練，利用表格數據或生成問題-SQL對進行訓練，增強了模型對表格數據的理解和生成SQL的能力。

LLM-based 方法是當前的研究熱點，通過提示工程引導大語言模型生成 SQL 查詢。零樣本提示方法如 C3 基于 ChatGPT ，通過精心設計的提示組件，在沒有額外訓練示例的情況下實現  Text-to-SQL  轉換；ZERoNL2SQL 結合PLM 和 LLM 的優(yōu)勢，先生成 SQL 草圖再填充細節(jié)。少樣本提示方法如 DIN-SQL 通過分解 SQL 生成任務為多個子問題，利用 LLM 的上下文學習和思維鏈推理能力提升性能；Divide-and-Prompt范 式將主任務分解為簡單子任務，通過思維鏈方法增強 LLM 推理能力；Gu 等人的方法引導 LLM 生成結構化 SQL 查詢并填充具體值；Nan 等人探索不同提示設計策略，Tai 等人研究增強 LLM 推理能力的提示方法，SQL-PaLM 基于 PaLM-2 采用執(zhí)行式自一致性提示方法，Guo 等人提出檢索增強提示方法，通過迭代優(yōu)化生成準確的 SQL 查詢。

4.2 Text-to-Vis 解析

4.2.1 傳統(tǒng)階段

早期 Text-to-Vis 方法主要致力于通過不同的解析方法、關鍵字和語法規(guī)則來提高準確性。從2015年到2020年期間，諸多研究探索了各種語義解析技術，如 DataTone、Eviza、Evizeon、VisFlow、FlowSense、Orko、Valletto 和 InChorus等。DataTone 通過管理自然語言接口中的歧義性，為后續(xù)研究提供了基礎。2020年至2021年，部分工作基于 DataTone的方法部署了更結構化的 VQL 模板，ADVISor 開發(fā)了自動生成帶注釋可視化的管道，NL4DV 提供了將自然語言查詢轉換為可視化推薦的 Python 包，這些工具和方法在一定程度上提高了 Text-to-Vis 的準確性，但整體仍處于探索階段，主要關注如何更好地將自然語言轉換為可視化規(guī)范或提供可視化建議。

4.2.2 神經網絡階段

深度學習的發(fā)展促使 Text-to-Vis 方法轉向基于編碼器 - 解碼器的模型。編碼器在處理輸入數據時發(fā)揮關鍵作用，序列編碼器（如LSTM和Transformer）擅長處理長距離依賴，而圖編碼器則能捕捉非線性關系，更好地表示復雜數據結構。Seq2Vis 在 Data2Vis 基礎上改進，采用 seq2seq 模型結合預訓練全局詞嵌入和 LSTM 編碼器、解碼器及注意力機制，實現自然語言到可視化的轉換；ncNet 則采用 Transformer 架構，通過多自注意力設計提高效率，將來自不同源的令牌化輸入進行處理，生成可視化代碼。RGVisNet 結合序列和圖編碼，通過檢索生成方法，利用 LSTM 編碼器處理自然語言查詢，GNN 編碼器處理候選 VQL，再通過 Transformer 編碼器確定最終輸出，同時引入語法感知解碼器，根據 VQL 嚴格語法結構指導代碼生成，優(yōu)化了可視化查詢語言（VQL）的生成過程。

4.2.3 基礎語言模型階段

基礎語言模型（FMs），尤其是大語言模型（ LLMs ）如 CodeX 和 GPT-3 的出現，為 Text-to-Vis 帶來了新的思路。零樣本提示方法允許直接使用未訓練的提示引導 LLMs 從文本查詢生成可視化代碼。Mitra等人通過提示CodeX開發(fā)了原型 Web應用，Chat2VIS 選擇 CodeX 并加入代碼提示組件，直接輸出可視化規(guī)范代碼。少樣本提示方法則利用有限示例引導 LLMs  生成期望輸出，NL2INTERFACE 通過準備特定格式的示例，將自然語言查詢轉換為 VQL 格式，利用 CodeX 進行上下文學習預測 VQL，進而生成交互式可視化界面，為用戶提供了更便捷的可視化生成方式，推動了 Text-to-Vis 領域的發(fā)展。

4.3 方法選擇建議

在選擇 Text-to-SQL 和 Text-to-Vis 方法時，需要綜合考量多個因素。傳統(tǒng)規(guī)則基方法具有可解釋性強的優(yōu)勢，適用于對解釋性要求較高且數據和查詢相對簡單的場景，如在一些小型、穩(wěn)定且查詢模式固定的數據庫應用中，規(guī)則基方法能夠準確地將預先定義的自然語言模式轉換為 SQL 查詢或可視化規(guī)范。但因其嚴重依賴手動定義規(guī)則，面對復雜多變的自然語言和多樣化的查詢需求時適應性較差。

神經網絡方法在處理復雜數據和多樣化查詢方面表現出色，其強大的學習能力能夠捕捉數據中的復雜模式和關系。然而，神經網絡模型通常需要大量的訓練數據來學習有效的表示，并且計算成本較高。在數據資源豐富、計算資源充足且對模型性能有較高要求的場景下，如大規(guī)模數據分析和復雜可視化生成任務，神經網絡方法是較好的選擇。

基礎語言模型（PLM和LLM）方法在性能和泛化能力上展現出巨大潛力，能夠處理各種復雜任務且具有較強的語言理解能力。但 PLM 方法解釋性較差，LLM 方法則需要精心設計提示工程來引導模型生成準確結果。在實際應用中，如果追求高性能和良好的泛化能力，并且有能力進行提示工程設計和調優(yōu)，基礎語言模型方法是值得考慮的，但需要權衡其可解釋性和工程成本?？傊瑧鶕唧w任務需求、數據特點和資源限制，謹慎權衡不同方法的優(yōu)缺點，選擇最適合的方法。

5.評估指標

表 3 評估指標的比較分析

5.1 Text-to-SQL 指標

5.1.1 基于字符串的匹配

基于字符串的匹配指標在評估 Text-to-SQL 性能中占據重要地位。精確字符串匹配是最為嚴格的評估方式，它要求生成的SQL 查詢與目標查詢在字符層面必須完全一致。這種方法的優(yōu)勢在于其簡單直接，易于實施，能夠清晰地判斷生成的查詢是否與預期的查詢完全相同，從而給出明確的評估結果。然而，其局限性也十分明顯，在實際應用中，自然語言的表達方式豐富多樣，可能存在多種語義等價但語法略有差異的查詢方式。精確字符串匹配無法識別這些語義等價的變體，可能會將一些實際上正確但語法稍有不同的查詢判定為錯誤，從而導致評估結果不夠全面和準確，無法真實反映模型對自然語言的理解和轉換能力。

模糊匹配則提供了一種更為靈活的評估方式，它允許在一定程度上進行近似匹配。通常通過計算字符串之間的相似度，如采用BLEU等算法來分配分數，以此衡量生成的查詢與目標查詢之間的接近程度。這種方法的優(yōu)點在于能夠考慮到自然語言表達的多樣性，對于一些語法上稍有差異但語義相近的查詢能夠給予一定的分數，從而更全面地評估模型的性能。但是，模糊匹配也存在問題，由于其過于注重字符串的相似性，可能會對一些明顯的錯誤過于寬容，將一些實際上存在嚴重邏輯錯誤但在字符串上與目標查詢有一定相似度的查詢誤判為正確，從而影響評估的準確性。

組件匹配則從更細致的角度對預測的 SQL 查詢進行評估，它聚焦于查詢的單個組件或片段，如關鍵詞、表名、列名、操作符等。通過逐一檢查這些組件的正確性，確保每個部分都準確無誤，從而更全面地判斷整個查詢的質量。這種評估方式能夠更精準地定位查詢中存在的問題，避免因整體匹配而忽略局部錯誤的情況。然而，組件匹配也需要耗費更多的計算資源和時間，因為需要對每個組件進行詳細分析，并且在某些情況下，組件的正確性判斷可能會受到上下文和語義理解的影響，增加了評估的復雜性。

5.1.2 基于執(zhí)行的匹配

基于執(zhí)行的匹配指標從查詢執(zhí)行結果的角度對 SQL 查詢的正確性進行評估，為評估提供了新的視角。執(zhí)行匹配的核心思想是，只要生成的查詢執(zhí)行結果與參考查詢的執(zhí)行結果一致，就認為該查詢是正確的，而不考慮其語法形式是否完全相同。這種評估方式的優(yōu)勢在于，它能夠有效處理那些語法不同但語義等價的查詢，避免了因語法差異而導致的誤判。在實際應用中，對于復雜的數據庫查詢，可能存在多種語法結構都能得到相同結果的情況，執(zhí)行匹配能夠準確識別這些情況，從而更真實地反映模型生成的查詢在實際數據操作中的有效性。然而，執(zhí)行匹配也并非完美無缺，它假設查詢執(zhí)行結果的一致性完全等同于查詢的正確性，但在某些情況下，即使結果相同，查詢的執(zhí)行效率、資源消耗等方面可能存在差異，而執(zhí)行匹配無法對這些差異進行評估。

測試套件匹配進一步提高了評估的嚴格性和可靠性。它通過創(chuàng)建多個知識庫變體，對預測查詢和參考查詢在不同變體中的執(zhí)行結果進行比較。只有當預測查詢在所有變體中的執(zhí)行結果都與參考查詢一致時，才判定該查詢?yōu)檎_。這種方法能夠更深入地挖掘查詢可能存在的潛在問題，避免因單一知識庫環(huán)境下的巧合而導致的誤判。例如，在不同的數據分布或數據庫結構變化的情況下，測試套件匹配能夠確保模型生成的查詢具有更強的魯棒性和適應性。但是，測試套件匹配的實施難度較大，需要構建和管理多個知識庫變體，計算成本較高，并且對于一些復雜的數據庫系統(tǒng)，創(chuàng)建全面且有效的測試套件本身就是一項具有挑戰(zhàn)性的任務。

5.1.3 人工評估

在某些復雜情況下，自動評估指標可能無法完全準確地判斷 SQL 查詢的正確性，此時人工評估就發(fā)揮著不可或缺的作用。在 Text-to-SQL 任務中，人工評估主要用于辨別那些執(zhí)行結果不同但在實際場景中均可能有效的查詢之間的語義等價性。例如，當查詢結果落在一個合理的預定義區(qū)間內，但自動評估指標難以確定其是否真正符合用戶意圖時，就需要人工判斷。這種評估方式的優(yōu)點在于能夠充分利用人類的語義理解和領域知識，更準確地判斷查詢在實際應用中的有效性。然而，人工評估也存在一些局限性，它是主觀的且耗時費力，需要專業(yè)人員進行判斷，難以大規(guī)模應用于模型的訓練和評估過程。而且不同評估人員的判斷標準可能存在差異，導致評估結果的一致性和可靠性受到影響。

5.2 Text-to-Vis 指標

5.2.1 基于字符串的匹配

在 Text-to-Vis 領域，基于字符串的匹配同樣是重要的評估手段之一。精確字符串匹配，在該領域常被稱為總體準確性，它直接比較預測的可視化查詢與真實查詢之間的匹配程度。這種評估方式能夠直觀地反映模型在生成可視化查詢時的準確性，通過精確對比兩個字符串是否一致，判斷模型是否準確地將自然語言轉換為了正確的可視化規(guī)范。如果預測的可視化查詢與真實查詢完全相同，那么模型在該指標上表現良好，說明其能夠準確理解自然語言并生成相應的可視化指令。然而，與 Text-to-SQL 中的精確字符串匹配類似，它也存在過于嚴格的問題，可能忽略了一些雖然語法不完全相同但在語義上能夠實現相同可視化效果的查詢，從而對模型的評估不夠全面。

組件匹配在 Text-to-Vis 中也具有重要意義，它關注預測可視化規(guī)范的單個組件。例如，在生成圖表的可視化規(guī)范時，組件匹配會檢查圖表類型、坐標軸標簽、數據系列等各個組成部分是否正確。通過確保每個組件的準確性，能夠提高整個可視化的質量和準確性。這種評估方式有助于發(fā)現模型在生成可視化時可能出現的局部錯誤，從而有針對性地進行改進。但是，同樣地，組件匹配可能會面臨組件之間相互依賴關系復雜的問題，某個組件的正確性可能需要結合其他組件以及上下文信息來綜合判斷，這增加了評估的復雜性。

5.2.2 人工評估

人工評估在 Text-to-Vis 中主要通過用戶研究來實現，其目的是評估模型在實際應用中的有效性、用戶友好性和效率。用戶研究收集用戶對系統(tǒng)生成可視化的反饋，包括系統(tǒng)速度、易用性、用戶對可視化效果的偏好以及改進建議等方面。通過用戶的直接反饋，可以深入了解模型生成的可視化在實際使用場景中的表現，是否能夠滿足用戶的需求和期望，以及是否易于用戶理解和操作。這種評估方式能夠從用戶體驗的角度全面評估模型的性能，對于優(yōu)化模型以提高用戶滿意度具有重要指導意義。然而，人工評估受限于樣本數量和評估環(huán)境的多樣性，不同用戶的背景和需求差異可能導致評估結果存在一定的偏差，并且組織和實施用戶研究也需要耗費大量的時間和資源。

5.3 評估指標選擇指南

表4 Text-to-SQL 和Text-to-Vis 的比較

在選擇評估指標時，應根據具體的需求和場景綜合考慮。對于評估 Text-to-SQL 和 Text-to-Vis 模型的語法正確性，基于字符串的指標是一個重要的選擇。精確字符串匹配能夠提供最嚴格的語法檢查，確保生成的查詢或可視化規(guī)范在形式上與目標一致；模糊匹配和組件匹配則可從不同角度補充對語法結構的評估，捕捉可能存在的細微語法錯誤或部分組件的不匹配情況。當關注語義等價性時，基于執(zhí)行的指標在 Text-to-SQL 中尤為關鍵，它能夠通過比較查詢執(zhí)行結果判斷模型是否真正理解了自然語言的語義并生成了等價的查詢；在 Text-to-Vis 中，雖然執(zhí)行結果的概念相對較難直接定義，但可以通過檢查可視化效果是否符合預期語義來間接應用類似的思想。而人工評估則可作為一種補充手段，用于捕捉自動指標可能遺漏的細微差別，尤其是在涉及語義理解、用戶體驗等復雜方面，人工評估能夠提供更深入、全面的見解。綜合運用多種評估指標，能夠更全面、準確地評估自然語言接口在表格數據查詢與可視化方面的性能，為模型的改進和優(yōu)化提供有力的依據。

6.未來研究方向

表5 Text-to-SQL 和Text-to-Vis 研究的比較

6.1 推進神經網絡模型與方法

盡管神經網絡在 Text-to-SQL 領域已取得顯著進展，但仍有很大的提升空間。當前，多數模型在處理復雜查詢、多輪交互以及特定領域問題時存在不足。例如，面對涉及多個條件、嵌套結構或領域專業(yè)術語的復雜查詢時，模型可能生成不準確或不完整的SQL語句。未來需要持續(xù)優(yōu)化神經網絡架構，如探索更深層次的網絡結構，增強模型對復雜語義和語法結構的理解能力。先進的注意力機制可進一步提高模型對輸入文本不同部分的關注度，從而更精準地捕捉關鍵信息。混合模型結合規(guī)則基邏輯與神經網絡的優(yōu)勢，有望在處理結構化數據時兼具靈活性和準確性。

在 Text-to-Vis 領域，神經網絡模型的發(fā)展相對滯后，面臨著生成多樣化、準確且美觀可視化的挑戰(zhàn)。模型需要根據用戶意圖生成不同類型、風格和布局的可視化，同時確保數據的準確呈現。例如，在生成數據圖表時，能夠根據數據特點和用戶需求選擇最合適的圖表類型（如柱狀圖、折線圖、餅圖等），并優(yōu)化圖表的樣式和布局，使其更具可讀性和視覺吸引力。利用外部知識圖譜等知識庫可以為模型提供更多的背景信息和領域知識，幫助模型更好地理解數據和用戶需求，從而生成更符合實際場景的可視化。遷移學習技術可使模型從已有的數據和任務中學習通用的知識和模式，快速適應新的可視化任務，減少對大量標注數據的依賴。多模態(tài)策略則能整合文本、圖像等多種信息源，為用戶提供更豐富、直觀的可視化體驗，如通過圖像識別技術提取數據中的關鍵信息并與文本信息相結合，生成更全面、生動的可視化結果。

6.2 挖掘大語言模型潛力

大語言模型（ LLMs ）如 ChatGPT 在自然語言處理領域展現出了強大的能力，但在數據庫自然語言接口中的應用尚處于起步階段。目前，雖然已有研究嘗試將 LLMs 集成到 Text-to-SQL 和 Text-to-Vis 系統(tǒng)中，但仍未充分發(fā)揮其潛力。LLMs  在理解復雜用戶查詢、捕捉上下文信息和進行泛化推理方面具有獨特優(yōu)勢，能夠更好地處理模糊、隱含或具有多義性的自然語言表述。

未來研究應致力于根據查詢和可視化任務的特定需求定制 LLMs 。一種途徑是在特定領域數據集上對 LLMs 進行微調，使其熟悉特定領域的術語、數據結構和查詢模式，從而提高在該領域的性能和準確性。例如，在醫(yī)療領域，通過在大量醫(yī)療記錄和相關查詢數據集上訓練 LLMs ，使其能夠準確理解和處理醫(yī)療數據查詢，生成符合醫(yī)療專業(yè)需求的可視化報告。將 LLMs 與現有架構有機結合，也是發(fā)揮其潛力的重要方向。例如，將 LLMs 與傳統(tǒng)的數據庫管理系統(tǒng)、可視化工具或神經網絡模型相結合，實現優(yōu)勢互補，構建更強大、高效的自然語言接口。開發(fā)新穎的提示策略對于引導 LLMs 生成高質量的 SQL 查詢和可視化規(guī)范至關重要。通過精心設計提示模板、示例和引導語，幫助 LLMs 更好地理解任務要求，減少錯誤生成，提高生成結果的可靠性和可用性。

6.3 探索先進學習方法

傳統(tǒng)的監(jiān)督學習方法在自然語言接口領域面臨著對大量標記數據的依賴問題，這限制了模型的發(fā)展和應用。獲取高質量的標記數據往往需要耗費大量的人力、物力和時間，尤其在復雜的表格數據查詢和可視化任務中，標注工作更加繁瑣且容易出錯。半監(jiān)督學習方法提供了一種有潛力的解決方案，它能夠利用未標記數據中的信息來增強模型的學習能力。例如，通過在大量未標記的表格數據上進行預訓練，模型可以學習到數據的一般結構和模式，然后再結合少量標記數據進行微調，從而提高模型在特定任務上的性能。弱監(jiān)督學習方法則利用弱監(jiān)督信號，如部分標記數據、啟發(fā)式規(guī)則或隱含的反饋信息，來指導模型學習。例如，利用用戶與系統(tǒng)的交互日志作為弱監(jiān)督信號，盡管這些交互可能沒有明確的標記，但可以從中挖掘出用戶的意圖和對結果的滿意度，從而為模型提供有價值的學習信息。

參數高效的訓練方法，如 LoRA（Low-Rank Adaptation），在減少計算資源需求和提高訓練效率方面顯示出優(yōu)勢。LoRA 通過引入低秩矩陣來近似模型參數的更新，在不改變原始模型結構的情況下，顯著減少了可訓練參數的數量，從而降低了計算成本和存儲需求。在資源有限的環(huán)境中，如移動設備或邊緣計算場景下，這種方法能夠使模型更高效地進行訓練和部署，同時保持較好的性能。將大預訓練模型與參數高效技術相結合，有望在數據效率和計算效率之間找到平衡，為語義解析任務提供更有效的解決方案。例如，先利用大規(guī)模語料庫訓練一個通用的大語言模型，然后通過參數高效的微調方法使其適應特定的表格數據查詢和可視化任務，既能利用大模型的強大表示能力，又能快速適應新任務，減少對大量特定任務數據的需求。

6.4 構建大規(guī)模多樣數據集

高質量、多樣化的數據集是推動自然語言接口發(fā)展的關鍵因素之一。目前的數據集雖然在一定程度上滿足了研究需求，但仍存在規(guī)模不足和多樣性欠缺的問題。更大規(guī)模的數據集能夠為模型提供更豐富的學習資源，有助于提高模型的泛化能力，使其能夠更好地處理各種不同類型的用戶查詢。例如，涵蓋更多領域、更多數據模式和更復雜查詢場景的數據集，可以讓模型學習到更廣泛的語言表達方式和數據處理策略。

多樣性方面，不僅要包括不同領域（如金融、醫(yī)療、教育等）的數據，還應涵蓋不同數據結構（如不同列數、行數、數據類型的表格）和多樣化的查詢類型（如單表查詢、多表關聯查詢、聚合查詢、嵌套查詢等）。此外，多語言數據集的建設也至關重要，當前數據集以英語為主，限制了自然語言接口在全球范圍內的應用。開發(fā)更多涵蓋不同語言的數據集，能夠促進多語言環(huán)境下的研究和應用，使自然語言接口能夠服務于更廣泛的用戶群體，打破語言障礙，實現真正的全球化數據交互。通過構建大規(guī)模多樣數據集，可以為模型訓練提供更全面、真實的模擬環(huán)境，從而推動自然語言接口技術在實際應用中的性能提升和普及。

6.5 增強魯棒性與泛化性

隨著自然語言接口在各種應用中的廣泛應用，其魯棒性和泛化性成為關鍵問題。在魯棒性方面，模型需要能夠抵御對抗攻擊和處理分布外（out-of-distribution）的擾動。對抗攻擊可能通過故意構造的惡意輸入來干擾模型的正常運行，使其產生錯誤的輸出。例如，在 Text-to-SQL 任務中，攻擊者可能對輸入的自然語言查詢進行微小但有針對性的修改，導致模型生成錯誤的SQL語句，從而影響數據的安全性和準確性。分布外擾動則涉及到模型在遇到與訓練數據分布不同的輸入時的表現。實際應用中，用戶的輸入可能具有很大的多樣性，模型必須能夠處理這些未曾見過的輸入情況，而不出現性能大幅下降或錯誤輸出。

泛化性包括組合泛化和領域泛化能力。組合泛化要求模型能夠理解和組合已知概念，以處理從未見過的復合查詢。例如，當模型學會了處理單個條件的查詢和數據聚合操作后，應能夠處理將多個條件組合并進行聚合操作的新查詢。領域泛化則確保模型在不同領域之間能夠有效遷移，即使面對新領域的數據和查詢，也能利用已有的知識和經驗進行準確處理。例如，一個在商業(yè)領域訓練良好的模型，在應用于醫(yī)療領域時，應能夠快速適應醫(yī)療數據的特點和查詢需求，而無需大量重新訓練。提高模型的魯棒性和泛化性，需要從模型架構設計、訓練方法優(yōu)化、數據集增強等多方面入手，確保自然語言接口在復雜多變的實際應用場景中穩(wěn)定可靠地運行。

6.6 開創(chuàng)大語言模型時代的先進應用

大語言模型時代為自然語言接口在數據庫應用中的創(chuàng)新提供了新機遇。多模態(tài)系統(tǒng)是一個重要的發(fā)展方向，它將大語言模型與其他模態(tài)（如視覺、聽覺等）相結合，實現更豐富、自然的人機交互。例如，用戶可以通過語音輸入查詢指令，并結合圖像或手勢等方式提供額外信息，系統(tǒng)則能夠綜合理解這些多模態(tài)信息，生成更準確、直觀的查詢結果或可視化展示。這種多模態(tài)交互方式能夠滿足不同用戶的需求和偏好，提供更便捷、高效的用戶體驗，尤其適用于移動設備和智能終端等場景。

集成系統(tǒng)的發(fā)展趨勢是將自然語言接口與其他功能模塊集成，構建綜合性的智能系統(tǒng)。例如，與文檔集成系統(tǒng)的發(fā)展趨勢是將自然語言接口與其他功能模塊集成，構建綜合性的智能系統(tǒng)。例如，與文檔摘要功能相結合，用戶在查詢表格數據時，系統(tǒng)不僅能返回準確的數據結果，還能提供相關數據的簡要概括和分析，幫助用戶快速理解數據的關鍵信息。與推薦系統(tǒng)集成，可根據用戶的查詢歷史和偏好，為用戶推薦相關的數據查詢或可視化方案，提升用戶獲取有價值信息的效率。與聊天機器人功能融合，用戶能夠以對話的方式進行連續(xù)的查詢和探索，系統(tǒng)則可以在對話過程中不斷理解用戶意圖，提供更個性化、深入的服務，形成一個連貫的、以自然語言為核心的交互流程，滿足用戶在復雜數據處理場景下的多樣化需求。

用戶中心設計在大語言模型時代尤為重要。未來的應用應聚焦于提升用戶體驗，提供直觀、易用的界面，使非技術用戶也能輕松與數據庫進行交互。例如，設計簡潔明了的交互界面，采用自然語言提示和引導，讓用戶能夠直觀地表達自己的需求。提供交互式反饋機制，實時向用戶展示系統(tǒng)對其查詢的理解和處理進度，讓用戶感受到系統(tǒng)的響應和關注，增強用戶與系統(tǒng)之間的互動性。個性化響應也是關鍵，系統(tǒng)應根據不同用戶的特點和使用習慣，提供定制化的查詢結果和可視化展示，滿足用戶的特定需求，提高用戶對系統(tǒng)的滿意度和信任度。通過注重用戶中心設計，能夠使自然語言接口更好地融入人們的日常工作和生活，推動數據交互方式的變革。

7.結論

在本次深入的研究中，我們對自然語言接口在表格數據查詢與可視化領域進行了全面的剖析。從其發(fā)展的歷程來看，技術不斷演進，從早期的簡單規(guī)則基方法逐漸發(fā)展到如今強大的神經網絡和大語言模型驅動的解決方案。數據集的豐富多樣為模型的訓練和評估提供了堅實的基礎，不同類型的數據集在各個發(fā)展階段發(fā)揮著關鍵作用，推動著模型不斷適應更復雜的任務需求。方法的創(chuàng)新是該領域發(fā)展的核心動力，從傳統(tǒng)的手工規(guī)則制定到自動化的神經網絡學習，再到利用大語言模型的強大能力，每一步都顯著提升了自然語言與表格數據交互的效率和準確性。評估指標則為衡量這些方法的優(yōu)劣提供了客觀的標準，幫助我們準確把握模型的性能表現。系統(tǒng)架構的多樣化則滿足了不同用戶群體在不同場景下的需求，從基礎用戶到專業(yè)用戶，都能找到適合自己的自然語言接口解決方案。

展望未來，該領域充滿了無限的可能性和潛力。推進神經網絡模型與方法將進一步提高模型處理復雜任務的能力，挖掘大語言模型潛力有望開啟新的應用模式，探索先進學習方法將解決數據依賴和效率問題，構建大規(guī)模多樣數據集將增強模型的泛化能力，提高魯棒性與泛化性可確保系統(tǒng)在實際應用中的可靠性，而開創(chuàng)先進應用則將極大地提升用戶體驗，推動自然語言接口在表格數據查詢與可視化領域發(fā)揮更大的價值，為各行業(yè)的數據驅動決策提供更強大、便捷的工具。隨著技術的不斷進步，我們期待自然語言接口能夠在更多領域得到廣泛應用，真正實現人與數據的無縫交互，釋放數據的巨大潛力。

本文轉載自??AIGC前沿技術追蹤??，作者：AIGC前沿技術追蹤