技術(shù)背景

NL2SQL的發(fā)展與挑戰(zhàn)

自然語(yǔ)言到SQL的轉(zhuǎn)換任務(wù)，旨在讓用戶能夠用日常的自然語(yǔ)言從數(shù)據(jù)庫(kù)中獲取所需數(shù)據(jù)，而無(wú)需掌握復(fù)雜的SQL語(yǔ)言。隨著大語(yǔ)言模型（LLMs）的興起，這一領(lǐng)域取得了顯著進(jìn)展。像GPT-4這樣強(qiáng)大的LLMs出現(xiàn)后，催生出了CHASE-SQL 和 XiYan-SQL等先進(jìn)框架，它們?cè)谛阅苌线_(dá)到了新的高度。

但這些基于 LLMs 的方法存在明顯的局限性。主流方法大多依賴閉源模型，并且需要調(diào)用外部 API，這在醫(yī)療、金融等對(duì)數(shù)據(jù)隱私極為敏感的領(lǐng)域，帶來(lái)了巨大的數(shù)據(jù)隱私風(fēng)險(xiǎn)。很多開(kāi)源研究聚焦于參數(shù)規(guī)模較大的模型，對(duì)參數(shù)4B或更少的小語(yǔ)言模型關(guān)注不足。而實(shí)際應(yīng)用場(chǎng)景中，許多關(guān)系型數(shù)據(jù)庫(kù)部署在高性能但GPU資源有限的系統(tǒng)上，LLMs對(duì)計(jì)算資源的高要求限制了其在這些場(chǎng)景中的廣泛應(yīng)用。

小模型在NL2SQL中的困境

小語(yǔ)言模型在處理NL2SQL任務(wù)時(shí)遇到了不少問(wèn)題。與大型語(yǔ)言模型相比，小型模型在理解和處理復(fù)雜的數(shù)據(jù)庫(kù)結(jié)構(gòu)和長(zhǎng)句子時(shí)顯得力不從心。它們往往難以把握長(zhǎng)段落中的關(guān)鍵信息，因此生成的SQL語(yǔ)句經(jīng)常無(wú)法正常運(yùn)行，有時(shí)候還會(huì)出現(xiàn)誤解或產(chǎn)生錯(cuò)誤的結(jié)果?，F(xiàn)有的基于大模型設(shè)計(jì)的NL2SQL工具不適合小模型使用，因?yàn)檫@些工具需要很強(qiáng)的理解指令的能力來(lái)生成中間步驟，而這是小模型做不到的。如果強(qiáng)行把這些工具用在小模型上，只會(huì)讓生成的SQL語(yǔ)句更難執(zhí)行。

研究的核心貢獻(xiàn)

為了解決小模型在NL2SQL任務(wù)中的難題，本文提出了 Feather-SQL 框架。這是一個(gè)專門為 SLMs 設(shè)計(jì)的輕量級(jí)框架，通過(guò)一系列創(chuàng)新技術(shù)，提升了SQL查詢的可執(zhí)行性和準(zhǔn)確性。論文還提出了1+1模型協(xié)作范式，將通用聊天模型和微調(diào)的SQL專家模型相結(jié)合，有效避免了微調(diào)SLMs時(shí)出現(xiàn)的災(zāi)難性遺忘問(wèn)題。通過(guò)在BIRD和Spider等數(shù)據(jù)集上的大量實(shí)驗(yàn)，驗(yàn)證了Feather-SQL框架和1+1模型協(xié)作范式的有效性，為小語(yǔ)言模型在NL2SQL領(lǐng)域的應(yīng)用提供了新的解決方案。

新興方案

方法論

Feather-SQL框架

Feather-SQL框架包含多個(gè)關(guān)鍵組件，旨在提升SLMs在NL2SQL任務(wù)中的性能。

模式修剪：模式修剪的核心功能在于動(dòng)態(tài)簡(jiǎn)化數(shù)據(jù)庫(kù)模式。通過(guò)評(píng)估語(yǔ)義相關(guān)性，它能夠從所有表的定義語(yǔ)言（DDL）語(yǔ)句中篩選出與特定查詢直接相關(guān)的表，并僅保留這些相關(guān)表的DDL用于后續(xù)處理步驟。例如，在一個(gè)集成了員工信息、部門詳情及項(xiàng)目概況的數(shù)據(jù)庫(kù)環(huán)境中，如果用戶發(fā)起的查詢請(qǐng)求是獲取某位員工的具體薪資，則模式修剪機(jī)制將判定員工信息表為關(guān)聯(lián)表，而認(rèn)為部門信息表和項(xiàng)目信息表與此查詢無(wú)關(guān)。這樣做的目的是減少模型需處理的數(shù)據(jù)量，減輕處理大規(guī)模文本數(shù)據(jù)的壓力，同時(shí)確保關(guān)鍵信息得到保留，從而顯著提升后續(xù)處理流程的效率與精確度。

模式鏈接：模式鏈接承擔(dān)著將自然語(yǔ)言查詢與數(shù)據(jù)庫(kù)模式精準(zhǔn)對(duì)齊的任務(wù)。通過(guò)深入的語(yǔ)義解析，該過(guò)程能夠從整個(gè)數(shù)據(jù)庫(kù)模式中篩選出與查詢請(qǐng)求相關(guān)的特定字段。以員工薪酬查詢?yōu)槔?，模式鏈接機(jī)制會(huì)準(zhǔn)確識(shí)別并選取“員工”表中的“姓名”字段作為定位個(gè)體員工的依據(jù)，并選擇“工資”字段來(lái)提取所需的薪酬信息。這種高度精確的映射不僅提升了SQL語(yǔ)句生成的質(zhì)量，還保證了最終查詢結(jié)果的準(zhǔn)確性與可靠性。

多路徑生成：多路徑生成策略采用了四種不同的提示類型，分別為同時(shí)執(zhí)行模式鏈接與修剪、僅執(zhí)行模式鏈接、僅執(zhí)行模式修剪以及不執(zhí)行任何操作。此策略旨在減少因修剪錯(cuò)誤及鏈接不準(zhǔn)確所引發(fā)的風(fēng)險(xiǎn)。在模式修剪過(guò)程中若發(fā)生失誤，導(dǎo)致關(guān)鍵信息被不當(dāng)移除，則通過(guò)其他路徑（例如僅執(zhí)行鏈接的路徑）仍有可能生成有效的查詢結(jié)果。這種多路徑設(shè)計(jì)顯著提升了框架的整體魯棒性，確保模型在處理各類復(fù)雜場(chǎng)景時(shí)具備更高的正確查詢生成概率。

多候選生成：多候選生成方法通過(guò)并行生成多個(gè)SQL查詢，顯著提高了獲得正確結(jié)果的概率。為了確保生成的查詢具備多樣性，該模型采用了束搜索（beam search）技術(shù)，并對(duì)溫度（temperature）和top-p參數(shù)進(jìn)行了精細(xì)調(diào)校。在每條路徑上均會(huì)生成預(yù)定數(shù)量的候選查詢，以全面探索潛在解決方案的空間。與大型語(yǔ)言模型（LLMs）相比，特定領(lǐng)域語(yǔ)言模型（SLMs）從這種多候選生成策略中獲益更為明顯，這不僅提升了生成查詢的可執(zhí)行性，還增強(qiáng)了其準(zhǔn)確性。

校正：校正步驟旨在解決生成查詢?cè)趫?zhí)行過(guò)程中遇到的問(wèn)題。針對(duì)每一個(gè)生成的查詢，我們將在數(shù)據(jù)庫(kù)中進(jìn)行實(shí)際運(yùn)行，并基于其執(zhí)行結(jié)果采取相應(yīng)措施。對(duì)于能夠成功執(zhí)行的查詢，將直接將其納入可執(zhí)行SQL查詢列表；而對(duì)于執(zhí)行失敗的情況，則會(huì)利用錯(cuò)誤信息作為反饋，通過(guò)自我校正機(jī)制生成兩個(gè)新的候選查詢。如果這些新生成的查詢能夠正確執(zhí)行，同樣會(huì)被保存下來(lái)。這一流程為模型提供了一個(gè)動(dòng)態(tài)調(diào)整與優(yōu)化的框架，有助于持續(xù)提升所生成查詢的質(zhì)量。

選擇：采用選擇排序算法對(duì)所有可執(zhí)行查詢進(jìn)行評(píng)估與排序。對(duì)于返回結(jié)果數(shù)量較少的查詢，其評(píng)估過(guò)程將同時(shí)考量查詢本身及其執(zhí)行結(jié)果；而對(duì)于返回大量結(jié)果的查詢，則主要側(cè)重于查詢本身的評(píng)估。此過(guò)程將迭代三次，最終選取出現(xiàn)頻率最高的查詢作為最優(yōu)解。通過(guò)這種方法，可以最大化滿足用戶需求，并提升查詢的準(zhǔn)確度和可靠性。

提示策略

為了更好地發(fā)揮 Feather-SQL 框架的性能，論文還提出了兩種提示策略。

提?。?/strong>鑒于結(jié)構(gòu)化語(yǔ)言模型（SLMs）在嚴(yán)格遵守結(jié)構(gòu)約束方面面臨挑戰(zhàn)，采用提取策略可以為這些模型提供更大的自由度來(lái)生成響應(yīng)，從而避免了受到固定結(jié)構(gòu)輸出格式的限制。這種策略主要由詞匯匹配和模式匹配兩種技術(shù)組成。其中，詞匯匹配涉及將模型輸出中明確提及的表名或列名與數(shù)據(jù)庫(kù)模式進(jìn)行對(duì)比驗(yàn)證，僅當(dāng)這些名稱確實(shí)存在于目標(biāo)數(shù)據(jù)庫(kù)中時(shí)才予以采納；而模式匹配則專注于識(shí)別模型輸出中的特定預(yù)定義模式，例如“answer is”之后的內(nèi)容，并據(jù)此提取相關(guān)信息作為答案。通過(guò)運(yùn)用這兩種方法，不僅能夠增強(qiáng)模型生成答案時(shí)的靈活性，還能夠在一定程度上規(guī)避語(yǔ)法上的局限性，進(jìn)而提升推理任務(wù)的整體準(zhǔn)確性。

簡(jiǎn)化：簡(jiǎn)化策略的核心目標(biāo)在于減少提示的長(zhǎng)度，從而降低計(jì)算資源的需求。在Feather-SQL框架下，這一目標(biāo)通過(guò)剔除不必要的細(xì)節(jié)、采用精煉的指令以及提供最少但足夠有效的示例來(lái)達(dá)成。該方法不僅避免了序列學(xué)習(xí)模型（SLMs）處理冗長(zhǎng)且復(fù)雜的輸入信息，還確保了任務(wù)定義的清晰度與簡(jiǎn)潔性，進(jìn)而顯著提升了模型執(zhí)行任務(wù)時(shí)的效率。

1+1協(xié)作范式

1+1協(xié)作范式將 NL2SQL 任務(wù)流程中的任務(wù)分為推理密集型任務(wù)和 SQL 生成任務(wù)。推理任務(wù)，如模式鏈接和候選評(píng)估，需要強(qiáng)大的上下文理解和適應(yīng)能力；SQL生成任務(wù)則要求在查詢合成時(shí)具備高精度。為了優(yōu)化性能，該范式采用兩個(gè)專門的模型：通用聊天模型負(fù)責(zé)推理密集型任務(wù)，利用其廣泛的語(yǔ)言和上下文理解能力，避免災(zāi)難性遺忘；SQL微調(diào)模型專注于SQL生成，通過(guò)在大規(guī)模NL2SQL數(shù)據(jù)集上的訓(xùn)練，在SQL特定任務(wù)中表現(xiàn)出色，減少幻覺(jué)，提高查詢的可執(zhí)行性和準(zhǔn)確性。

通用聊天模型在處理模式鏈接和候選評(píng)估等任務(wù)時(shí)，能夠利用其豐富的語(yǔ)言知識(shí)和上下文理解能力，提供準(zhǔn)確的推理結(jié)果，為 SQL 生成提供可靠的基礎(chǔ)。而 SQL 微調(diào)模型則在生成 SQL 查詢時(shí)，憑借其在大量數(shù)據(jù)上訓(xùn)練得到的專業(yè)能力，生成高質(zhì)量的查詢語(yǔ)句。兩者相互協(xié)作，發(fā)揮各自的優(yōu)勢(shì)，有效提升了整體的 NL2SQL 性能。

實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：實(shí)驗(yàn)選用了 BIRD 和 Spider 這兩個(gè)具有代表性的數(shù)據(jù)集。BIRD 數(shù)據(jù)集涵蓋 37 個(gè)專業(yè)領(lǐng)域的數(shù)據(jù)庫(kù)，數(shù)據(jù)專業(yè)性強(qiáng)、復(fù)雜度高，是一個(gè)極具挑戰(zhàn)性的數(shù)據(jù)集。由于其 TEST 數(shù)據(jù)集的專有性，實(shí)驗(yàn)使用公開(kāi)的 DEV 子集，包含 1534 個(gè)獨(dú)特的問(wèn)題-SQL對(duì)。Spider 數(shù)據(jù)集覆蓋 138 個(gè)不同領(lǐng)域，與 BIRD 相比，其 SQL 結(jié)構(gòu)和模式相對(duì)簡(jiǎn)單。實(shí)驗(yàn)使用 Spider 的 TEST 集，包含 2147 個(gè)問(wèn)題-SQL對(duì)。

評(píng)估指標(biāo)：采用執(zhí)行準(zhǔn)確率（衡量生成查詢的執(zhí)行結(jié)果與正確答案是否一致）和執(zhí)行比例（評(píng)估生成的SQL查詢能在相應(yīng)數(shù)據(jù)庫(kù)中無(wú)語(yǔ)法錯(cuò)誤執(zhí)行的比例）作為評(píng)估指標(biāo)。這兩個(gè)指標(biāo)能夠全面地評(píng)估模型在NL2SQL任務(wù)中的性能表現(xiàn)，執(zhí)行準(zhǔn)確率反映了查詢結(jié)果的正確性，執(zhí)行比例則體現(xiàn)了查詢的可執(zhí)行性。

基線方法：對(duì)比的基線方法包括直接響應(yīng)（直接從自然語(yǔ)言問(wèn)題生成SQL查詢，不進(jìn)行任何優(yōu)化）、第一個(gè)可執(zhí)行查詢（利用模型生成多個(gè)SQL候選，選擇第一個(gè)可執(zhí)行的查詢）、MAC-SQL（基于LLMs的多階段框架，利用輔助智能體和少樣本思維鏈推理）和CHESS（包含四個(gè)專門智能體的多智能體框架，利用局部敏感哈希和向量數(shù)據(jù)庫(kù)檢索數(shù)據(jù)）。這些基線方法代表了當(dāng)前NL2SQL領(lǐng)域的不同技術(shù)路線，通過(guò)與它們對(duì)比，可以更直觀地評(píng)估Feather-SQL框架的性能優(yōu)勢(shì)。

實(shí)現(xiàn)細(xì)節(jié)：實(shí)驗(yàn)使用了多種通用聊天模型和SQL微調(diào)模型，如 Qwen2.5 系列、Yi-Coder-1.5B 等聊天模型，以及Prem-SQL-1.3B 和 CodeS-3B 等 SQL 微調(diào)模型。在多候選生成階段，每條路徑生成4個(gè)候選查詢，共生成16個(gè)候選；校正階段候選數(shù)量減少到2個(gè)。選擇階段進(jìn)行3輪選擇，最終通過(guò)多數(shù)投票確定候選。這樣的設(shè)置在保證模型探索多種可能性的同時(shí)，也確保了最終結(jié)果的可靠性。

主要結(jié)果

Feather-SQL的性能表現(xiàn)：在BIRD數(shù)據(jù)集上，F(xiàn)eather-SQL 在所有通用聊天模型上均展現(xiàn)出卓越性能，執(zhí)行準(zhǔn)確率平均提升約10%，執(zhí)行比例提升超過(guò)20%。這表明Feather-SQL能夠有效提升SLMs在處理復(fù)雜領(lǐng)域數(shù)據(jù)庫(kù)查詢時(shí)的能力。在SQL微調(diào)模型方面，與CodeS結(jié)合時(shí)在執(zhí)行準(zhǔn)確率和執(zhí)行比例上都有顯著提高，Prem-SQL在執(zhí)行比例上也有明顯進(jìn)步。在Spider數(shù)據(jù)集上，F(xiàn)eather-SQL同樣顯著提升了SLMs的NL2SQL性能。這進(jìn)一步驗(yàn)證了Feather-SQL框架在不同復(fù)雜度數(shù)據(jù)集上的有效性和通用性。

1+1協(xié)作范式的效果：在 Feather-SQL 框架下，1+1協(xié)作范式使 Prem-SQL 和 CodeS 的執(zhí)行準(zhǔn)確率提高了3- 6%，Prem-SQL 達(dá)到了現(xiàn)有 SLMs 中的最優(yōu)性能。這充分展示了1+1協(xié)作范式的優(yōu)勢(shì)，通過(guò)合理分工，讓不同的模型發(fā)揮各自的專長(zhǎng)，從而提升整體性能。不過(guò)，與聊天模型搭配時(shí)，執(zhí)行比例有所下降，這是由于 SQL 模型在模式修剪時(shí)返回查詢而非預(yù)期答案，導(dǎo)致模式過(guò)度修剪。但總體而言，該范式顯著提高了不同框架下的準(zhǔn)確性，為小語(yǔ)言模型在NL2SQL任務(wù)中的應(yīng)用提供了更強(qiáng)大的支持。

消融實(shí)驗(yàn)

組件貢獻(xiàn)分析：通過(guò)一系列的消融實(shí)驗(yàn)，我們系統(tǒng)地移除了框架中的各個(gè)組件，并在BIRD DEV數(shù)據(jù)集上評(píng)估了執(zhí)行準(zhǔn)確率和比例的變化。實(shí)驗(yàn)結(jié)果表明，任一組件的缺失均會(huì)導(dǎo)致上述兩個(gè)性能指標(biāo)的下降，這證實(shí)了每個(gè)組件對(duì)于整體框架性能的重要性。特別值得注意的是，模式修剪組件的去除對(duì)執(zhí)行準(zhǔn)確率的影響最為顯著，凸顯了識(shí)別并聚焦于相關(guān)表格及列在生成精確SQL查詢過(guò)程中的關(guān)鍵作用。此外，盡管校正步驟的移除對(duì)整體效果的影響相對(duì)較小，但其仍為提升系統(tǒng)性能貢獻(xiàn)了一定程度的優(yōu)化。

路徑貢獻(xiàn)分析：分析四種模型中SQL答案的來(lái)源，發(fā)現(xiàn)“Full Schema & Linking”路徑貢獻(xiàn)最大，其次是“Pruned Schema & Linking”路徑。這表明鏈接在生成正確查詢中起著核心作用，無(wú)論模式是否修剪。模式修剪的總貢獻(xiàn)超過(guò)25%，進(jìn)一步證明了各組件在提升查詢準(zhǔn)確性和可執(zhí)行性方面的重要性。

候選大小的影響：研究顯示，隨著候選大小從4增加到16，執(zhí)行準(zhǔn)確率逐漸提高，但超過(guò)16后提升不明顯。因此，選擇候選大小為16可以在保證性能的同時(shí)平衡計(jì)算效率和資源消耗。

總結(jié)

本文提出的 Feather-SQL 框架為小型語(yǔ)言模型（SLMs）在 NL2SQL 任務(wù)中提供了一種創(chuàng)新且高效的解決方案。該框架的核心技術(shù)包括精心設(shè)計(jì)的組件，如模式修剪、模式鏈接、多路徑與多候選生成、校正及選擇機(jī)制，以及配套的提取和簡(jiǎn)化提示策略。此外，F(xiàn)eather-SQL 還引入了一種獨(dú)特的 1+1 模型協(xié)作范式。這些技術(shù)相互配合，顯著提升了 SLMs 在執(zhí)行 NL2SQL 任務(wù)時(shí)的準(zhǔn)確性和可執(zhí)行性。盡管如此，本研究仍面臨若干挑戰(zhàn)。特別是在實(shí)際應(yīng)用中，由于數(shù)據(jù)庫(kù)結(jié)構(gòu)和數(shù)據(jù)特征存在極大的多樣性，因此Feather-SQL 框架需要進(jìn)一步優(yōu)化以更好地適應(yīng)更加復(fù)雜多變的數(shù)據(jù)庫(kù)環(huán)境。雖然 1+1 模型協(xié)作范式提高了系統(tǒng)性能，但同時(shí)也增加了系統(tǒng)的復(fù)雜度。如何在保持高性能的同時(shí)簡(jiǎn)化模型間的協(xié)作流程，將是未來(lái)研究的一個(gè)重要方向。同時(shí)，F(xiàn)eather-SQL 框架也帶來(lái)了許多潛在的機(jī)會(huì)。它為資源受限條件下的高效數(shù)據(jù)庫(kù)交互提供了一個(gè)可行方案，并有望在智能數(shù)據(jù)分析、智能客戶服務(wù)等多個(gè)領(lǐng)域得到廣泛應(yīng)用。隨著持續(xù)不斷的優(yōu)化和完善，預(yù)計(jì) Feather-SQL 將促進(jìn)自然語(yǔ)言處理與數(shù)據(jù)庫(kù)交互技術(shù)的進(jìn)步，從而推動(dòng)人工智能在數(shù)據(jù)管理和交互方面取得新的突破?？梢灶A(yù)見(jiàn)，在未來(lái)的研究工作中，當(dāng)前所面臨的挑戰(zhàn)將會(huì)逐漸被克服，而Feather-SQL框架也將繼續(xù)演進(jìn)，為相關(guān)領(lǐng)域的技術(shù)進(jìn)步做出更大的貢獻(xiàn)。

結(jié)語(yǔ)：

Feather-SQL 又一個(gè) yyds 的 nl2sql 新思路，你學(xué)廢了嗎？

·

················END·················

論文地址：???https://arxiv.org/pdf/2503.17811???

Feather-SQL: A Lightweight NL2SQL Framework with Dual-Model Collaboration Paradigm for Small Language Models