低資源場景下Text2SQL方法 原創(chuàng)
SFT的text2sql方法
SFT使模型能夠遵循輸入指令并根據(jù)預(yù)定義模板進(jìn)行思考和響應(yīng)。如上圖，、和是用于通知模型在推理過程中響應(yīng)角色的角色標(biāo)簽。后面的內(nèi)容表示模型需要遵循的指令，而后面的內(nèi)容傳達(dá)了當(dāng)前用戶對模型的需求。后面的內(nèi)容代表模型的預(yù)期輸出，也可以定義為模型預(yù)測的標(biāo)簽。在監(jiān)督微調(diào)期間，模型根據(jù)和中的內(nèi)容預(yù)測后面的內(nèi)容，然后將其與標(biāo)簽進(jìn)行比較以計算損失函數(shù)。標(biāo)記作為結(jié)束標(biāo)記，以防止模型在后續(xù)推理階段偏離思路，從而減少推理時間。通過定義監(jiān)督微調(diào)模板，模型可以在推理時根據(jù)模板喚起微調(diào)知識，用戶可以從預(yù)先建立的響應(yīng)模板中提取答案。
text2sql一些研究涵蓋兩個基本任務(wù)：schema_linking和SQL生成。
- Schema Linking: 主要目的是識別和提取與問題相關(guān)的表，并通過分步推理和鏈?zhǔn)剿季S方法在有限內(nèi)存下處理大規(guī)模數(shù)據(jù)庫。
- SQL 生成: 主要目的是根據(jù)模式鏈接任務(wù)的結(jié)果生成準(zhǔn)確的SQL查詢語句，同時通過減少輸入表的數(shù)量來降低內(nèi)存消耗。
方法
LR-SQL方法框架
提出了LR-SQL方法，解決低資源場景下的Text2SQL任務(wù)，具體如下：
1.schema_link模型：首先，LR-SQL方法包含兩個監(jiān)督微調(diào)模型：schema_link模型和SQL生成模型。schema_link模型的主要作用是簡化整個流程，通過將完整的數(shù)據(jù)庫分解為靈活的表組合，使模型能夠從這些分散的切片中學(xué)習(xí)數(shù)據(jù)庫內(nèi)關(guān)系。
2.數(shù)據(jù)分解：在schema_link模型的微調(diào)過程中，LR-SQL將數(shù)據(jù)庫分解為多個切片，每個切片具有可調(diào)節(jié)的表數(shù)量。這種方法允許模型根據(jù)GPU內(nèi)存限制靈活地覆蓋不同數(shù)量的表。
LR-SQL的監(jiān)督模板構(gòu)建
將數(shù)據(jù)庫中的表分解成多個片段，每個片段包含一定數(shù)量的表和其列的描述。
3.思維鏈：為了增強模型在推理過程中感知各個離散切片之間關(guān)系的能力，LR-SQL訓(xùn)練了模型的鏈?zhǔn)剿季S能力。COT能力使模型能夠逐步引導(dǎo)自己生成最終結(jié)果。
LR-SQL訓(xùn)練
4.SQL生成模型：在schema_link模型微調(diào)完成后，預(yù)測的目標(biāo)表和問題被發(fā)送到SQL生成模型以生成最終的SQL查詢。該模型僅使用包含目標(biāo)表的少量表進(jìn)行微調(diào)，從而顯著減少了所需的內(nèi)存。
在推理階段，與訓(xùn)練相比，模型處理長文本所需的內(nèi)存需求大幅減少。
實驗
schema_link模型評估：LR-SQL方法在兩個數(shù)據(jù)集上的總準(zhǔn)確率分別為91.38和94.38，過濾準(zhǔn)確率分別為94.26和97.19，平均精度分別為95.50和96.91，平均召回率分別為95.76和97.85。與現(xiàn)有方法相比，LR-SQL在保持較高準(zhǔn)確率的同時，顯著減少了GPU內(nèi)存使用。
切片大小對性能的影響：實驗還探討了不同切片大小對模型性能和GPU內(nèi)存使用的影響。結(jié)果表明，當(dāng)切片大小適中時，模型的性能最佳。
參考文獻(xiàn)
- LR-SQL: A Supervised Fine-Tuning Method for Text2SQL Tasks under Low-Resource Scenarios，https://arxiv.org/pdf/2410.11457
本文轉(zhuǎn)載自公眾號大模型自然語言處理 作者：余俊暉
