2025-11-20T20:49:21.880729

LitE-SQL: A Lightweight and Efficient Text-to-SQL Framework with Vector-based Schema Linking and Execution-Guided Self-Correction

Piao, Lee, Park

The Text-to-SQL task translates natural language questions into SQL queries, enabling intuitive database interaction for non-experts. While recent methods leveraging Large Language Models (LLMs) achieve strong performance, their reliance on proprietary models raise concerns about deployment feasibility and data privacy. In this work, we introduce LitE-SQL, a Lightweight and Efficient framework with two components: (i) a Schema Retriever that performs efficient schema linking using a vector database of pre-computed schema embeddings, and (ii) a SQL Generator fine-tuned in two stages-supervised fine-tuning followed by execution-guided reinforcement-enabling self-correction without costly multi-candidate generation. On BIRD, LitE-SQL achieves 72.10% execution accuracy, and on Spider 1.0 it reaches 88.45%, demonstrating comparable or superior performance to LLM-based methods despite using 2x to 30x fewer parameters. Our findings demonstrate that high-quality Text-to-SQL generation is feasible with lightweight models, offering a practical solution for privacy-sensitive and resource-constrained settings.

academic

LitE-SQL: ベクトルベースのスキーマリンキングと実行ガイド付き自己修正を備えた軽量で効率的なテキスト・ツー・SQL フレームワーク

基本情報

論文ID: 2510.09014
タイトル: LitE-SQL: A Lightweight and Efficient Text-to-SQL Framework with Vector-based Schema Linking and Execution-Guided Self-Correction
著者: Shengmin Piao, Jieun Lee, Sanghyun Park (延世大学)
分類: cs.CL (計算言語学)
発表時期: 2024年10月
論文リンク: https://arxiv.org/abs/2510.09014

要約

テキスト・ツー・SQL タスクは自然言語の質問をSQL クエリに変換し、非専門家ユーザーに直感的なデータベース操作方法を提供します。大規模言語モデル(LLM)ベースの手法は優れた性能を示していますが、専有モデルへの依存は展開可能性とデータプライバシーに関する懸念を引き起こしています。本論文ではLitE-SQL を提案します。これは2つのコアコンポーネントを含む軽量で効率的なフレームワークです:(i) スキーマ検索器は、事前計算されたスキーマ埋め込みを使用したベクトルデータベースで効率的なスキーマリンキングを実行します;(ii) SQL生成器は、高価な複数候補生成を必要としない2段階微調整(教師あり微調整+実行ガイド付き強化学習)を通じて自己修正を実現します。BIRDデータセットでLitE-SQLは72.10%の実行精度を達成し、Spider 1.0では88.45%を達成しており、パラメータ数がLLM手法の1/2から1/30であるにもかかわらず、同等またはそれ以上の性能を発揮します。

研究背景と動機

問題定義

テキスト・ツー・SQLタスクは自然言語の質問を対応するSQLクエリに変換することを目的としており、非専門家ユーザーが構造化データベースにアクセスする敷居を低くします。このタスクは実際の応用において重要な価値を持ちますが、ドメイン間の汎化と複雑なクエリ生成の課題に直面しています。

既存手法の限界

LLM依存性の問題: 現在の主流手法はGPT-4、Geminiなどの専有大規模モデルに依存しており、データプライバシー漏洩のリスク、高い展開コストが存在します
計算リソース消費: 完全なスキーマ情報の入力によるコンテキスト長の急増、自己注意メカニズムの二次複雑性による膨大なメモリ消費
複数候補生成のオーバーヘッド: 既存手法は複数の候補クエリを生成して最適解を選択することで、計算コストが大幅に増加します

研究動機

上記の問題に対処するため、本論文は軽量で効率的なテキスト・ツー・SQLフレームワークを開発することを目指しており、競争力のある性能を維持しながら、パラメータ数と計算コストを大幅に削減し、プライバシーに敏感で資源が限定されたシナリオに適用可能にします。

コア貢献

LitE-SQLフレームワークの提案: ベクトルデータベースで駆動される完全なスキーマリンキング手法と軽量なSQL生成器を組み合わせた最初のフレームワーク
革新的なHN-SupCon損失関数: ハード負サンプルフィルタリングを通じた教師あり対比学習により埋め込み空間を最適化
2段階訓練戦略: 教師あり微調整+実行ガイド付き強化学習による効率的な自己修正
顕著な効率向上: BIRDおよびSpider 1.0データセットで競争力のある性能を達成し、パラメータ数は既存手法の1/2から1/30

手法の詳細

タスク定義

自然言語の質問Q とデータベーススキーマS が与えられた場合、テキスト・ツー・SQLタスクは、ターゲットデータベース上での実行結果が金標準クエリと一致するSQLクエリを生成することを要求します。

モデルアーキテクチャ

1. スキーマ検索器(Schema Retriever)

コア設計:

各列を列名、説明、テーブル名、値説明を含む密集埋め込みとしてエンコード
スキーマ埋め込みを事前計算してベクトルデータベースに保存
推論時は質問のみをエンコードし、コサイン類似度を通じてトップk関連列を検索

HN-SupCon損失関数:

L_HN-SupCon = -1/B ∑(i=1 to B) log(e^(s(qi,pi)/τ) / Zi)

Zi = e^(s(qi,pi)/τ) + ∑(j=1 to Ni) mij * e^(s(qi,nij)/τ)

mij = {1 if qi⊙nij ≥ qi⊙pi - 0.1, 0 otherwise}

ここでs(·,·)はコサイン類似度を表し、τは温度パラメータ、mijはマスク関数であり、単純な負サンプルをフィルタリングし、意味的に類似しているが機能的に無関係なハード負サンプルに焦点を当てるために使用されます。

2. SQL生成器(SQL Generator)

2段階訓練戦略:

段階1: 教師あり微調整(SFT)

L_SFT(θ) = -log P(SQL | Q, S; θ)

自然言語の質問とスキーマ情報からSQLクエリへの条件付きマッピングを学習
ランダムサンプリング無関列情報によるデータ拡張を通じて訓練と推論の一貫性を確保

段階2: 強化微調整(RFT) 直接選好最適化(DPO)を使用:

L_RFT(πθ;π0) = L_DPO(y^w_i, y^l_i|xi) + αL_NLL(y^w_i|xi)

実行結果に基づいて選好ペアを構築: 成功実行クエリが失敗クエリより優先
エラーメッセージを組み合わせた自己修正訓練

技術的革新点

ベクトルデータベース駆動のスキーマリンキング: 既存手法がスキーマを毎回再エンコードするのに対し、本手法は質問のみをエンコードするため、効率が大幅に向上
ハード負サンプルフィルタリング機構: HN-SupCon損失は意味的に類似しているが機能的に無関係な列を区別することに焦点を当て、検索品質を向上
実行ガイド付き自己修正: SQL実行フィードバックを活用した強化学習により、複数候補生成の計算オーバーヘッドを回避

実験設定

データセット

BIRD: 95個の大規模データベース、37個の専門分野、9,376訓練サンプル、1,534検証サンプル
Spider 1.0: 200個のデータベース、138個の分野、8,659訓練サンプル、1,034検証サンプル、2,147テストサンプル

評価指標

実行精度(EX): 予測SQLと金標準SQLの実行結果の一貫性
真陽性率(TPR): 検索された関連列が金標準関連列に占める比率
偽陽性率(FPR): 検索された無関列が総検索列に占める比率
スキーマリンキング再現率(SLR): すべての関連列を完全に検索したクエリの比率

比較手法

文脈内学習手法: ChatGPT+CoT、DIN-SQL、DAIL-SQL、CHESS、CHASE-SQLなど
微調整手法: CodeS、OmniSQL、DTS-SQL、Reasoning-SQLなど

実装詳細

埋め込みモデル: Qwen3-0.6B-Embedding
SQL生成器: Qwen2.5-Coder (1.5B、3B、7B)
ベクトルデータベース: ChromaDB
訓練設定: 4個のA100 GPU、AdamWオプティマイザー、LoRA適応

実験結果

主要結果

手法カテゴリ	モデル	パラメータ数	BIRD(Dev) EX	Spider 1.0(Test) EX
文脈内学習
CHASE-SQL	Gemini 1.5	200B	73.01	87.60
MCS-SQL	GPT-4	175B	63.36	89.60
微調整手法
Reasoning-SQL	Qwen2.5-Coder-14B	14B	72.29	81.43
LitE-SQL	Qwen2.5-Coder-7B	7B	72.10	88.45

主要な発見

パラメータ効率: 7Bモデルが大部分の175B-200Bパラメータを持つLLM手法を上回る
ドメイン間汎化: BIRDでMCS-SQLを8.74%上回り、Spiderではわずか1.15%の遅れ
一貫した性能: 同規模の微調整手法と比較して、平均10.87%(BIRD)および7.21%(Spider)の向上

アブレーション実験

コンポーネント構成	BIRD EX	Spider EX	向上幅
ベースライン(検索器+生成器なし)	39.31	61.61	-
+スキーマ検索器	43.16	64.28	+3.85/+2.67
+SFT	58.21	83.56	+18.90/+21.95
+RFT	60.56	84.35	+21.25/+22.74