2025-11-17T07:49:13.607812

Rethinking Agentic Workflows: Evaluating Inference-Based Test-Time Scaling Strategies in Text2SQL Tasks

Guo, Patel, Ono et al.
Large language models (LLMs) are increasingly powering Text-to-SQL (Text2SQL) systems, enabling non-expert users to query industrial databases using natural language. While test-time scaling strategies have shown promise in LLM-based solutions, their effectiveness in real-world applications, especially with the latest reasoning models, remains uncertain. In this work, we benchmark six lightweight, industry-oriented test-time scaling strategies and four LLMs, including two reasoning models, evaluating their performance on the BIRD Mini-Dev benchmark. Beyond standard accuracy metrics, we also report inference latency and token consumption, providing insights relevant for practical system deployment. Our findings reveal that Divide-and-Conquer prompting and few-shot demonstrations consistently enhance performance for both general-purpose and reasoning-focused LLMs. However, introducing additional workflow steps yields mixed results, and base model selection plays a critical role. This work sheds light on the practical trade-offs between accuracy, efficiency, and complexity when deploying Text2SQL systems.
academic

エージェント型ワークフローの再検討：Text2SQLタスクにおける推論ベースのテスト時スケーリング戦略の評価

基本情報

  • 論文ID: 2510.10885
  • タイトル: Rethinking Agentic Workflows: Evaluating Inference-Based Test-Time Scaling Strategies in Text2SQL Tasks
  • 著者: Jiajing Guo, Kenil Patel, Jorge Piazentin Ono, Wenbin He, Liu Ren (Bosch Research North America, USA)
  • 分類: cs.CL（計算言語学）、cs.DB（データベース）
  • 発表会議: Workshop on Test-time Scaling and Reasoning Models at COLM 2025
  • 論文リンク: https://arxiv.org/abs/2510.10885

概要

大規模言語モデル（LLMs）は、Text-to-SQLシステムの支援にますます活用されており、非専門家ユーザーが自然言語を使用して産業用データベースをクエリできるようになっています。テスト時スケーリング戦略はLLMベースのソリューションで有望性を示していますが、実際のアプリケーションにおける有効性、特に最新の推論モデルでの性能は依然として不確実です。本研究は、6つの軽量で産業指向のテスト時スケーリング戦略と4つのLLM（推論モデル2つを含む）をベンチマークし、BIRD Mini-Devベンチマークでの性能を評価しています。標準的な精度指標に加えて、推論遅延とトークン消費も報告され、実際のシステム展開に関連する洞察を提供しています。研究により、分割統治プロンプティングと少数ショット演示が、汎用LLMと推論指向LLMの両方の性能を継続的に向上させることが判明しました。しかし、追加のワークフローステップの導入は混合結果をもたらし、基盤モデルの選択が重要な役割を果たしています。

研究背景と動機

問題定義

本研究が解決しようとしている中核的な問題は、Text2SQLタスクにおいて、テスト時スケーリング戦略（test-time scaling strategies）がさまざまなタイプのLLMにどのように影響するか、特に実際の産業応用シナリオでの性能トレードオフに関するものです。

研究の重要性

  1. 実用的価値: Text2SQLシステムは、非技術ユーザーが自然言語を通じてエンタープライズデータベースにアクセスできるようにし、重要なビジネス価値を持ちます
  2. 技術的課題: OpenAI o-seriesやGemini 2.5などの推論モデルの出現に伴い、従来のワークフローエンジニアリング手法の必要性を再評価する必要があります
  3. 産業ニーズ: 実際の展開には、精度、遅延、複雑性のバランスを考慮する必要があります

既存手法の限界

  1. 既存研究は複雑なエージェントワークフローに焦点を当てることが多いですが、産業応用では過度に複雑である可能性があります
  2. 推論モデルのText2SQLタスクでの体系的評価が不足しています
  3. 精度とシステム性能指標（遅延、トークン消費など）の両方を同時に考慮する研究はほとんどありません

研究の動機

著者は3つの重要な質問を提起しています：

  • 推論モデルの進歩を考慮すると、大量のプロンプティングとワークフローエンジニアリングは依然として価値があるのか？
  • どのテスト時スケーリング戦略が精度と遅延を最もよくバランスさせることができるか？
  • 産業応用のためにワークフローをどのように最適化するか？

中核的貢献

  1. 体系的ベンチマーク: 6つの軽量で産業指向のエージェントワークフローを包括的に評価し、4つのLLM（汎用モデルと推論モデルを含む）をカバーしています
  2. 多次元評価: 精度指標に加えて、推論遅延とトークン消費の詳細な分析を提供しています
  3. 実用的洞察: 分割統治（Divide-and-Conquer）指示と少数ショット演示がすべてのモデルで顕著な改善をもたらすことを発見しました
  4. 産業展開ガイダンス: Text2SQLシステムの実際の展開に関して、精度、効率、複雑性のトレードオフに関するアクション可能なガイダンスを提供しています

方法論の詳細

タスク定義

Text2SQLタスクは、自然言語の質問を実行可能なSQLクエリに変換することを目的としています。入力は自然言語の質問とデータベーススキーマであり、出力は対応するSQLクエリです。

6つのエージェントワークフロー

1. CoT + ReAct（ベースライン）

  • フロー: SW > EX <> SR
  • 説明: ReActエージェントの「思考-行動-観察」ループを採用し、実行エラーまたは空のデータが発生した場合、クエリを反復的に最適化します

2. 分割統治（少数ショット有/無）

  • フロー: SW > EX <> SR
  • 革新点: 複雑な問題を一連の小さなサブ問題に分解し、順序立てて解決し、最終的な応答を組み合わせます
  • バリエーション: 少数ショット演示の有無での効果をそれぞれ評価します

3. 並列スケーリング

  • フロー: (SW > EX <> SR) ∥ 5 > MV / CS
  • メカニズム: 複数の候補回答を生成し、多数決によって最終回答を選択します。多数派がない場合は、候補選択エージェントを使用します

4. 結果検証

  • フロー: SW > EX <> SR <> FP
  • 目標: 構文的には正しいが意味的に誤ったSQLクエリを処理し、フィードバックプロバイダーが最適化が必要かどうかを判断します

5. 検索ベース構造化推論

  • フロー: KE > (ER ∥ CR) > SW > EX <> SR
  • 参考元: CHESS方法
  • ステップ:
    • キーワード抽出器が質問内のキーワードを識別
    • エンティティ検索器（LSHインデックスベース）と列検索器（意味的類似性ベース）を並列実行
    • 検索情報をSQL作成者に渡す

技術的革新点

  1. 軽量設計: 文献の複雑な手法ではなく、産業対応のワークフローに焦点を当てています
  2. 複数モデル比較: 汎用モデル（GPT-4o、Geminiシリーズ）と推論モデル（o4-mini）を同時に評価します
  3. 包括的評価: 精度、遅延、リソース消費の多次元評価フレームワークを組み合わせています

実験設定

データセット

  • 名称: BIRD Mini-Devベンチマーク
  • 規模: 500個の質問-SQLペア
  • 出典: 元のBIRD Dev集合から派生したサブセット
  • 特徴: 複雑なクロステーブルクエリと実世界のデータベースシナリオを含みます

評価指標

精度指標

  1. Soft F1スコア: 予測クエリと真実クエリが生成するテーブルの類似性を測定することでSQLクエリの正確性を評価します
  2. 実行精度（EX）: 真実の結果と完全に同じSQLクエリを生成するパーセンテージ
  3. 報酬ベース有効効率スコア（R-VES）: モデルが正確で最適化されたSQLクエリを生成する効率を定量化します

システム性能指標

  1. 実行エラー率: ワークフロー内で構文実行エラーが発生したタスクのパーセンテージ
  2. 推論時間: ユーザーの質問受信からSQLクエリ生成までの継続時間（秒）
  3. LLM呼び出し数: ワークフロー内で使用される平均LLM呼び出し回数
  4. トークン数: 単一のSQLクエリを生成するために必要な平均プロンプトおよび完了トークン数（千単位）

比較方法

4つのLLM：

  • Gemini 1.5 Flash（汎用モデル）
  • Gemini 2.5 Flash（汎用モデル）
  • GPT-4o（汎用モデル）
  • o4-mini（推論モデル）

実装の詳細

  • すべてのワークフローに構文修復反復が含まれています
  • 遅延測定は複数の要因（モデル地域、ネットワーク遅延、サーバーリソースなど）の影響を受けます
  • 効率考慮の評価にBIRD Mini-Devを使用しています

実験結果

主要な結果

RQ1: 推論モデル対汎用モデルの性能

  • 重要な発見: DC 3-shot+ReActワークフローはすべてのモデルでSoft-F1スコアを継続的に向上させます
  • GPT-4o: ベースラインの61.1から64.4に向上
  • o4-mini: ベースラインの56.3から65.5に向上
  • 結論: 専門の推論モデルであっても、明示的なプログラム的ガイダンスから利益を得ることができます

RQ2: 最も効果的なスケーリング方法

  1. 最適な組み合わせ: 分割統治+少数ショット演示+ReActはすべてのモデルで一貫した改善を提供します
  2. 検証方法: ほとんどのモデルで信頼性のある性能向上を提供します
    • Gemini 1.5 Flash: 62.58 → 63.63
    • Gemini 2.5 Flash: 68.12 → 68.44
    • GPT-4o: 64.44 → 64.95
  3. 検索強化方法: 全体的にパフォーマンスが低く、ほぼすべてのモデルでDC 3-shot+ReActを下回ります

RQ3: 精度とシステム性能のトレードオフ

  1. 遅延の大きな差異:
    • Gemini Flashモデル: 5.02～12.03秒
    • GPT-4oおよびo4-mini: 15.70～18.43秒
  2. 誤った回答のコスト: 誤った回答の生成時間は正しい回答より19.58%遅い
  3. 複雑性の影響: より困難な質問はより長い時間を要し、より多くのトークンを消費し、精度が低くなる傾向があります

アブレーション実験

エラー分析を通じて以下を発見しました：

  • クエリロジックの誤りはすべての方法とモデルで最も一般的な失敗タイプです
  • 検索強化方法はこの問題を継続的に悪化させます
  • 検索方法はスキーマリンキングエラーの比率も増加させます

ケーススタディ

論文は詳細なエラー分析を実施し、o4-miniモデルを使用して失敗ケースを分類し、検索強化方法が複雑な推論タスクでモデルから重要な情報を奪う可能性があり、性能低下につながることを発見しました。

関連研究

Text2SQLエージェントワークフロー

論文は既存のText2SQLエージェントワークフローを体系的に整理しており、以下を含みます：

  • DIN-SQLの分解コンテキスト学習
  • MAC-SQLのマルチエージェント協調フレームワーク
  • CHESSのコンテキストSQL合成
  • R3のコンセンサスマルチエージェントシステム

テスト時スケーリング戦略

構造化推論ステップ、並列実行、検証、結果集約など複数の戦略をカバーしており、これらの方法はクエリ生成を順序立てたワークフローを通じてモジュール化されたステップに分解します。

結論と考察

主要な結論

  1. 基盤モデルの重要性: 強力な基盤モデルはワークフローの複雑性よりも重要です（Gemini 2.5 Flashのベースライン性能はGPT-4oおよびGemini 1.5 Flashの最も複雑なワークフローを上回ります）
  2. DC+少数ショットの普遍性: 分割統治指示と少数ショット演示はすべてのモデルタイプで顕著な改善をもたらします
  3. 複雑性の限界効用逓減: ワークフロー複雑性の増加は常により良い結果をもたらすわけではありません

限界

  1. 評価範囲の制限: 軽量ワークフローのみに焦点を当てており、より複雑な設計の性能上限を代表していない可能性があります
  2. データセットの単一性: BIRD Mini-Devのみで評価され、より広範な検証が不足しています
  3. 遅延指標の相対性: 報告された遅延とトークン消費は外部要因の影響を受け、絶対値ではなく指示的なものとして見なすべきです

今後の方向性

  1. より複雑なワークフロー設計の検証
  2. より広範なデータセットでの発見の検証
  3. これらの戦略の他のタスクへの適用可能性の探索
  4. ユーザー期待を管理するための製品設計の最適化

深い評価

強み

  1. 実用指向: 産業対応のソリューションに焦点を当て、実際の展開の制約を考慮しています
  2. 多次元評価: 精度だけでなく遅延とリソース消費も考慮し、実際のアプリケーションに対する包括的な視点を提供しています
  3. 体系的比較: 汎用モデルと推論モデルの両方を評価し、価値のある比較洞察を提供しています
  4. 詳細なエラー分析: エラー分類を通じて異なる方法の失敗パターンを深く理解しています

不足

  1. サンプルサイズの制限: BIRD Mini-Devの500サンプルのみを使用しており、結論の一般化可能性に影響する可能性があります
  2. モデルカバレッジの不完全性: 他の主流モデル（Claude、LLaMAシリーズなど）の比較が不足しています
  3. ワークフロー設計の保守性: 軽量方法に焦点を当てることで、より先進的な技術の可能性を見落とす可能性があります
  4. ユーザー研究の欠如: 実際のユーザーの使用体験評価がありません

影響力

  1. 学術的貢献: Text2SQL分野のテスト時スケーリング戦略に対する体系的ベンチマークを提供しています
  2. 産業的価値: Text2SQLシステムの企業展開に対する実用的なガイダンス原則を提供しています
  3. 方法論的啓発: 多次元評価フレームワークは他のNLPタスクの産業化展開に適用できます

適用シナリオ

  1. 企業データベースクエリ: 迅速な展開と精度と効率のバランスが必要な企業環境に適しています
  2. プロトタイプ開発: Text2SQLシステムの迅速なプロトタイプ開発に対して検証済みのワークフローパターンを提供しています
  3. モデル選択ガイダンス: 開発者が具体的なニーズに基づいて適切な基盤モデルとワークフロー戦略を選択するのに役立ちます

参考文献

論文はText2SQL分野の重要な研究を引用しており、以下を含みます：

  • BIRDベンチマークデータセット（Li et al., 2023）
  • DIN-SQL分解方法（Pourreza & Rafiei, 2023）
  • CHESSコンテキスト合成（Talaei et al., 2024）
  • ReAct推論フレームワーク（Yao et al., 2023）
  • Chain-of-Thoughtプロンプティング（Wei et al., 2022）

本研究は、特に精度、効率、複雑性のバランスに関して、Text2SQLシステムの実際の展開に対して貴重な経験的ガイダンスを提供しています。その発見は、Text2SQL技術を研究プロトタイプから産業応用への転換を推進する上で重要な意義を持っています。