2025-11-10T03:03:44.502546

BenchPress: A Human-in-the-Loop Annotation System for Rapid Text-to-SQL Benchmark Curation

Wenz, Bouattour, Yang et al.
Large language models (LLMs) have been successfully applied to many tasks, including text-to-SQL generation. However, much of this work has focused on publicly available datasets, such as Fiben, Spider, and Bird. Our earlier work showed that LLMs are much less effective in querying large private enterprise data warehouses and released Beaver, the first private enterprise text-to-SQL benchmark. To create Beaver, we leveraged SQL logs, which are often readily available. However, manually annotating these logs to identify which natural language questions they answer is a daunting task. Asking database administrators, who are highly trained experts, to take on additional work to construct and validate corresponding natural language utterances is not only challenging but also quite costly. To address this challenge, we introduce BenchPress, a human-in-the-loop system designed to accelerate the creation of domain-specific text-to-SQL benchmarks. Given a SQL query, BenchPress uses retrieval-augmented generation (RAG) and LLMs to propose multiple natural language descriptions. Human experts then select, rank, or edit these drafts to ensure accuracy and domain alignment. We evaluated BenchPress on annotated enterprise SQL logs, demonstrating that LLM-assisted annotation drastically reduces the time and effort required to create high-quality benchmarks. Our results show that combining human verification with LLM-generated suggestions enhances annotation accuracy, benchmark reliability, and model evaluation robustness. By streamlining the creation of custom benchmarks, BenchPress offers researchers and practitioners a mechanism for assessing text-to-SQL models on a given domain-specific workload. BenchPress is freely available via our public GitHub repository at https://github.com/fabian-wenz/enterprise-txt2sql and is also accessible on our website at http://dsg-mcgraw.csail.mit.edu:5000.
academic

BenchPress: Un Sistema di Annotazione Human-in-the-Loop per la Cura Rapida di Benchmark Text-to-SQL

Informazioni Fondamentali

  • ID Articolo: 2510.13853
  • Titolo: BenchPress: A Human-in-the-Loop Annotation System for Rapid Text-to-SQL Benchmark Curation
  • Autori: Fabian Wenz (TU Munich & MIT), Omar Bouattour (TU Munich & MIT), Devin Yang (MIT), Justin Choi (MIT), Cecil Gregg (MIT), Nesime Tatbul (Intel Labs & MIT), Çağatay Demiralp (AWS AI Labs & MIT)
  • Classificazione: cs.CL, cs.AI, cs.DB, cs.HC
  • Conferenza di Pubblicazione: CIDR 2026 (16ª Conferenza Annuale su Innovative Data Systems Research)
  • Link Articolo: https://arxiv.org/abs/2510.13853

Riassunto

I modelli linguistici di grandi dimensioni (LLM) hanno trovato applicazione con successo in numerosi compiti, inclusa la generazione di query da testo a SQL. Tuttavia, la maggior parte dei lavori si concentra su dataset pubblici (come Fiben, Spider e Bird). Ricerche precedenti degli autori hanno dimostrato che gli LLM mostrano un calo significativo di prestazioni quando interrogano grandi data warehouse aziendali privati, portando alla pubblicazione del primo benchmark text-to-SQL aziendale privato, Beaver. Per affrontare le sfide dell'annotazione manuale dei log SQL, questo articolo propone BenchPress—un sistema di collaborazione uomo-macchina progettato per accelerare la creazione di benchmark text-to-SQL specifici del dominio. Il sistema utilizza la generazione aumentata da recupero (RAG) e gli LLM per generare molteplici descrizioni in linguaggio naturale per query SQL, che gli esperti umani successivamente selezionano, ordinano o modificano per garantire accuratezza e allineamento con il dominio. Gli esperimenti dimostrano che BenchPress riduce significativamente il tempo e lo sforzo necessari per creare benchmark di alta qualità.

Contesto di Ricerca e Motivazione

Problemi Fondamentali

  1. Divario tra benchmark pubblici e realtà aziendale: Sebbene gli LLM mostrino prestazioni eccellenti su dataset pubblici come Spider, Bird e Fiben, l'accuratezza di esecuzione su data warehouse aziendali cala drasticamente (come mostrato in Figura 1, da oltre il 90% a quasi lo 0%)
  2. Difficoltà nell'annotazione dei log SQL aziendali: La creazione manuale di domande in linguaggio naturale corrispondenti a query SQL è sia dispendiosa in termini di tempo che costosa, richiedendo il coinvolgimento di amministratori di database altamente qualificati
  3. Sfide specifiche del dominio: I dati aziendali presentano schemi complessi, terminologia specifica del dominio, vincoli di privacy e altre caratteristiche particolari

Importanza

  • Le aziende necessitano di valutare le prestazioni dei modelli text-to-SQL sui dati privati prima della distribuzione
  • Evitare fallimenti di distribuzione causati da disallineamento con il dominio
  • Supportare l'adattamento del modello al dominio e l'ottimizzazione delle strategie di fine-tuning

Limitazioni degli Approcci Esistenti

  • I benchmark pubblici mancano della complessità specifica delle aziende (ambiguità dello schema, terminologia di dominio, ecc.)
  • L'annotazione completamente manuale è costosa e inefficiente
  • Gli LLM generici mancano di contesto di dominio e supporto strutturato

Contributi Principali

  1. Proposta del sistema BenchPress: Primo sistema di annotazione collaborativo uomo-macchina specificamente progettato per la creazione rapida di benchmark text-to-SQL specifici del dominio
  2. Design innovativo del flusso di lavoro: Architettura modulare che combina generazione aumentata da recupero (RAG), decomposizione di query e feedback umano
  3. Ricerca utente completa: Esperimenti comparativi che dimostrano i vantaggi di BenchPress in termini di accuratezza dell'annotazione, efficienza e fedeltà semantica
  4. Strumento open-source: Sistema direttamente utilizzabile che supporta molteplici benchmark pubblici e dati aziendali

Dettagli Metodologici

Definizione del Compito

Input: Query SQL + schema del database + campioni di annotazione storici opzionali Output: Descrizione corrispondente in linguaggio naturale Vincoli: Mantenere accuratezza semantica, coerenza della terminologia di dominio, protezione della privacy

Architettura del Sistema

Fase di Configurazione Iniziale

  1. Configurazione del progetto: Selezione o creazione di un progetto di annotazione per carichi di lavoro aziendali specifici
  2. Acquisizione dati: Caricamento di log SQL e file di schema, o selezione di benchmark pubblici supportati
  3. Configurazione del compito: Scelta della direzione di annotazione (attualmente supporta SQL-to-NL) e modello linguistico

Ciclo di Annotazione Iterativo

  1. Decomposizione della query (opzionale): Riscrittura di query SQL annidate come serie di espressioni di tabella comuni (CTE)
  2. Recupero del contesto: Utilizzo di embedding vettoriali densi come Sentence-BERT per recuperare campioni semanticamente simili e schemi di tabelle rilevanti
  3. Generazione di candidati: Generazione da parte dell'LLM di 4 descrizioni candidate in linguaggio naturale basate sul contesto recuperato
  4. Ricomposizione (opzionale): Fusione di descrizioni a livello di sottoquery in una spiegazione completa della query
  5. Feedback umano: Gli annotatori ordinano, ottimizzano o scartano gli output dell'LLM
  6. Revisione ed esportazione: Valutazione della qualità dell'output ed esportazione nel formato benchmark

Punti di Innovazione Tecnica

Generazione Aumentata da Recupero (RAG)

  • Utilizzo della ricerca vettoriale densa per recuperare query SQL semanticamente simili e relative annotazioni
  • Incorporamento di campioni nel prompt per fornire modelli di espressione realistici e guida all'uso dello schema
  • Equilibrio tra informatività ed efficienza del prompt, selezione dei top-k campioni recuperati

Strategia di Decomposizione della Query

  • Decomposizione di query annidate strutturalmente complesse
  • Generazione indipendente di descrizioni in linguaggio naturale per sottoquery seguita da riassemblaggio
  • Riduzione del carico cognitivo e miglioramento della precisione dell'annotazione

Design della Collaborazione Uomo-Macchina

  • Processo di revisione iterativo strutturato che garantisce standard di qualità aziendale
  • Supporto per l'ottimizzazione del prompt e cicli di miglioramento guidati dal feedback
  • Design dell'IA responsabile seguendo i principi Google PAIR

Configurazione Sperimentale

Dataset

  • Beaver: Primo benchmark text-to-SQL aziendale privato, basato su log SQL di MIT e altre istituzioni, contenente oltre 300 schemi e quasi 4000 query
  • Bird: Benchmark di database pubblico su larga scala
  • Totale di 30 query SQL per la ricerca utente, provenienti dai dataset Beaver e Bird (anonimizzati)

Metriche di Valutazione

  1. Accuratezza dell'annotazione: Verifica manuale della fedeltà delle descrizioni NL alle query SQL
  2. Latenza dell'annotazione: Tempo totale di annotazione per ogni partecipante
  3. Fedeltà semantica: Valutazione attraverso compiti di back-translation, utilizzando una scala di valutazione a 5 livelli

Metodi di Confronto

  • Gruppo BenchPress: Utilizzo dell'interfaccia BenchPress completa
  • Gruppo manuale: Solo file di schema e log forniti, senza supporto LLM
  • Gruppo LLM generico: Utilizzo dell'interfaccia ChatGPT standard, senza supporto RAG

Dettagli di Implementazione

  • 18 partecipanti, stratificati in due livelli in base alle competenze SQL (avanzato e non avanzato)
  • Design a quadrato latino bilanciato per garantire il controbilanciamento
  • Ogni partecipante annota le stesse 30 query SQL

Risultati Sperimentali

Risultati Principali

Accuratezza dell'Annotazione

MetodoBeaverBirdTotale
BenchPress86,1%100,0%93,0%
LLM Generico66,2%100,0%83,1%
Manuale60,1%87,8%73,9%

Latenza dell'Annotazione

MetodoBeaverBirdTotale
BenchPress16,1 min12,0 min28,1 min
LLM Generico16,2 min15,8 min32,0 min
Manuale102,1 min82,8 min183,9 min

Fedeltà della Back-Translation

BenchPress ha prodotto la più alta proporzione di output completamente corretti (livello 5) nella valutazione della chiarezza a 5 livelli, dimostrando una chiarezza semantica superiore.

Risultati Sperimentali

  1. Efficacia dello strumento: BenchPress supera i metodi di confronto su tutte le metriche
  2. Impatto della complessità del dataset: Su dataset aziendali complessi (Beaver), le differenze di prestazione tra gli strumenti sono più evidenti
  3. Adattabilità al dominio: BenchPress eccelle nel gestire la terminologia specifica dell'azienda e gli schemi complessi

Lavori Correlati

Benchmark Text-to-SQL

  • Benchmark pubblici: Spider, Bird, Fiben e altri hanno promosso il progresso nel compito generico text-to-SQL
  • Benchmark aziendali: Beaver introduce per la prima volta la complessità a livello aziendale, esponendo le difficoltà degli LLM con schemi eterogenei

Applicazioni LLM per la Generazione SQL

  • Codex, GPT-4, DeepSeek e altri mostrano prestazioni forti su dataset pubblici
  • Tuttavia, le prestazioni calano significativamente in ambienti specifici del dominio o aziendali

Sistemi e Strumenti di Annotazione

  • I sistemi esistenti sono principalmente orientati a dati pubblici o sintetici
  • BenchPress supporta specificamente flussi di lavoro collaborativi uomo-macchina per log SQL aziendali privati

Conclusioni e Discussione

Conclusioni Principali

  1. BenchPress migliora significativamente l'efficienza e la qualità della creazione di benchmark text-to-SQL specifici del dominio
  2. L'approccio collaborativo uomo-macchina supera i metodi completamente automatizzati o completamente manuali nel gestire la complessità dei dati aziendali
  3. I benchmark pubblici non riflettono adeguatamente la complessità strutturale e linguistica dei log SQL aziendali

Limitazioni

  1. Il sistema attuale si concentra principalmente sull'annotazione SQL-to-text
  2. Richiede il coinvolgimento di esperti di dominio, con ancora alcuni costi di manodopera
  3. Per query annidate estremamente complesse, la strategia di decomposizione potrebbe non essere sufficientemente sofisticata

Direzioni Future

  1. Annotazione bidirezionale: Integrazione della generazione text-to-SQL per supportare la validazione iterativa
  2. Valutazione della robustezza: Riformulazione sistematica delle query in linguaggio naturale nei benchmark esistenti
  3. Automazione migliorata: Ulteriore riduzione della necessità di intervento umano

Valutazione Approfondita

Punti di Forza

  1. Alto valore pratico: Risolve i problemi reali della distribuzione di modelli text-to-SQL nelle aziende
  2. Forte innovazione metodologica: Combinazione intelligente di RAG, decomposizione di query e collaborazione uomo-macchina
  3. Progettazione sperimentale rigorosa: Esperimenti di controllo ben progettati, valutazione multidimensionale
  4. Contributo open-source: Fornisce uno strumento direttamente utilizzabile e risorse

Insufficienze

  1. Scala limitata della ricerca utente: Campione di 18 partecipanti relativamente piccolo
  2. Generalizzabilità del dominio: Validazione principalmente nei settori dell'istruzione e della tecnologia, applicabilità in altri settori da verificare
  3. Analisi dei costi insufficiente: Mancanza di analisi dettagliata del rapporto costi-benefici

Impatto

  1. Contributo accademico: Fornisce una nuova metodologia per la valutazione dell'IA aziendale
  2. Valore pratico: Risolve direttamente le esigenze reali dell'industria
  3. Riproducibilità: Codice open-source e documentazione dettagliata supportano la riproduzione e l'estensione

Scenari di Applicazione

  • Aziende che necessitano di valutare le prestazioni dei modelli text-to-SQL su dati privati
  • Istituzioni di ricerca che costruiscono benchmark text-to-SQL specifici del dominio
  • Team di dati che ottimizzano la distribuzione e le strategie di fine-tuning dei modelli

Riferimenti Bibliografici

Questo articolo cita 21 riferimenti correlati, coprendo benchmark text-to-SQL, applicazioni LLM, sistemi di annotazione e sfide dei dati aziendali, fornendo una base teorica solida per la ricerca.

Sintesi: BenchPress è un sistema di notevole valore pratico che, attraverso un design innovativo della collaborazione uomo-macchina, risolve efficacemente i problemi di efficienza e qualità nella creazione di benchmark text-to-SQL a livello aziendale. Questo lavoro non solo presenta innovazioni tecniche, ma fornisce soprattutto uno strumento pratico per la distribuzione sicura dell'IA nelle aziende, con forte valore sia accademico che commerciale.