HPLT 3.0: Risorse Multilingui su Scala Molto Grande per LLM e MT. Dati Monolingui e Bilingui, Valutazione Multilingue e Modelli Pre-Addestrati

Informazioni Fondamentali

• ID Articolo: 2511.01066
• Titolo: HPLT 3.0: Very Large-Scale Multilingual Resources for LLM and MT. Mono- and Bi-lingual Data, Multilingual Evaluation, and Pre-Trained Models
• Autori: Stephan Oepen e altri ricercatori da molteplici istituzioni accademiche europee
• Classificazione: cs.CL (Linguistica Computazionale)
• Data di Pubblicazione: Novembre 2025
• Link Articolo: https://arxiv.org/abs/2511.01066

Riassunto

Questo articolo presenta il progetto HPLT 3.0, un'iniziativa volta a fornire dataset di testo aperti, su scala ultra-massiccia, di alta qualità e ricchi di annotazioni per quasi 200 lingue. Il dataset contiene 30 trilioni di token, probabilmente il più grande insieme di dati per il pre-addestramento di LLM multilingui pubblicamente disponibile. I dati provengono da diversi web crawler e sono accompagnati da una pipeline di elaborazione completamente open-source, che include selezione di documenti, estrazione di testo, identificazione della lingua, deduplicazione e valutazione della qualità.

Contesto di Ricerca e Motivazione

Definizione del Problema

1. Scarsità di Dati: I dati di pre-addestramento multilingui di alta qualità su larga scala sono generalmente controllati da grandi aziende, con risorse scarse disponibili per la comunità accademica
2. Disuguaglianza Linguistica: I dataset esistenti sono principalmente orientati verso l'inglese, con dati gravemente insufficienti per altre lingue, in particolare quelle a bassa risorsa
3. Controllo della Qualità: I dati estratti dal web hanno qualità disomogenea, richiedendo meccanismi sistematici di pulizia e filtraggio
4. Standard di Valutazione: Mancanza di un framework unificato per la valutazione di modelli multilingui

Importanza della Ricerca

• Democratizzazione dell'IA: Attraverso dataset aperti su larga scala, ridurre le barriere allo sviluppo di LLM
• Equità Multilingue: Fornire più dati di addestramento per lingue a bassa risorsa, promuovendo la diversità linguistica
• Ricerca Accademica: Fornire una base sperimentale riproducibile per la comunità di ricerca

Limitazioni degli Approcci Esistenti

• Dataset come C4 e FineWeb si concentrano principalmente sull'inglese
• Dataset multilingui come MADLAD-400 hanno scale relativamente più piccole
• Mancanza di standard unificati per l'elaborazione e la valutazione dei dati

Contributi Principali

1. Costruzione di un dataset multilingue ultra-massiccia di 30 trilioni di token, coprendo quasi 200 lingue
2. Sviluppo di una pipeline di elaborazione dati completamente open-source, includendo estrazione di testo, identificazione della lingua, deduplicazione e valutazione della qualità
3. Proposizione del framework di valutazione multilingue HPLT-E, coprendo 127 compiti in 9 lingue europee
4. Addestramento di 57 modelli encoder-decoder monolingui e molteplici modelli di riferimento in stile GPT
5. Costruzione di un dataset di testo parallelo su larga scala, includendo dati estratti automaticamente e sintetizzati tramite traduzione automatica
6. Fornitura di un'analisi completa della qualità dei dati, includendo analisi statistiche e verifiche manuali

Dettagli Metodologici

Raccolta e Pipeline di Elaborazione dei Dati

Fonti di Dati Grezzi

• Internet Archive (IA): 3,3 PB di dati crawler dal 2012-2020
• Common Crawl (CC): 57 snapshot completi (2014-2025), circa 7,2 PB di volume totale

Fasi di Elaborazione Principali

1. Estrazione di Testo
   • Utilizzo del framework Trafilatura per l'estrazione di testo HTML
   • Ottimizzazione delle impostazioni di iperparametri, prioritizzando la qualità dell'estrazione sulla velocità
2. Identificazione della Lingua
   • Adozione del modello OpenLID-v2 per la previsione della lingua
   • Supporto per etichette linguistiche nel set di valutazione Flores+
   • Miglioramento della pipeline di pre-elaborazione: normalizzazione degli spazi, conversione a minuscole, rimozione di caratteri non-parola
3. Elaborazione della Deduplicazione
   • Implementazione della deduplicazione globale approssimata basata su MinHash per tutte le lingue eccetto inglese, russo e cinese
   • Deduplicazione per crawler per lingue di grandi dimensioni al fine di migliorare l'efficienza computazionale
4. Valutazione della Qualità e Annotazione
   • Web Docs Scorer (WDS): Integrazione di metodi euristici di filtraggio dei documenti
   • Etichette di Registro: Utilizzo del classificatore di registro web di Turku per aggiungere etichette stilistiche a 104 lingue
   • Livelli WDS: Classificazione dei documenti in sei livelli di qualità {5,6,7,8,9,10}

Confezionamento e Distribuzione dei Dati

• Binning e ordinamento globale dei documenti per ogni lingua secondo il livello WDS
• Utilizzo del formato JSONlines compresso con Zstandard
• Totale di circa 50TB di dati, distribuiti in 3000 file

Configurazione Sperimentale

Framework di Valutazione HPLT-E

Selezione delle Lingue

Selezione di 9 lingue europee: inglese, spagnolo, francese, tedesco, italiano, ceco, finlandese, norvegese, ucraino e altre

Configurazione dell'Addestramento del Modello

• Architettura: Modello decoder basato su architettura Llama
• Scala: 2,15 miliardi di parametri, 24 strati, 32 teste di attenzione
• Dati di Addestramento: 100 miliardi di token per lingua
• Lunghezza della Sequenza: 2048
• Piattaforma di Addestramento: Supercomputer LUMI, 16 nodi GPU AMD MI250x

Compiti di Valutazione

Comprende 127 compiti di comprensione e generazione del linguaggio, coprendo:

• Implicazione testuale
• Ragionamento di senso comune
• Conoscenza linguistica specifica e mondiale
• Parafrasi
• Comprensione della lettura
• Analisi del sentimento
• Rilevamento della tossicità
• Valutazione della veridicità

Modelli Encoder-Decoder

Configurazione del Modello

• Architettura: T5-base (circa 275 milioni di parametri)
• Copertura Linguistica: 57 lingue
• Famiglie Linguistiche: Coprendo 14 famiglie linguistiche

Compiti di Valutazione

1. Riconoscimento di Entità Nominate: Benchmark WikiAnn
2. Capacità Linguistica: Benchmark MultiBLiMP

Risultati Sperimentali

Analisi Comparativa del Dataset

Risultati di Valutazione di LLM Multilingui

Confronto delle Prestazioni del Dataset

Secondo la valutazione del framework HPLT-E, l'ordinamento delle prestazioni del modello è:

1. MADLAD-400: Punteggio multilingue più alto
2. HPLT 3.0: Secondo posto, significativamente superiore alla versione precedente
3. HPLT 2.0 e FineWeb: Prestazioni comparabili

Esperimento di Livello di Qualità WDS

• Dati di bassa qualità (livelli WDS inferiori): Riduzione evidente delle prestazioni del modello
• Dati di alta qualità (livelli WDS superiori): Prestazioni comparabili al campionamento casuale, possibilmente dovute a diversità insufficiente
• Campionamento casuale: Prestazioni migliori su spagnolo e francese

Risultati dei Modelli Encoder-Decoder

Riconoscimento di Entità Nominate (Punteggio F1 WikiAnn)

Capacità Linguistica (Accuratezza MultiBLIMP)

Prestazioni Medie: Il modello HPLT T5 raggiunge il 93,5% su MultiBLIMP, significativamente superiore al 86,8% di mT5-base

Analisi della Qualità dei Dati

Risultati della Verifica Manuale (24 lingue)

• Contenuto Pornografico: Inferiore al 2% per la maggior parte delle lingue
• Errori di Identificazione della Lingua: Complessivamente bassi, ma il dataset bosniaco è principalmente serbo, l'asturiano contiene frequentemente spagnolo
• Testo Non Naturale: Variazione significativa tra lingue, parte riflettente la soggettività degli standard di annotazione
• Difetti Testuali: Includendo elementi di navigazione, testo troncato, ecc., con proporzioni variabili per lingua

Miglioramenti delle Caratteristiche Statistiche

• Proporzione di Paragrafi Unici: HPLT 3.0 al 73% vs HPLT 2.0 al 52%, riflettendo l'effetto della deduplicazione globale
• Diversità dei Nomi di Dominio: Riduzione della sovrarappresentazione delle pagine Wikipedia rispetto a HPLT 2.0
• Distribuzione TLD Geografica: Altamente correlata alle regioni di utilizzo della lingua

Lavori Correlati

Dataset di Pre-Addestramento su Larga Scala

• C4: Dataset principalmente in inglese di Google e Allen AI
• FineWeb: Dati web di alta qualità di Hugging Face
• MADLAD-400: Dataset di 400 lingue di Google
• Nemotron-CC: Dati Common Crawl raffinati di Nvidia

Valutazione di Modelli Multilingui

• Benchmark Esistenti: La maggior parte orientati verso l'inglese o poche lingue ad alta risorsa
• Sfide di Valutazione: Sensibilità ai prompt, coerenza cross-linguistica, pregiudizi culturali, ecc.

Tecniche di Elaborazione dei Dati

• Estrazione di Testo: Sviluppo di strumenti come Trafilatura
• Identificazione della Lingua: Dai metodi tradizionali ai modelli di deep learning
• Tecniche di Deduplicazione: Dai metodi di corrispondenza esatta ai metodi di corrispondenza approssimata

Conclusioni e Discussione

Conclusioni Principali

1. Avanzamento nella Scala: HPLT 3.0 con 30 trilioni di token è il più grande dataset di pre-addestramento multilingue pubblicamente disponibile
2. Miglioramento della Qualità: La pipeline di elaborazione migliorata ha significativamente aumentato la qualità dei dati, evidente nelle prestazioni del modello
3. Innovazione nella Valutazione: Il framework HPLT-E fornisce un nuovo standard per la valutazione di modelli multilingui
4. Contributo del Modello: 57 modelli encoder-decoder monolingui forniscono strumenti pratici alla comunità

Limitazioni

1. Valutazione della Qualità: Nonostante le verifiche manuali, la valutazione della qualità dei dati su larga scala rimane una sfida
2. Copertura Linguistica: Sebbene supporti quasi 200 lingue, la distribuzione delle risorse rimane squilibrata
3. Ambito di Valutazione: Il framework HPLT-E attualmente copre solo 9 lingue europee
4. Risorse Computazionali: L'addestramento su larga scala richiede risorse computazionali significative, limitando la riproducibilità

Direzioni Future

1. Espansione dei Dati: Pianificazione del rilascio di una versione estesa con dati ArchiveBot all'inizio del 2026
2. Espansione della Valutazione: Estensione del framework HPLT-E a più lingue e compiti
3. Miglioramento della Qualità: Continua ottimizzazione della pipeline di elaborazione e dei meccanismi di controllo della qualità
4. Ricerca Applicativa: Esplorazione degli effetti dei dati sintetici nelle lingue a bassa risorsa

Valutazione Approfondita

Punti di Forza

1. Scala Senza Precedenti: 30 trilioni di token rappresentano il primo della categoria tra i dataset pubblici
2. Trasparenza Aperta: Pipeline completamente open-source e documentazione tecnica dettagliata
3. Sistematicità: Ecosistema completo dalla raccolta dei dati all'addestramento dei modelli
4. Controllo della Qualità: Meccanismi multi-livello di valutazione della qualità e verifica manuale
5. Valore Pratico: Fornitura di modelli pre-addestrati direttamente utilizzabili

Insufficienze

1. Soglia Computazionale: Sebbene i dati siano aperti, l'addestramento di modelli di grandi dimensioni richiede ancora risorse computazionali significative
2. Qualità Non Uniforme: Variazioni significative nella qualità e quantità dei dati tra diverse lingue
3. Limitazioni di Valutazione: Campioni di valutazione manuale relativamente piccoli, con possibili distorsioni
4. Pregiudizi Culturali: I pregiudizi geografici e culturali intrinseci ai dati web sono difficili da eliminare completamente

Impatto

1. Contributo Accademico: Fornisce infrastrutture importanti per la ricerca NLP multilingue
2. Impatto Industriale: Riduce le barriere allo sviluppo di applicazioni AI multilingui
3. Valore Sociale: Promuove la diversità linguistica e la democratizzazione della tecnologia AI
4. Definizione di Standard: Il framework di valutazione HPLT-E potrebbe diventare uno standard industriale

Scenari Applicabili

1. Pre-Addestramento di LLM Multilingui: Utilizzo diretto per il pre-addestramento di modelli linguistici di grandi dimensioni
2. Modelli Linguistici Specifici: Sviluppo di modelli specializzati per lingue a bassa risorsa
3. Ricerca Cross-Linguistica: Supporto per ricerca in linguistica e linguistica computazionale
4. Traduzione Automatica: Fornitura di dati paralleli e dati monolingui
5. Applicazioni Educative: Fornitura di risorse per l'apprendimento e l'insegnamento delle lingue

Punti di Innovazione Tecnica

Innovazione nell'Elaborazione dei Dati

1. Deduplicazione Globale: Deduplicazione approssimata globale cross-crawler, migliorando la diversità dei dati
2. Classificazione della Qualità: Sistema di punteggio WDS fornisce controllo della qualità a grana fine
3. Annotazione Multi-Dimensionale: Combinazione di etichette di registro, valutazione della qualità, rilevamento PII e altre annotazioni

Innovazione nei Metodi di Valutazione

1. Design Multi-Prompt: Ogni compito supporta 3-7 prompt scritti manualmente, riducendo la sensibilità ai prompt
2. Criteri di Selezione dei Compiti: Selezione basata su sette standard inclusi monotonia e stabilità
3. Metodi di Aggregazione: Combinazione di punteggi medi, ranking e conteggio di Borda

Innovazione nell'Addestramento dei Modelli

1. Modelli Linguistici Specifici: Addestramento separato di modelli encoder-decoder specializzati per 57 lingue
2. Checkpoint Intermedi: Fornitura di checkpoint intermedi durante il processo di addestramento, supportando la ricerca sui processi di apprendimento
3. Dati Sintetici: Generazione di dati di pre-addestramento aggiuntivi tramite traduzione automatica

Bibliografia

Questo articolo cita numerosi lavori correlati, principalmente includendo:

• Raffel et al. (2020): Modello T5 e dataset C4
• Penedo et al. (2024, 2025): Serie di dataset FineWeb
• Kudugunta et al. (2023): Dataset MADLAD-400
• Burchell et al. (2025): Dataset HPLT 2.0
• Numerosi articoli correlati a benchmark di valutazione multilingue

Sintesi: Il progetto HPLT 3.0 rappresenta un importante punto di riferimento nel campo dell'NLP multilingue, realizzando non solo un avanzamento nella scala dei dati, ma stabilendo anche nuovi standard in termini di apertura, controllo della qualità e standard di valutazione. Sebbene persistano alcune limitazioni, ha un'importanza significativa nel promuovere la democratizzazione e lo sviluppo della tecnologia AI multilingue.