Ajustement fin des grands modèles de langage avec QLoRA pour la détection du langage offensant dans le texte code-mixte Roman Ourdou-Anglais

Informations de base

• ID de l'article : 2510.03683
• Titre : Fine-Tuning Large Language Models with QLoRA for Offensive Language Detection in Roman Urdu-English Code-Mixed Text
• Auteurs : Nisar Hussain, Amna Qasim, Gull Mehak, Muhammad Usman, Muhammad Zain, Momina Hafeez, Grigori Sidorov
• Institution : Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC), Mexique
• Classification : cs.CL (Linguistique informatique)
• Lien de l'article : https://arxiv.org/abs/2510.03683

Résumé

Cette étude propose un cadre d'ajustement fin des grands modèles de langage basé sur QLoRA pour la détection du langage offensant dans le texte code-mixte Roman Ourdou-Anglais. Face aux défis posés par la langue ourdoue romaine, notamment la grammaire non-normalisée, les incohérences orthographiques et la rareté des données annotées, les chercheurs ont adopté Google Traduction pour convertir le texte code-mixte en anglais, afin de tirer pleinement parti des capacités des grands modèles de langage anglais. Les expériences ont été menées sur plusieurs modèles, notamment Meta-LLaMA-3-8B, Mistral-7B-v0.1, LLaMA 2-7B, ModernBERT et RoBERTa. Les résultats montrent que Meta-LLaMA-3-8B a obtenu le score F1 le plus élevé de 91,45 %, tandis que Mistral-7B a atteint 89,66 %, surpassant tous deux les modèles de base Transformer traditionnels.

Contexte et motivation de la recherche

Définition du problème

Le problème fondamental abordé par cette étude est la détection du langage offensant dans le texte code-mixte Roman Ourdou-Anglais. Le Roman Ourdou est la principale forme de communication numérique dans certaines régions du Pakistan et de l'Inde, où les utilisateurs écrivent l'ourdou en caractères latins et mélangent fréquemment du vocabulaire anglais.

Importance du problème

1. Besoins de sécurité des réseaux sociaux : Avec la prolifération de plateformes telles que Twitter, Facebook et YouTube, la propagation de contenu offensant et nuisible s'intensifie. L'identification et la réduction de tels contenus sont essentielles pour maintenir la santé numérique et prévenir les préjudices psychologiques aux utilisateurs.
2. Défis spécifiques du langage code-mixte : Le texte code-mixte Roman Ourdou-Anglais présente des caractéristiques telles que la grammaire non-standard, les incohérences orthographiques et l'absence de corpus annotés, ce qui réduit considérablement la précision des modèles de traitement du langage naturel traditionnels.

Limitations des méthodes existantes

1. Méthodes d'apprentissage automatique traditionnel : Les approches antérieures utilisant SVM, naïve Bayes et régression logistique combinées avec TF-IDF ou des caractéristiques n-gramme présentent une faible capacité de généralisation entre les contextes et les langues, en particulier sur les données informelles, bruitées ou code-mixtes.
2. Modèles d'apprentissage profond : Bien que CNN et RNN surpassent les méthodes traditionnelles dans la capture d'informations contextuelles, ils font face à des défis pour les langues morphologiquement riches et peu dotées en ressources comme le Roman Ourdou.
3. Rareté des modèles pré-entraînés : L'absence de modèles pré-entraînés spécialisés ou de corpus annotés à grande échelle pour le Roman Ourdou limite l'application des méthodes existantes.

Contributions principales

1. Proposition d'un pipeline de détection du langage offensant Roman Ourdou-Anglais de bout en bout : Construction d'un processus complet allant du prétraitement des données à l'évaluation du modèle.
2. Application de QLoRA aux modèles LLaMA et Mistral : Application pionnière de la technique d'adaptation de faible rang quantifiée à la tâche de détection du langage offensant en Roman Ourdou.
3. Évaluation comparative complète : Comparaison des performances des grands modèles de langage ajustés avec QLoRA par rapport aux modèles ModernBERT et RoBERTa ajustés de manière traditionnelle.
4. Adoption d'une stratégie de prétraitement basée sur la traduction : Utilisation de la méthode de traduction pour exploiter les grands modèles de langage anglais dans le traitement des textes code-mixtes peu dotés en ressources.

Explication détaillée de la méthode

Définition de la tâche

Entrée : Texte code-mixte Roman Ourdou-Anglais Sortie : Étiquette de classification binaire (offensant/non-offensant) Contraintes : Traitement de textes peu dotés en ressources, avec grammaire non-standard et caractéristiques code-mixtes

Architecture du modèle

Processus global

L'étude adopte un pipeline de traitement systématisé :

1. Collecte et prétraitement des données
   • L'ensemble de données contient 46 026 échantillons (24 026 « offensants », 22 000 « non-offensants »)
   • Principalement extraits de commentaires Facebook publics et de réponses YouTube
   • Annotés manuellement par trois annotateurs bilingues, avec un accord Kappa de Cohen de 0,86
2. Traitement de la traduction
   • Utilisation de la bibliothèque GoogleTranslator du package deep_translator
   • Traduction du texte Roman Ourdou en anglais pour exploiter les modèles de langage anglais
   • Préservation des caractéristiques code-mixtes originales jusqu'à l'étape de traduction
3. Division et annotation de l'ensemble de données
   • Mappage des étiquettes : « offensant » → 1, « non-offensant » → 0
   • Utilisation d'un échantillonnage stratifié pour une division 80 % entraînement, 20 % test
   • Pour les modèles décodeurs, formatage de l'entrée en style d'invite

Sélection des modèles

Une sélection diversifiée de modèles a été évaluée :

• Grands modèles de langage : LLaMA 3 (8B), LLaMA 2 (7B), Mistral (7B), ajustés avec QLoRA
• Transformers traditionnels : RoBERTa et ModernBERT, ajustés avec des méthodes d'apprentissage supervisé traditionnel

Technique d'ajustement fin QLoRA

Paramètres de configuration principaux :

• rang (r=8)
• alpha (32)
• abandon (0,05)
• couches d'adaptation : q_proj et v_proj

Avantages techniques :

• Ajustement fin efficace en mémoire grâce aux adaptateurs de faible rang et aux poids quantifiés
• Maintien des performances tout en réduisant considérablement l'utilisation de la mémoire GPU

Points d'innovation technique

1. Application de l'adaptation de faible rang quantifiée : Application pionnière de la technique QLoRA à la détection du langage offensant en Roman Ourdou, réalisant un ajustement fin efficace des grands modèles.
2. Transfert cross-lingue assisté par traduction : Utilisation d'une stratégie de traduction pour combler l'écart linguistique et améliorer la compréhension des sémantiques sous-jacentes par le modèle.
3. Cadre de comparaison multi-modèles : Établissement d'un cadre d'évaluation comparative systématique entre les modèles de langage et les modèles Transformer traditionnels.

Configuration expérimentale

Ensemble de données

• Taille : 46 026 échantillons
• Source : Commentaires Facebook et réponses YouTube
• Annotation : Trois annotateurs bilingues, Kappa de Cohen = 0,86
• Division : 80 % entraînement, 20 % test (échantillonnage stratifié)
• Prétraitement : Nettoyage minimal pour préserver l'intégrité contextuelle

Métriques d'évaluation

• Exactitude (Accuracy)
• Précision (Precision)
• Rappel (Recall)
• Score F1 (F1 Score)

Méthodes de comparaison

• LLaMA 3 (8B) + QLoRA
• Mistral 7B + QLoRA
• LLaMA 2 (7B) + QLoRA
• RoBERTa (ajustement traditionnel)
• ModernBERT (ajustement traditionnel)

Détails d'implémentation

• Matériel : NVIDIA A100 (80 Go VRAM), 128 Go RAM, CPU 32 cœurs
• Environnement logiciel : Python 3.13.2, PyTorch, Transformers, PEFT, etc.
• Hyperparamètres : Taux d'apprentissage 2e-5, taille de lot 2, 10 epochs d'entraînement, décroissance des poids 0,01
• Stratégies d'optimisation : Points de contrôle de gradient, mécanisme d'arrêt anticipé

Résultats expérimentaux

Résultats principaux

Découvertes clés :

1. LLaMA 3 (8B) a obtenu les meilleures performances avec un score F1 de 91,45 %
2. Les grands modèles de langage basés sur QLoRA surpassent significativement les modèles Transformer traditionnels
3. L'écart de performance reflète les avantages de l'ajustement fin QLoRA sur les tâches de langage code-mixte

Analyse du comportement d'entraînement

• Vitesse de convergence : Les modèles optimaux atteignent le score F1 de validation optimal en 2-3 epochs
• Stabilité d'entraînement : Tous les modèles montrent une diminution régulière de la perte, sans signes de surapprentissage
• Efficacité mémoire : QLoRA réduit considérablement les besoins en mémoire pour l'ajustement fin des grands modèles

Comparaison de l'efficacité d'inférence

• LLaMA 3 (8B) : Environ 1,0 seconde/1000 échantillons
• Mistral 7B : Environ 0,80 seconde/1000 échantillons
• LLaMA 2 (7B) : Environ 0,78 seconde/1000 échantillons
• RoBERTa : Environ 0,35 seconde/1000 échantillons
• ModernBERT : Environ 0,30 seconde/1000 échantillons

Reflétant le compromis entre la taille du modèle et la vitesse d'inférence.

Analyse de l'interprétabilité du modèle

Grâce à l'analyse LIME et SHAP, les découvertes incluent :

• Vocabulaire offensant à fort impact : « saalon », « naacho », « maaregi », etc.
• Modèles de décision du modèle : LLaMA 3 se concentre sur le langage offensant contextuel, tandis que les modèles traditionnels distribuent les poids de manière plus dispersée
• Identification des biais : Certains mots neutres peuvent induire en erreur la classification, soulignant l'importance de la qualité des données

Travaux connexes

Recherche sur la détection du langage offensant

1. Méthodes traditionnelles : Méthodes d'apprentissage automatique basées sur des caractéristiques manuelles (SVM, naïve Bayes, etc.)
2. Méthodes d'apprentissage profond : Architectures CNN, RNN et Transformer (BERT et ses variantes)
3. Traitement multilingue : Apprentissage par transfert cross-lingue et méthodes d'apprentissage zéro-shot

Traitement des langues peu dotées en ressources

1. Recherche sur le Roman Ourdou : Quelques chercheurs ont construit des ensembles de données et des méthodes d'intégration pour le Roman Ourdou
2. Traitement code-mixte : Intégrations multilingues et méthodes assistées par traduction automatique
3. Défis de rareté des ressources : Absence de modèles pré-entraînés et de corpus annotés à grande échelle

Ajustement fin des grands modèles de langage

1. Ajustement fin efficace en paramètres : Développement de techniques telles que QLoRA et LoRA
2. Applications des modèles de langage : Applications de GPT, LLaMA et Mistral aux tâches de classification de texte
3. Techniques de quantification : Réduction des besoins en ressources informatiques tout en maintenant les performances

Conclusions et discussion

Conclusions principales

1. Efficacité de l'ajustement fin QLoRA : Dans la tâche de détection du langage offensant dans le texte code-mixte Roman Ourdou-Anglais, les grands modèles de langage ajustés avec QLoRA surpassent significativement les méthodes traditionnelles
2. Viabilité de la stratégie de traduction : Le prétraitement par traduction permet d'exploiter efficacement les modèles de langage anglais pour traiter les langues code-mixtes peu dotées en ressources
3. Importance de la taille du modèle : Les modèles de plus grande taille montrent des avantages évidents dans les tâches complexes de traitement du langage naturel

Limitations

1. Perte des caractéristiques code-mixtes : Le processus de traduction entraîne la perte de la structure originale du changement de code, le modèle traitant réellement une version traduite en anglais plutôt que du texte code-mixte natif
2. Besoins en ressources informatiques : La latence d'inférence des grands modèles de langage peut être élevée, limitant potentiellement les applications en temps réel
3. Taille de l'ensemble de données : La taille relativement petite de l'ensemble de données peut affecter la capacité de généralisation du modèle
4. Dépendance à la qualité de la traduction : L'efficacité de la méthode dépend fortement de la qualité de la traduction Google

Directions futures

1. Traitement direct du texte code-mixte : Développement de modèles de langage capables de traiter directement le Roman Ourdou sans traduction
2. Apprentissage zéro-shot et peu-shot : Réduction de la dépendance aux données annotées
3. Optimisation du transfert cross-lingue : Amélioration des méthodes de transfert cross-lingue pour mieux préserver les caractéristiques code-mixtes
4. Optimisation en temps réel : Optimisation de la vitesse d'inférence pour les besoins de déploiement pratique

Évaluation approfondie

Points forts

1. Innovativité de la méthode : Application pionnière de la technique QLoRA à la détection du langage offensant en Roman Ourdou, offrant une nouvelle approche de résolution
2. Exhaustivité de l'expérience : Comparaison de modèles de différentes tailles et architectures, fournissant des références de performance complètes
3. Valeur pratique : Fourniture d'une solution technologique viable pour la modération de contenu des réseaux sociaux
4. Avancée technologique : Adoption des dernières techniques d'ajustement fin efficace en paramètres, réalisant de bonnes performances dans les environnements aux ressources limitées

Insuffisances

1. Limitations de la méthode : Bien que la stratégie de prétraitement par traduction soit pratique, elle perd les caractéristiques essentielles du code-mixte
2. Limitations de l'ensemble de données : L'ensemble de données est relativement petit et provient uniquement de plateformes spécifiques, ce qui peut affecter la généralisation
3. Dimensions d'évaluation : Absence d'analyse fine des différents types de langage offensant
4. Contribution théorique : Principalement une implémentation d'ingénierie, avec une innovation théorique relativement limitée

Impact

1. Contribution académique : Fourniture d'une méthode efficace pour la détection de contenu offensant dans les langues code-mixtes peu dotées en ressources
2. Application pratique : Application directe à la modération de contenu Roman Ourdou sur les réseaux sociaux
3. Promotion technologique : Démonstration du potentiel d'application de QLoRA dans les tâches de domaines spécifiques
4. Inspiration pour la recherche : Fourniture d'un cadre de référence pour les tâches similaires dans d'autres langues peu dotées en ressources

Scénarios d'application

1. Plateformes de réseaux sociaux : Modération de contenu Roman Ourdou sur Facebook, Twitter et autres plateformes
2. Gestion des communautés en ligne : Forums en ligne et communautés dans les régions du Pakistan et de l'Inde
3. Applications éducatives : Systèmes de détection et de prévention du cyberharcèlement
4. Base de recherche : Base de développement de systèmes de détection du langage offensant multilingues

Références bibliographiques

L'article cite 46 références pertinentes, couvrant plusieurs domaines tels que la détection du langage offensant, les grands modèles de langage et le traitement des langues code-mixtes, fournissant une base théorique solide et un soutien technique pour la recherche.

Évaluation globale : Cet article présente une implémentation techniquement mature, une conception expérimentale raisonnable et des résultats convaincants. Bien que l'innovation théorique soit relativement limitée, il fournit une solution de valeur pratique pour les applications réelles des langues code-mixtes peu dotées en ressources, avec une bonne valeur pratique et un potentiel de promotion.