Extraction d'Ontologie Méronyme via Grands Modèles de Langage

Informations Fondamentales

• ID de l'article : 2510.13839
• Titre : Meronymic Ontology Extraction via Large Language Models
• Auteurs : Dekai Zhang (Imperial College London), Simone Conia (Sapienza University of Rome), Antonio Rago (Imperial College London & King's College London)
• Classification : cs.CL cs.AI
• Date de publication : 11 octobre 2025 (prépublication arXiv)
• Lien de l'article : https://arxiv.org/abs/2510.13839

Résumé

Cet article exploite les avancées récentes des grands modèles de langage (LLMs) pour développer une méthode entièrement automatisée d'extraction d'ontologies de produits (sous forme de relations partie-tout) à partir de textes d'avis bruts. L'étude démontre que l'ontologie générée par cette méthode surpasse les méthodes de base existantes basées sur BERT lors d'une évaluation utilisant un LLM comme évaluateur. Cette recherche jette les bases pour une application plus large des LLMs aux tâches d'extraction d'ontologies.

Contexte et Motivation de la Recherche

Définition du Problème

À l'ère numérique, d'énormes volumes de données textuelles non structurées doivent être organisés et structurés par le biais d'ontologies. Particulièrement dans le secteur du commerce électronique, d'innombrables listes de produits nécessitent une structure organisationnelle appropriée. Les relations partie-tout (relations méronymiques) revêtent une importance cruciale pour les tâches en aval telles que l'agrégation d'avis, l'analyse des sentiments et les systèmes de questions-réponses sur les produits.

Limitations des Méthodes Existantes

1. Coût élevé de la construction manuelle : La construction manuelle d'ontologies est un processus chronophage, coûteux et fastidieux
2. Insuffisance des méthodes d'automatisation existantes : Les recherches antérieures se sont principalement concentrées sur l'extraction de relations taxonomiques plutôt que de relations partie-tout
3. Difficulté d'évaluation : Absence de jeux de données de référence normalisés, rendant difficile l'évaluation efficace de la qualité des ontologies partie-tout
4. Dépendance à l'annotation manuelle : Les méthodes existantes, telles que la méthode BERT d'Oksanen et al. (2021), nécessitent toujours un certain degré d'annotation manuelle

Motivation de la Recherche

Cet article vise à exploiter les puissantes capacités des LLMs pour développer une méthode entièrement automatisée d'extraction d'ontologies partie-tout et proposer un nouveau cadre d'évaluation pour valider l'efficacité de la méthode.

Contributions Fondamentales

1. Proposition d'une méthode LLM entièrement automatisée : Développement d'une méthode entièrement automatisée utilisant les LLMs pour l'extraction d'ontologies partie-tout, généralisable à différentes catégories de produits
2. Cadre d'évaluation innovant : Proposition d'une nouvelle méthode d'évaluation empirique utilisant un LLM comme évaluateur (LLM-as-a-judge) pour les tâches d'extraction d'ontologies partie-tout
3. Vérification de l'amélioration des performances : Démonstration expérimentale que la méthode LLM surpasse significativement la méthode de base basée sur BERT en termes de pertinence
4. Code open-source : Fourniture d'une implémentation complète pour promouvoir la reproductibilité de la recherche

Détails de la Méthode

Définition de la Tâche

Entrée : Texte d'avis sur les produits Sortie : Graphe d'ontologie partie-tout contenant des nœuds de concepts et des relations « partie-tout » entre eux Contraintes : Les relations doivent être des relations partie-tout significatives, et les concepts doivent être pertinents pour le produit

Architecture du Modèle

La méthode proposée comprend un pipeline en quatre étapes principales :

1. Extraction d'Aspects (Aspect Extraction)

• Méthode : Utilisation de Mistral-7B-Instruct-v0.2 affiné
• Données d'entraînement : Ensemble de données SemEval-2014 Task 4 (1 600 échantillons)
• Post-traitement : Filtrage utilisant l'étiquetage POS, conservant uniquement les noms réellement présents dans les avis
• Contrôle de sortie : Sélection des 50 aspects les plus courants

2. Extraction d'Ensembles de Synonymes (Synset Extraction)

• Modèle d'embedding : Modèle FastText affiné (gestion des erreurs d'orthographe et des abréviations)
• Algorithme de clustering : Clustering de nœuds équidistants (ENC) basé sur la similarité cosinus
• Avantage : Produit des résultats de clustering plus précis comparé à K-means

3. Extraction de Concepts (Concept Extraction)

• Sélection de représentants : Sélection du terme le plus fréquent dans chaque ensemble de synonymes comme représentant
• Jugement de pertinence : Utilisation d'invites LLM pour déterminer si un terme doit être inclus dans l'ontologie
• Critères de filtrage : Pertinence, spécificité, hiérarchie

4. Extraction de Relations (Relation Extraction)

• Traitement des entrées : Extraction de phrases contenant deux aspects provenant d'ensembles de synonymes différents
• Conception de la tâche : Question à choix multiples (l'aspect A est une partie de l'aspect B / l'aspect B est une partie de l'aspect A / sans relation)
• Entraînement du modèle : Affinage du modèle Mistral par distillation sur 1 000 échantillons synthétiques

Points d'Innovation Technique

1. Pipeline LLM de bout en bout : Réalisation d'un degré plus élevé d'automatisation comparé à la méthode BERT
2. Contraintes de sortie structurées : Utilisation de contraintes de syntaxe JSON pour assurer la cohérence du format de sortie
3. Optimisation multi-étapes : Optimisation de chaque étape pour des tâches spécifiques, améliorant les performances globales
4. Atténuation des hallucinations : Réduction des problèmes d'hallucination des LLMs par filtrage POS et affinage

Configuration Expérimentale

Ensembles de Données

• Source : Ensemble de données Amazon Reviews 2023
• Catégories de produits : 5 catégories (jeux vidéo, téléviseurs, colliers/montres, mélangeurs verticaux)
• Échelle des données : 100 000 avis par produit (26 464 pour les mélangeurs)
• Limite de traitement : Les tâches LLM utilisent 1 000 avis (compte tenu du temps de traitement)

Métriques d'Évaluation

Critères d'évaluation des termes :

1. Pertinence : Le terme représente-t-il avec précision une partie ou un composant du produit ?
2. Spécificité : Le terme possède-t-il un niveau de spécificité approprié ?
3. Clarté : Le terme transmet-il clairement l'intention, en évitant l'ambiguïté ?
4. Adéquation au produit : Le terme convient-il logiquement au produit donné ?

Critères d'évaluation des relations :

1. Hiérarchie logique : Le nœud enfant représente-t-il une partie ou une caractéristique logique du nœud parent ?
2. Correspondance contextuelle : La relation est-elle raisonnable dans les catégories de produits Amazon ?
3. Clarté et spécificité : La relation évite-t-elle l'ambiguïté et définit-elle clairement la relation partie-tout ?

Méthodes de Comparaison

• Méthode de base : Méthode basée sur BERT d'Oksanen et al. (2021)
• Méthode d'évaluation : Gemini 1.5 Flash comme évaluateur LLM
• Versions de comparaison : Version complète et version abrégée (égale au nombre de termes de base)

Détails d'Implémentation

• Matériel : GPU NVIDIA GeForce RTX 4090
• Optimiseur : Adam (taux d'apprentissage 10^-4)
• Technique d'affinage : LoRA (r=4, α=16)
• Nombre d'epochs : 3, taille de batch 16

Résultats Expérimentaux

Résultats Principaux

Évaluation de la Qualité des Termes

Évaluation de la Qualité des Relations

Expériences d'Ablation

Comparaison des Méthodes d'Extraction d'Aspects

Comparaison des Méthodes d'Extraction de Relations

Analyse d'Efficacité

Temps de Traitement de la Méthode Proposée

Temps de Traitement de la Base BERT

Résultats Expérimentaux

1. Amélioration de la qualité : La méthode LLM surpasse significativement la base BERT en qualité des termes et des relations
2. Importance de l'affinage : L'affinage apporte une amélioration significative des performances par rapport aux méthodes pures d'invites
3. Coût de calcul : La méthode LLM offre une meilleure qualité mais avec un coût de calcul environ 6 fois supérieur à la méthode BERT
4. Sélection de l'algorithme de clustering : ENC produit des ensembles de synonymes plus précis comparé à K-means

Travaux Connexes

Apprentissage d'Ontologies

L'apprentissage d'ontologies traditionnel dépend principalement de méthodes d'apprentissage profond, mais se concentre surtout sur l'extraction de relations taxonomiques plutôt que de relations partie-tout.

Application des LLMs à la Construction d'Ontologies

Les recherches récentes commencent à explorer l'application des LLMs aux tâches clés d'apprentissage d'ontologies telles que l'extraction de termes et de relations, mais se concentrent principalement sur les relations taxonomiques.

Méthodes d'Évaluation

L'évaluation de la qualité des ontologies a toujours été un défi en raison de l'absence de références normalisées. La méthode LLM-as-a-judge proposée dans cet article offre une nouvelle solution à ce problème.

Conclusion et Discussion

Conclusions Principales

1. La méthode LLM surpasse significativement les méthodes BERT existantes pour la tâche d'extraction d'ontologies partie-tout
2. L'affinage et les contraintes de sortie structurées sont des facteurs clés pour améliorer les performances
3. LLM-as-a-judge offre une solution viable pour l'évaluation de la qualité des ontologies

Limitations

1. Dépendance à l'évaluation : Dépendance principale à LLM-as-a-judge, absence de validation par études utilisateur
2. Coût de calcul : Augmentation significative du coût de calcul comparé à la méthode BERT
3. Problème d'hallucination : Les LLMs génèrent toujours des aspects non pertinents
4. Absence de référence : Absence de jeu de données de référence normalisé dans le domaine des ontologies de produits

Directions Futures

1. Construction de référence normalisée : Établissement d'un jeu de données de référence normalisé pour cette tâche
2. Validation par études utilisateur : Validation de l'utilité pratique des ontologies par études utilisateur
3. Généralisation de la méthode : Exploration de l'application de la méthode à d'autres types d'ontologies (telles que les ontologies taxonomiques)
4. Atténuation des hallucinations : Recherche de méthodes intégrant plusieurs LLMs pour réduire les hallucinations d'un seul modèle

Évaluation Approfondie

Points Forts

1. Innovation forte : Application systématique pionnière des LLMs à l'extraction d'ontologies partie-tout
2. Méthode complète : Fourniture d'une solution de pipeline complète de bout en bout
3. Innovation en évaluation : Proposition du cadre d'évaluation LLM-as-a-judge
4. Expérimentation suffisante : Inclusion d'expériences d'ablation détaillées et d'analyses d'efficacité
5. Contribution open-source : Fourniture d'une implémentation open-source complète

Insuffisances

1. Limitations d'évaluation : Dépendance excessive à l'évaluation par LLM, absence de validation par évaluation humaine
2. Considérations de coût : Augmentation significative du coût de calcul sans discussion suffisante du rapport coût-bénéfice
3. Généralisation : Validation sur seulement 5 catégories de produits, généralisation à vérifier davantage
4. Comparaison de référence : Comparaison insuffisante avec d'autres méthodes existantes

Impact

1. Valeur académique : Fourniture d'une référence importante pour l'application des LLMs à la construction d'ontologies
2. Valeur pratique : Potentiel d'application directe dans des domaines tels que le commerce électronique
3. Contribution méthodologique : Le cadre d'évaluation LLM-as-a-judge possède une large applicabilité
4. Reproductibilité : Fourniture de détails d'implémentation détaillés et de code open-source

Scénarios d'Application

1. Plateformes de commerce électronique : Classification de produits et systèmes de recommandation
2. Construction de graphes de connaissances : Construction automatisée d'ontologies
3. Extraction d'informations : Extraction de relations structurées à partir de textes non structurés
4. Analyse d'avis : Identification de caractéristiques et de composants de produits

Références

Cet article cite des travaux importants dans les domaines connexes, notamment :

• Oksanen et al. (2021) : Méthode d'extraction d'ontologies de produits basée sur BERT
• Devlin et al. (2019) : Modèle BERT
• Jiang et al. (2023) : Modèle Mistral
• Pontiki et al. (2014) : Ensemble de données SemEval-2014 Task 4

Évaluation Globale : Ceci est un article présentant des contributions importantes dans le domaine de l'extraction d'ontologies partie-tout. La méthode est fortement innovante, la conception expérimentale est raisonnable et les résultats sont convaincants. Bien qu'il existe certaines limitations concernant les méthodes d'évaluation et le coût de calcul, l'article fournit des perspectives et des outils précieux pour le développement du domaine.