FactAppeal : Identifier les Appels Factuels Épistémiques dans les Médias d'Information

Informations Fondamentales

• ID de l'article : 2510.10627
• Titre : FactAppeal: Identifying Epistemic Factual Appeals in News Media
• Auteurs : Guy Mor-Lan, Tamir Sheafer, Shaul R. Shenhav (Université Hébraïque de Jérusalem)
• Classification : cs.CL (Linguistique Computationnelle)
• Date de publication : 12 octobre 2025 (prépublication arXiv)
• Lien de l'article : https://arxiv.org/abs/2510.10627

Résumé

Cet article propose une tâche novatrice — l'identification des appels épistémiques (Epistemic Appeal Identification) — visant à identifier si et comment les énoncés factuels sont soutenus par des sources externes ou des preuves. Pour faire progresser la recherche sur cette tâche, les auteurs ont construit l'ensemble de données FactAppeal, contenant 3 226 phrases d'articles de presse en anglais annotées manuellement. Contrairement aux ressources antérieures qui se concentraient uniquement sur la détection et la vérification des affirmations, FactAppeal identifie les structures épistémiques nuancées et les fondements probants qui soutiennent ces affirmations. L'ensemble de données contient des annotations au niveau des segments, identifiant les énoncés factuels et les mentions de sources dont ils dépendent. De plus, les annotations incluent des caractéristiques granulaires des appels factuels, telles que le type de source (par exemple, participant actif, témoin, expert, preuve directe), la mention nommée ou non, le rôle de la source et les mentions de qualifications épistémiques, l'attribution aux sources par citation directe ou indirecte, etc. Les auteurs modélisent cette tâche en utilisant des modèles d'encodeur et des modèles de décodeur génératif dans la plage de paramètres 2B-9B, le meilleur modèle de performance étant basé sur Gemma 2 9B, atteignant un score F1 macro-moyen de 0,73.

Contexte de Recherche et Motivation

Définition du Problème

À l'ère de la propagation de la désinformation et du scepticisme généralisé envers les reportages médiatiques, comprendre comment les affirmations factuelles sont présentées est devenu d'une importance sans précédent. La crédibilité d'une affirmation factuelle dépend non seulement de son contenu, mais aussi de la manière dont elle fait appel à des sources de connaissances externes — qu'il s'agisse de témoignages d'experts, de déclarations officielles ou de preuves d'expérience directe.

Limitations des Approches Existantes

Bien que la recherche sur la détection et la vérification des affirmations ait réalisé des progrès substantiels, les approches existantes se concentrent principalement sur le contenu des énoncés isolés, en ignorant les structures épistémiques qui confèrent crédibilité et pouvoir de persuasion à ces affirmations. Les cadres traditionnels de détection de la factualité manquent d'une compréhension approfondie de la manière dont les affirmations sont construites et soutenues dans les médias d'information.

Motivation de la Recherche

1. Besoin d'analyse des structures épistémiques : Nécessité de comprendre comment les affirmations factuelles obtiennent un soutien par des sources d'autorité externes
2. Recherche sur la crédibilité des médias : Analyse des flux de connaissances et des mécanismes de vérification dans les médias d'information
3. Amélioration de la vérification automatique des faits : Fournir une base pour une vérification des faits plus consciente du contexte
4. Applications en sciences sociales : Fournir des outils pour la recherche en philosophie politique, épistémologie sociale et communication

Contributions Principales

1. Proposition d'une nouvelle tâche : Première définition de la tâche d'identification des appels épistémiques, dépassant la détection traditionnelle de la factualité et introduisant une couche riche de raisonnement épistémique
2. Construction d'un ensemble de données annoté : Création de l'ensemble de données FactAppeal contenant des annotations granulaires au niveau des segments pour 3 226 phrases de presse
3. Établissement d'une taxonomie de classification : Développement d'une taxonomie structurée des appels épistémiques basée sur la proximité entre la source et l'événement (interne vs externe) et le type de source (humain vs non-humain)
4. Implémentation de modèles de base : Établissement de bases de référence pour la tâche en utilisant des modèles d'encodeur et de décodeur génératif, le meilleur modèle atteignant un score F1 macro-moyen de 0,73
5. Valeur interdisciplinaire : Fourniture d'un outil important pour la linguistique computationnelle, les sciences sociales et la recherche médiatique

Détails Méthodologiques

Définition de la Tâche

La tâche d'identification des appels épistémiques exige :

1. Déterminer si une phrase présente une affirmation factuelle
2. Si c'est le cas, identifier comment elle invoque des sources externes ou des preuves pour soutenir cette affirmation
3. Identifier les sources d'autorité épistémique
4. Classifier le type et la méthode de l'appel

Système d'Annotation

Types d'Étiquettes Principaux

1. Fact Without Appeal : Affirmation factuelle sans appel épistémique
2. Fact With Appeal : Affirmation factuelle avec appel épistémique
   • Modificateurs : Direct quote (citation directe) / Indirect quote (citation indirecte)
3. Source : Source épistémique à laquelle l'affirmation est attribuée
   • Statut de nomination : Named / Unnamed
   • Type de source : Classification en 7 types
4. Source Attribute : Attributs épistémiques pertinents de la source
5. Recipient : Objet recevant l'information
6. Appeal Time : Moment où l'appel s'est produit
7. Appeal Location : Lieu où l'appel s'est produit

Système de Classification des Types de Sources

Taxonomie construite sur deux dimensions :

• Proximité avec l'événement : Interne (contact direct) vs Externe (connaissances professionnelles générales)
• Nature de la source : Humain vs Non-humain

Sources internes (basées sur le contact direct) :

• Active Participant : Participant actif à l'événement
• Witness : Observateur fournissant un témoignage de première main
• Official : Participant ayant une autorité juridique, politique ou bureaucratique
• Direct Evidence : Preuves directes découvertes sur place

Sources externes (basées sur les connaissances professionnelles) :

• Expert : Scientifique ou expert possédant des connaissances spécialisées
• Expert Document : Documents de recherche, rapports scientifiques et institutionnels
• News Report : Références à des reportages antérieurs

Points d'Innovation Technique

1. Annotation au niveau des segments : Permet de distinguer les appels factuels, les faits sans appel et les composantes non-factuelles dans un seul texte
2. Support des étiquettes imbriquées : Les différents types d'étiquettes peuvent être imbriqués, supportant des structures épistémiques complexes
3. Caractéristiques granulaires : Capture des informations multidimensionnelles incluant le type de source, le statut de nomination, la méthode de citation, etc.
4. Classification de l'autorité épistémique : Système de classification des sources basé sur la théorie cognitive

Configuration Expérimentale

Ensemble de Données

• Taille : 3 226 phrases provenant d'articles de presse en anglais de 2020-2022
• Annotateurs : Deux annotateurs (l'un des auteurs et un assistant de recherche)
• Division des données : Ensemble d'entraînement 70%, ensemble de développement 15%, ensemble de test 15%
• Cohérence d'annotation : IoU global de 0,74, Kappa de Cohen de 0,82

Métriques d'Évaluation

• Précision, rappel et score F1 macro-moyen au niveau des mots
• Évaluation de classification binaire multi-étiquette pour 18 catégories d'étiquettes

Méthodes Comparatives

Modèles d'encodeur (classification multi-étiquette au niveau des tokens) :

• RoBERTa (base, 125M)
• DeBERTa v3 (base, 184M)
• ModernBERT (base, 150M)

Modèles de décodeur génératif (séquence à séquence) :

• Gemma 2 (2B, 9B)
• Llama 3.1 (8B)
• Mistral v0.3 (7B)

Détails d'Implémentation

• Modèles d'encodeur : Entraînement avec focal loss jusqu'à 12 epochs
• Modèles de décodeur : Ajustement fin QLORA avec quantification 4-bit, entraînement sur 3 epochs
• Matériel : GPU A100 unique (40GB VRAM)
• Taux d'apprentissage : 1e-5

Résultats Expérimentaux

Résultats Principaux

Résultats Clés

1. Avantage des modèles génératifs : Le plus grand modèle de décodeur Gemma 2 9B atteint les meilleures performances
2. Limitations des modèles d'encodeur : Les modèles d'encodeur présentent une plus grande variabilité de performance entre les catégories
3. Impact de la fréquence des étiquettes : La performance des modèles d'encodeur est plus fortement corrélée au nombre d'étiquettes (ρs = 0,72 vs 0,66)
4. Détection du type de source : La performance de l'annotation du type de source est moins corrélée à la popularité des étiquettes

Analyse des Performances par Catégorie

• Détection de factualité : Fact w/o Appeal (0,89), Fact with Appeal (0,85)
• Détection de source : Source (0,84), Source Attribute (0,79)
• Type de citation : Indirect Quote (0,83), Direct Quote (0,80)
• Type de source : Variation de performance plus importante, Active Participant (0,54), News Report (0,68)

Statistiques de l'Ensemble de Données

• Proportion de phrases factuelles : Plus de 80% des phrases sont annotées comme factuelles
• Distribution des types d'appels : Les faits sans appel sont environ deux fois plus nombreux que les faits avec appel
• Méthodes de citation : 66% utilisent la paraphrase, 34% utilisent la citation directe
• Statut de nomination : 64% des sources sont mentionnées nommément

Travaux Connexes

Recherche sur la Vérification des Affirmations

• Travaux antérieurs : Concentration sur la détermination des événements vérifiables (Sauri et Pustejovsky, 2009)
• Repères à grande échelle : Ensembles de données FEVER, SciFact, FactRel, etc.
• Limitations : Concentration principale sur la détection des affirmations et les relations entre affirmations, manque de description des modèles épistémiques complets

Modalités Épistémiques et Extraction d'Arguments

• Modalités épistémiques : Capture des marqueurs linguistiques de certitude et de croyance
• Extraction d'arguments : Exploration de la manière dont les affirmations sont construites et soutenues dans le discours
• Détection de position épistémique : Modélisation du degré d'engagement de la source envers l'affirmation

Attribution de Source et Analyse de Citation

• Détection de citation : Détection des citations et attribution à des entités
• Limitations : Généralement pas de classification des sources par type ou de capture de la question de savoir si l'appel est invoqué par discours direct ou paraphrase

Conclusion et Discussion

Conclusions Principales

1. Faisabilité de la tâche : La tâche d'identification des appels épistémiques est faisable mais reste difficile
2. Avantage des modèles génératifs : Les modèles génératifs démontrent de meilleures performances dans le traitement des structures épistémiques complexes
3. Valeur de l'analyse granulaire : L'annotation au niveau des segments révèle les structures épistémiques complexes dans les médias d'information

Limitations

1. Restriction au niveau de la phrase : Utilisation uniquement d'annotations au niveau de la phrase, limitant les informations contextuelles capturables
2. Liaison source-affirmation : Les annotations actuelles ne lient pas explicitement chaque source à son affirmation correspondante
3. Portée linguistique et temporelle : Limitation aux articles de presse en anglais de 2020-2022
4. Taille de l'annotation : L'ensemble de données est relativement petit, ce qui peut affecter la capacité de généralisation du modèle

Directions Futures

1. Extension au niveau du paragraphe/article : Modélisation des structures de discours complexes dans des unités textuelles plus grandes
2. Extension multilingue : Application à d'autres langues et contextes culturels
3. Modélisation des relations source-affirmation : Modélisation explicite des correspondances entre sources et affirmations
4. Application aux médias sociaux : Extension à d'autres types de discours tels que les médias sociaux
5. Analyse des dynamiques temporelles : Étude des variations temporelles dans les modèles d'appels épistémiques

Évaluation Approfondie

Points Forts

1. Innovativité de la tâche : Première définition et étude systématique de la tâche d'identification des appels épistémiques, comblant une lacune importante dans la recherche
2. Fondations théoriques solides : Construction d'une taxonomie basée sur les théories cognitives et linguistiques, avec des fondations théoriques solides
3. Qualité d'annotation élevée : Annotations granulaires au niveau des segments, bonne cohérence entre annotateurs (Kappa=0,82)
4. Valeur interdisciplinaire : Fourniture d'une ressource précieuse pour la linguistique computationnelle, la science politique, la communication et d'autres domaines
5. Expériences complètes : Comparaison de multiples architectures de modèles, analyse détaillée des performances

Insuffisances

1. Limitation de la taille des données : La taille de 3 226 phrases est relativement petite, pouvant limiter les performances du modèle et la capacité de généralisation
2. Complexité d'annotation : Certaines catégories d'étiquettes ont peu d'exemples, affectant l'apprentissage du modèle
3. Métriques d'évaluation uniques : Utilisation principalement du score F1, manque de métriques d'évaluation spécifiques à la tâche
4. Analyse d'erreurs insuffisante : Manque d'analyse approfondie des types d'erreurs du modèle
5. Validation d'application réelle : Absence de vérification de l'efficacité dans les tâches réelles de vérification des faits ou d'analyse médiatique

Impact

1. Contribution académique : Ouverture d'une nouvelle direction de recherche dans le domaine du traitement automatique du langage naturel
2. Valeur pratique : Application possible à la vérification automatique des faits, détection des biais médiatiques, construction de graphes de connaissances, etc.
3. Signification sociale : Aide à la compréhension et à l'analyse des mécanismes de propagation et de vérification de l'information dans les médias
4. Reproductibilité : Publication publique des données et du code, facilitant les recherches ultérieures

Scénarios d'Application

1. Analyse des médias d'information : Analyse des modèles d'utilisation des preuves dans les reportages
2. Assistance à la vérification des faits : Fourniture d'informations contextuelles plus riches pour les systèmes automatiques de vérification des faits
3. Éducation aux médias : Aide à l'identification et à l'analyse des stratégies d'appel épistémique dans les médias
4. Analyse du discours politique : Étude des modèles d'appel à l'autorité dans la communication politique
5. Construction de graphes de connaissances : Fourniture d'une base pour la construction de graphes de connaissances incluant les relations de preuves

Références

• Thorne et al. (2018) : Ensemble de données FEVER, extraction et vérification de faits à grande échelle
• Sauri et Pustejovsky (2009) : Travaux antérieurs sur la détection de factualité
• Da San Martino et al. (2019) : Analyse granulaire des techniques de propagande
• Collins et Evans (2002) : Troisième vague de recherche sur les connaissances spécialisées et l'expérience
• Anderson (2021) : Bulles cognitives et politique autoritaire

Cet article apporte des contributions pionnières à la tâche émergente d'identification des appels épistémiques, non seulement en fournissant un ensemble de données annotées de haute qualité, mais aussi en établissant un cadre théorique systématique et des bases de référence expérimentales. Bien qu'il y ait encore de la place pour l'amélioration en termes de taille des données et de performance des modèles, sa valeur de recherche interdisciplinaire et son potentiel d'application pratique en font un travail important dans ce domaine.