FactAppeal: Identificación de Apelaciones Epistémicas Factuales en Medios de Comunicación

Información Básica

• ID del Artículo: 2510.10627
• Título: FactAppeal: Identifying Epistemic Factual Appeals in News Media
• Autores: Guy Mor-Lan, Tamir Sheafer, Shaul R. Shenhav (Universidad Hebrea de Jerusalén)
• Clasificación: cs.CL (Lingüística Computacional)
• Fecha de Publicación: 12 de octubre de 2025 (preimpresión en arXiv)
• Enlace del Artículo: https://arxiv.org/abs/2510.10627

Resumen

Este artículo propone una tarea novedosa: la identificación de apelaciones epistémicas, cuyo objetivo es identificar si las afirmaciones factuales están respaldadas por fuentes externas o evidencia, y cómo lo están. Para avanzar en la investigación de esta tarea, los autores construyeron el conjunto de datos FactAppeal, que contiene anotaciones manuales de 3,226 oraciones de noticias en inglés. A diferencia de recursos anteriores que se enfocaban únicamente en la detección y verificación de afirmaciones, FactAppeal identifica estructuras epistémicas refinadas y bases de evidencia que respaldan estas afirmaciones. El conjunto de datos incluye anotaciones a nivel de fragmento que identifican afirmaciones factuales y las menciones de fuentes de las que dependen. Además, las anotaciones incluyen características granulares de apelaciones factuales, como tipo de fuente (por ejemplo, participante activo, testigo, experto, evidencia directa), si se menciona nominalmente, rol de la fuente y menciones de credenciales epistémicas, atribución a fuentes mediante citas directas o indirectas, entre otras características. Los autores modelaron esta tarea utilizando modelos codificadores y decodificadores generativos en el rango de 2B-9B parámetros, logrando el mejor modelo de desempeño basado en Gemma 2 9B una puntuación F1 de macro-promedio de 0.73.

Contexto de Investigación y Motivación

Definición del Problema

En una era de proliferación de desinformación y escepticismo generalizado hacia la cobertura mediática, comprender cómo se presentan las afirmaciones factuales es más importante que nunca. La credibilidad de una afirmación factual no depende solo de su contenido, sino también de cómo apela a fuentes de conocimiento externas—ya sea a través de testimonios de expertos, declaraciones oficiales o evidencia de experiencia directa.

Limitaciones de Métodos Existentes

Aunque se ha logrado un progreso sustancial en la investigación de detección y verificación de afirmaciones, los métodos existentes se enfocaban principalmente en contenido de afirmaciones aisladas, ignorando las estructuras epistémicas que otorgan credibilidad y poder persuasivo a estas afirmaciones. Los marcos tradicionales de detección de facticidad carecen de una comprensión profunda de cómo se construyen y respaldan las afirmaciones en los medios de comunicación.

Motivación de la Investigación

1. Necesidad de análisis de estructuras epistémicas: Comprender cómo las afirmaciones factuales obtienen respaldo de fuentes de autoridad externa
2. Investigación de credibilidad mediática: Analizar el flujo de conocimiento y mecanismos de verificación en medios de comunicación
3. Mejora de verificación de hechos automática: Proporcionar base para verificación de hechos más consciente del contexto
4. Aplicaciones en ciencias sociales: Proporcionar herramientas para investigación en filosofía política, epistemología social y comunicación

Contribuciones Principales

1. Propuesta de nueva tarea: Primera definición formal de la tarea de identificación de apelaciones epistémicas, que va más allá de la detección de facticidad tradicional, introduciendo una capa rica de razonamiento epistémico
2. Construcción de conjunto de datos anotado: Creación del conjunto de datos FactAppeal con anotaciones granulares a nivel de fragmento de 3,226 oraciones de noticias
3. Establecimiento de taxonomía de clasificación: Desarrollo de una taxonomía sistemática de apelaciones epistémicas basada en proximidad de fuente a evento (interna vs. externa) y tipo de fuente (humana vs. no humana)
4. Implementación de modelos de base de referencia: Establecimiento de líneas base de tareas utilizando modelos codificadores y decodificadores generativos, con el mejor modelo alcanzando una puntuación F1 de macro-promedio de 0.73
5. Valor interdisciplinario: Proporciona herramienta importante para lingüística computacional, ciencias sociales e investigación mediática

Explicación Detallada de Métodos

Definición de la Tarea

La tarea de identificación de apelaciones epistémicas requiere:

1. Determinar si una oración presenta una afirmación factual
2. Si es así, identificar cómo invoca fuentes externas o evidencia para respaldar esa afirmación
3. Identificar las fuentes de autoridad epistémica
4. Clasificar el tipo y método de la apelación

Sistema de Anotación

Tipos de Etiquetas Principales

1. Fact Without Appeal: Afirmación factual sin apelación epistémica
2. Fact With Appeal: Afirmación factual con apelación epistémica
   • Modificadores: Direct quote (cita directa) / Indirect quote (cita indirecta)
3. Source: Fuente epistémica a la que se atribuye la afirmación
   • Estado nominal: Named (nombrada) / Unnamed (sin nombre)
   • Tipo de fuente: Clasificación de 7 tipos
4. Source Attribute: Atributos epistémicos relevantes de la fuente
5. Recipient: Objeto que recibe la información
6. Appeal Time: Tiempo en que ocurre la apelación
7. Appeal Location: Ubicación donde ocurre la apelación

Sistema de Clasificación de Tipos de Fuente

Taxonomía construida en dos dimensiones:

• Proximidad al evento: Interna (contacto directo) vs. Externa (conocimiento profesional general)
• Naturaleza de la fuente: Humana vs. No humana

Fuentes Internas (basadas en contacto directo):

• Active Participant: Participante activo en el evento
• Witness: Observador que proporciona testimonio de primera mano
• Official: Participante con autoridad legal, política o burocrática
• Direct Evidence: Evidencia directa encontrada en el lugar

Fuentes Externas (basadas en conocimiento profesional):

• Expert: Científico o experto con conocimiento especializado
• Expert Document: Documentos de investigación, reportes científicos e institucionales
• News Report: Referencias a reportajes de noticias anteriores

Puntos de Innovación Técnica

1. Anotación a nivel de fragmento: Permite distinguir entre apelaciones factuales, hechos sin apelación y componentes no factuales dentro de un texto único
2. Soporte de etiquetas anidadas: Diferentes tipos de etiquetas pueden anidarse, soportando estructuras epistémicas complejas
3. Características granulares: Captura información multidimensional incluyendo tipo de fuente, estado nominal, método de cita, etc.
4. Clasificación de autoridad epistémica: Sistema de clasificación de fuentes estructurado basado en teoría cognitiva

Configuración Experimental

Conjunto de Datos

• Escala: 3,226 oraciones de artículos de noticias en inglés de 2020-2022
• Anotadores: Dos anotadores (uno de los autores y un asistente de investigación)
• División de datos: Conjunto de entrenamiento 70%, conjunto de desarrollo 15%, conjunto de prueba 15%
• Consistencia de anotación: IoU general de 0.74, Kappa de Cohen de 0.82

Métricas de Evaluación

• Precisión, recuperación y puntuación F1 de macro-promedio a nivel de palabra
• Evaluación de clasificación binaria multietiqueta para 18 categorías de etiquetas

Métodos de Comparación

Modelos Codificadores (clasificación multietiqueta a nivel de token):

• RoBERTa (base, 125M)
• DeBERTa v3 (base, 184M)
• ModernBERT (base, 150M)

Modelos Decodificadores Generativos (secuencia a secuencia):

• Gemma 2 (2B, 9B)
• Llama 3.1 (8B)
• Mistral v0.3 (7B)

Detalles de Implementación

• Modelos codificadores: Entrenamiento con focal loss hasta 12 épocas
• Modelos decodificadores: Ajuste fino de 4-bit con QLORA, entrenamiento de 3 épocas
• Hardware: GPU A100 único (40GB VRAM)
• Tasa de aprendizaje: 1e-5

Resultados Experimentales

Resultados Principales

Hallazgos Clave

1. Ventaja de modelos generativos: El modelo decodificador más grande, Gemma 2 9B, alcanza el mejor desempeño
2. Limitaciones de modelos codificadores: Los modelos codificadores muestran mayor variabilidad de desempeño entre categorías
3. Impacto de frecuencia de etiqueta: El desempeño de modelos codificadores muestra correlación más fuerte con conteo de etiquetas (ρs = 0.72 vs 0.66)
4. Detección de tipo de fuente: El desempeño de anotación de tipo de fuente muestra correlación más baja con popularidad de etiqueta

Análisis de Desempeño por Categoría

• Detección de facticidad: Fact w/o Appeal (0.89), Fact with Appeal (0.85)
• Detección de fuente: Source (0.84), Source Attribute (0.79)
• Tipo de cita: Indirect Quote (0.83), Direct Quote (0.80)
• Tipo de fuente: Variabilidad mayor en desempeño, Active Participant (0.54), News Report (0.68)

Estadísticas del Conjunto de Datos

• Proporción de oraciones factuales: Más del 80% de oraciones anotadas como factuales
• Distribución de tipos de apelación: Hechos sin apelación aproximadamente el doble de hechos con apelación
• Método de cita: 66% usa paráfrasis, 34% usa cita directa
• Estado nominal: 64% de fuentes mencionadas nominalmente

Trabajo Relacionado

Investigación en Verificación de Afirmaciones

• Trabajo temprano: Enfoque en determinación de eventos verificables (Sauri and Pustejovsky, 2009)
• Puntos de referencia a gran escala: Conjuntos de datos FEVER, SciFact, FactRel
• Limitaciones: Enfoque principalmente en detección de afirmaciones y relaciones entre afirmaciones, falta descripción completa de patrones epistémicos

Modalidades Epistémicas y Minería de Argumentos

• Modalidades epistémicas: Captura marcas lingüísticas de certeza y creencia
• Minería de argumentos: Exploración de cómo se construyen y respaldan afirmaciones en el discurso
• Detección de postura epistémica: Modelado del grado de compromiso de la fuente con la afirmación

Atribución de Fuentes y Análisis de Citas

• Detección de citas: Detección de citas y atribución a entidades
• Limitaciones: Típicamente no clasifican fuentes por tipo o capturan si la apelación se invoca mediante lenguaje directo o paráfrasis

Conclusiones y Discusión

Conclusiones Principales

1. Viabilidad de la tarea: La tarea de identificación de apelaciones epistémicas es viable pero aún desafiante
2. Ventaja de modelos generativos: Los modelos generativos muestran mejor desempeño en manejo de estructuras epistémicas complejas
3. Valor del análisis granular: Las anotaciones a nivel de fragmento revelan estructuras epistémicas complejas en medios de comunicación

Limitaciones

1. Restricción a nivel de oración: Uso únicamente de anotaciones a nivel de oración, limitando información contextual capturada
2. Vinculación fuente-afirmación: Las anotaciones actuales no vinculan explícitamente cada fuente con su afirmación correspondiente
3. Rango de idioma y tiempo: Limitado a artículos de noticias en inglés de 2020-2022
4. Escala de anotación: Conjunto de datos relativamente pequeño, potencialmente afectando capacidad de generalización del modelo

Direcciones Futuras

1. Extensión a nivel de párrafo/artículo: Modelado de estructuras de discurso complejas en unidades de texto más grandes
2. Extensión multilingüe: Aplicación a otros idiomas y contextos culturales
3. Modelado de relaciones fuente-afirmación: Modelado explícito de correspondencias entre fuentes y afirmaciones
4. Aplicación en redes sociales: Extensión a otros tipos de discurso como redes sociales
5. Análisis de dinámicas temporales: Investigación de cambios temporales en patrones de apelaciones epistémicas

Evaluación Profunda

Fortalezas

1. Innovación de tarea: Primera definición y estudio sistemático de la tarea de identificación de apelaciones epistémicas, llenando un vacío de investigación importante
2. Base teórica sólida: Taxonomía de clasificación construida sobre teoría cognitiva y lingüística, con base teórica firme
3. Calidad de anotación alta: Anotaciones granulares a nivel de fragmento, buena consistencia entre anotadores (Kappa=0.82)
4. Valor interdisciplinario: Proporciona recurso valioso para lingüística computacional, ciencia política, comunicación y otros campos
5. Experimentación exhaustiva: Comparación de múltiples arquitecturas de modelos, análisis de desempeño detallado

Deficiencias

1. Limitación de escala de datos: Escala de 3,226 oraciones relativamente pequeña, potencialmente limitando desempeño del modelo y capacidad de generalización
2. Complejidad de anotación: Algunas categorías de etiqueta con muestras escasas, afectando efectividad de aprendizaje del modelo
3. Métricas de evaluación únicas: Uso principalmente de puntuación F1, falta de métricas de evaluación específicas de tarea
4. Análisis de errores insuficiente: Falta análisis profundo de tipos de errores del modelo
5. Validación de aplicación práctica: Falta verificación de efectividad en tareas reales de verificación de hechos o análisis mediático

Impacto

1. Contribución académica: Abre nueva dirección de investigación en campo de procesamiento de lenguaje natural
2. Valor práctico: Aplicable a verificación automática de hechos, detección de sesgo mediático, construcción de gráficos de conocimiento y otras tareas
3. Significado social: Ayuda a comprender y analizar mecanismos de transmisión de información y verificación en medios
4. Reproducibilidad: Datos y código publicados públicamente, facilitando investigación posterior

Escenarios de Aplicación

1. Análisis de medios de comunicación: Análisis de patrones de uso de evidencia en reportajes de noticias
2. Asistencia en verificación de hechos: Proporciona información contextual más rica para sistemas automáticos de verificación de hechos
3. Educación en alfabetización mediática: Ayuda a identificar y analizar estrategias de apelación epistémica en medios
4. Análisis de discurso político: Investigación de patrones de apelación a autoridad en comunicación política
5. Construcción de gráficos de conocimiento: Proporciona base para construcción de gráficos de conocimiento que incluyen relaciones de evidencia

Referencias

• Thorne et al. (2018): Conjunto de datos FEVER, extracción y verificación de hechos a gran escala
• Sauri and Pustejovsky (2009): Trabajo temprano en detección de facticidad
• Da San Martino et al. (2019): Análisis granular de técnicas de propaganda
• Collins and Evans (2002): Tercera ola de investigación en conocimiento experto y experiencia
• Anderson (2021): Burbujas epistémicas y política autoritaria

Este artículo realiza contribuciones pioneras en la tarea emergente de identificación de apelaciones epistémicas, no solo proporcionando un conjunto de datos anotado de alta calidad, sino también estableciendo un marco teórico sistemático y líneas base experimentales. Aunque hay espacio para mejora en escala de datos y desempeño del modelo, su valor de investigación interdisciplinario y potencial de aplicación práctica lo convierten en un trabajo importante en el campo.