Extracción de Ontología Meronómica mediante Modelos de Lenguaje de Gran Escala

Información Básica

• ID del Artículo: 2510.13839
• Título: Extracción de Ontología Meronómica mediante Modelos de Lenguaje de Gran Escala
• Autores: Dekai Zhang (Imperial College London), Simone Conia (Sapienza University of Rome), Antonio Rago (Imperial College London & King's College London)
• Clasificación: cs.CL cs.AI
• Fecha de Publicación: 11 de octubre de 2025 (preimpresión en arXiv)
• Enlace del Artículo: https://arxiv.org/abs/2510.13839

Resumen

Este artículo aprovecha los avances recientes en modelos de lenguaje de gran escala (LLMs) para desarrollar un método completamente automatizado que extrae ontologías de productos (en forma de relaciones parte-todo) a partir de texto de reseñas sin procesar. La investigación demuestra que la ontología generada por este método supera los métodos de referencia basados en BERT existentes en evaluaciones que utilizan LLMs como evaluadores. Este trabajo sienta las bases para aplicaciones más amplias de LLMs en tareas de extracción de ontologías.

Antecedentes de Investigación y Motivación

Definición del Problema

En la era digital, grandes volúmenes de datos de texto no estructurado requieren ser organizados y estructurados mediante ontologías. Particularmente en el comercio electrónico, innumerables listados de productos necesitan estructuras de organización de productos apropiadas. Las relaciones parte-todo (relaciones meronómicas) tienen un valor importante en tareas posteriores como agregación de reseñas, análisis de sentimientos y preguntas y respuestas sobre productos.

Limitaciones de Métodos Existentes

1. Alto costo de construcción manual: La construcción manual de ontologías es un proceso que consume tiempo, es costoso y laborioso
2. Métodos de automatización insuficientes: La investigación anterior se ha centrado principalmente en relaciones taxonómicas en lugar de la extracción de relaciones parte-todo
3. Dificultad de evaluación: Falta de conjuntos de datos de referencia estándar, lo que dificulta la evaluación efectiva de la calidad de las ontologías parte-todo
4. Dependencia de anotación humana: Los métodos existentes, como el método BERT de Oksanen et al. (2021), aún requieren cierto grado de anotación manual

Motivación de la Investigación

Este artículo tiene como objetivo aprovechar el poder de los LLMs para desarrollar un método completamente automatizado de extracción de ontologías parte-todo y proponer un nuevo marco de evaluación para validar la efectividad del método.

Contribuciones Principales

1. Propuesta de método LLM completamente automatizado: Desarrollo de un método completamente automatizado que utiliza LLMs para la extracción de ontologías parte-todo, generalizable entre diferentes categorías de productos
2. Marco de evaluación innovador: Propuesta de un nuevo método para evaluación empírica de tareas de extracción de ontologías parte-todo utilizando LLMs como evaluadores (LLM-as-a-judge)
3. Verificación de mejora de rendimiento: Demostración experimental de que el método LLM supera significativamente al método de referencia basado en BERT en términos de relevancia
4. Código de código abierto: Provisión de código de implementación completo para promover la reproducibilidad de la investigación

Explicación Detallada del Método

Definición de la Tarea

Entrada: Texto de reseñas de productos Salida: Gráfico de ontología parte-todo, que contiene nodos de conceptos y relaciones "parte-todo" entre ellos Restricciones: Las relaciones deben ser relaciones parte-todo significativas, los conceptos deben estar relacionados con el producto

Arquitectura del Modelo

El método propuesto contiene un pipeline de cuatro etapas principales:

1. Extracción de Aspectos

• Método: Ajuste fino de Mistral-7B-Instruct-v0.2
• Datos de entrenamiento: Conjunto de datos SemEval-2014 Task 4 (1600 muestras)
• Postprocesamiento: Uso de etiquetado POS para filtrar, conservando solo sustantivos que aparecen realmente en las reseñas
• Control de salida: Selección de los 50 aspectos más comunes

2. Extracción de Conjuntos de Sinónimos

• Modelo de incrustación: Modelo FastText ajustado (manejo de errores ortográficos y abreviaturas)
• Algoritmo de agrupamiento: Agrupamiento de nodos equidistantes (ENC) basado en similitud de coseno
• Ventaja: Produce resultados de agrupamiento más precisos en comparación con K-means

3. Extracción de Conceptos

• Selección de representante: Selección del término más frecuente en cada conjunto de sinónimos como representante
• Determinación de relevancia: Uso de indicaciones LLM para determinar si un término debe incluirse en la ontología
• Criterios de filtrado: Relevancia, especificidad, jerarquía

4. Extracción de Relaciones

• Procesamiento de entrada: Extracción de oraciones que contienen dos aspectos de diferentes conjuntos de sinónimos
• Diseño de tarea: Pregunta de opción múltiple (el aspecto A es parte del aspecto B / el aspecto B es parte del aspecto A / sin relación)
• Entrenamiento del modelo: Ajuste fino del modelo Mistral mediante destilación en 1000 muestras sintéticas

Puntos de Innovación Técnica

1. Pipeline LLM de extremo a extremo: Logra un mayor grado de automatización en comparación con el método BERT
2. Restricciones de salida estructurada: Uso de restricciones de sintaxis JSON para garantizar consistencia de formato de salida
3. Optimización multietapa: Cada etapa se optimiza para tareas específicas, mejorando el rendimiento general
4. Mitigación de alucinaciones: Reducción de problemas de alucinación de LLM mediante filtrado POS y ajuste fino

Configuración Experimental

Conjunto de Datos

• Fuente: Conjunto de datos Amazon Reviews 2023
• Categorías de productos: 5 categorías (videojuegos, televisores, collares/relojes, licuadoras de pie)
• Escala de datos: 100,000 reseñas por producto (26,464 para licuadoras)
• Límite de procesamiento: Tareas LLM utilizan 1000 reseñas (considerando tiempo de procesamiento)

Métricas de Evaluación

Criterios de Evaluación de Términos:

1. Relevancia: ¿El término representa con precisión una parte o componente del producto?
2. Especificidad: ¿El término tiene un nivel apropiado de especificidad?
3. Claridad: ¿El término comunica claramente la intención, evitando ambigüedad?
4. Coincidencia de producto: ¿El término se ajusta lógicamente al producto dado?

Criterios de Evaluación de Relaciones:

1. Jerarquía lógica: ¿El nodo hijo representa una parte o característica lógica del nodo padre?
2. Coincidencia contextual: ¿Es la relación razonable en la categoría de producto de Amazon?
3. Claridad y especificidad: ¿La relación evita ambigüedad y define claramente la relación parte-todo?

Métodos de Comparación

• Método de referencia: Método basado en BERT de Oksanen et al. (2021)
• Método de evaluación: Gemini 1.5 Flash como evaluador LLM
• Versiones de comparación: Versión completa y versión acortada (igual número de términos que la referencia)

Detalles de Implementación

• Hardware: GPU NVIDIA GeForce RTX 4090
• Optimizador: Adam (tasa de aprendizaje 10^-4)
• Técnica de ajuste fino: LoRA (r=4, α=16)
• Épocas de entrenamiento: 3 épocas, tamaño de lote 16

Resultados Experimentales

Resultados Principales

Evaluación de Calidad de Términos

Evaluación de Calidad de Relaciones

Experimentos de Ablación

Comparación de Métodos de Extracción de Aspectos

Comparación de Métodos de Extracción de Relaciones

Análisis de Eficiencia

Tiempo de Procesamiento del Método Propuesto

Tiempo de Procesamiento de la Referencia BERT

Hallazgos Experimentales

1. Mejora de calidad: El método LLM supera significativamente la referencia BERT tanto en calidad de términos como de relaciones
2. Importancia del ajuste fino: El ajuste fino proporciona mejoras de rendimiento significativas en comparación con métodos de indicación pura
3. Costo computacional: El método LLM tiene mayor calidad pero costo computacional aproximadamente 6 veces mayor que el método BERT
4. Selección de algoritmo de agrupamiento: ENC produce conjuntos de sinónimos más precisos en comparación con K-means

Trabajo Relacionado

Aprendizaje de Ontologías

El aprendizaje tradicional de ontologías se basa principalmente en métodos de aprendizaje profundo, pero la mayoría se centra en relaciones taxonómicas en lugar de la extracción de relaciones parte-todo.

Aplicación de LLMs en Construcción de Ontologías

La investigación reciente ha comenzado a explorar la aplicación de LLMs en tareas clave de aprendizaje de ontologías como extracción de términos y relaciones, pero se enfoca principalmente en relaciones taxonómicas.

Métodos de Evaluación

Debido a la falta de puntos de referencia estándar, la evaluación de la calidad de las ontologías siempre ha sido un desafío. El método LLM-as-a-judge propuesto en este artículo proporciona una nueva solución a este problema.

Conclusiones y Discusión

Conclusiones Principales

1. El método LLM supera significativamente los métodos BERT existentes en la tarea de extracción de ontologías parte-todo
2. El ajuste fino y las restricciones de salida estructurada son factores clave para mejorar el rendimiento
3. LLM-as-a-judge proporciona una solución viable para la evaluación de la calidad de ontologías

Limitaciones

1. Dependencia de evaluación: Depende principalmente de LLM-as-a-judge, carece de validación mediante estudios de usuarios
2. Costo computacional: Costo computacional significativamente mayor en comparación con el método BERT
3. Problema de alucinaciones: Los LLMs aún presentan problemas de generación de aspectos no relevantes
4. Ausencia de puntos de referencia: Falta de conjuntos de datos de referencia estándar en el campo de ontologías de productos

Direcciones Futuras

1. Construcción de puntos de referencia estándar: Establecimiento de conjuntos de datos de referencia estándar para esta tarea
2. Validación mediante estudios de usuarios: Verificación de la practicidad de las ontologías mediante estudios de usuarios
3. Generalización del método: Exploración de la aplicación del método en otros tipos de ontologías (como ontologías taxonómicas)
4. Mitigación de alucinaciones: Investigación de métodos que integren múltiples LLMs para reducir alucinaciones de modelos individuales

Evaluación Profunda

Fortalezas

1. Fuerte innovación: Primera aplicación sistemática de LLMs a la extracción de ontologías parte-todo
2. Método completo: Proporciona una solución de pipeline completa de extremo a extremo
3. Evaluación innovadora: Propone el marco de evaluación LLM-as-a-judge
4. Experimentación suficiente: Incluye experimentos de ablación detallados y análisis de eficiencia
5. Contribución de código abierto: Proporciona implementación de código abierto completa

Deficiencias

1. Limitaciones de evaluación: Dependencia excesiva de evaluación LLM, falta de validación mediante evaluación humana
2. Consideración de costos: Costo computacional significativamente mayor pero sin discusión suficiente del análisis costo-beneficio
3. Generalización: Validación solo en 5 categorías de productos, generalización requiere verificación adicional
4. Comparación de puntos de referencia: Comparación insuficiente con más métodos existentes

Impacto

1. Valor académico: Proporciona referencia importante para la aplicación de LLMs en construcción de ontologías
2. Valor práctico: Tiene potencial de aplicación directa en campos como comercio electrónico
3. Contribución metodológica: El marco de evaluación LLM-as-a-judge tiene amplia aplicabilidad
4. Reproducibilidad: Proporciona detalles de implementación detallados y código de código abierto

Escenarios Aplicables

1. Plataformas de comercio electrónico: Clasificación de productos y sistemas de recomendación
2. Construcción de gráficos de conocimiento: Construcción automatizada de ontologías
3. Extracción de información: Extracción de relaciones estructuradas de texto no estructurado
4. Análisis de reseñas: Identificación de características y componentes de productos

Referencias Bibliográficas

Este artículo cita trabajos importantes en campos relacionados, incluyendo:

• Oksanen et al. (2021): Método de extracción de ontología de productos basado en BERT
• Devlin et al. (2019): Modelo BERT
• Jiang et al. (2023): Modelo Mistral
• Pontiki et al. (2014): Conjunto de datos SemEval-2014 Task 4

Evaluación General: Este es un artículo con contribuciones importantes en el campo de la extracción de ontologías parte-todo. El método es altamente innovador, el diseño experimental es razonable y los resultados son convincentes. Aunque existen algunas limitaciones en los métodos de evaluación y el costo computacional, proporciona información valiosa y herramientas para el desarrollo del campo.