Patentformer: Una demostración de redacción de patentes automatizada asistida por IA

Información Básica

• ID del Artículo: 2510.09752
• Título: Patentformer: A demonstration of AI-assisted automated patent drafting
• Autores: Sai Krishna Reddy Mudhiganti, Juanyan Wang, Ruo Yang, Manali Sharma (Samsung Semiconductor, Inc.)
• Clasificación: cs.LG cs.AI cs.CY
• Fecha de Publicación/Conferencia: EMNLP 2024 Industry Track
• Enlace del Artículo: https://arxiv.org/abs/2510.09752

Resumen

La redacción de patentes presenta desafíos significativos, ya que depende de la experiencia y conocimiento especializados de abogados de patentes, quienes deben poseer agudeza legal y comprensión técnica de las invenciones para redactar solicitudes de patentes en un estilo formal de escritura legal. Este artículo presenta Patentformer, una plataforma de redacción de patentes automatizada impulsada por IA, diseñada para apoyar a los abogados de patentes mediante la generación rápida de solicitudes de patentes de alta calidad que cumplan con los estándares de escritura legal.

Antecedentes de Investigación y Motivación

Problemas a Resolver

1. Costo elevado de redacción de patentes: La redacción tradicional de patentes cuesta en promedio más de 10,000 dólares estadounidenses y requiere que los abogados de patentes posean experiencia dual en derecho y tecnología
2. Complejidad de documentos de patentes: Los documentos de patentes contienen múltiples secciones organizadas de manera rigurosa (título, resumen, reivindicaciones, especificación, etc.), requiriendo un estilo de escritura legal preciso
3. Limitaciones de los LLM existentes: Los modelos de lenguaje grandes de propósito general enfrentan desafíos significativos en la generación de especificaciones de patentes

Importancia del Problema

• La especificación de patentes es la parte más importante de un documento de patente, requiriendo un esfuerzo considerable para su redacción
• Cada reivindicación debe estar explícitamente respaldada por la especificación
• Los documentos de patentes difieren fundamentalmente del texto general en naturaleza legal y técnica

Limitaciones de Métodos Existentes

1. Adaptación deficiente al dominio: La mayoría de los LLM preentrenados no fueron entrenados en datos de patentes, dificultando la adaptación a estilos de escritura precisos y requisitos legales
2. Limitaciones de longitud: Las especificaciones de patentes típicamente abarcan múltiples páginas, mientras que los LLM están limitados por restricciones de tokens fijos (512, 1024, 2048 o 4096 tokens)
3. Procesamiento de relaciones complejas: Las patentes contienen relaciones complejas entre reivindicaciones y descripciones de figuras, que los LLM generales tienen dificultad para procesar

Contribuciones Principales

1. Desarrollo e implementación de la plataforma Patentformer: Accesible en https://patentformer.com, que acepta reivindicaciones de patentes y texto de figuras correspondientes como entrada, generando especificaciones de patentes de alta calidad
2. Construcción de datos de entrenamiento especializados: Conjunto de datos Patent-2015-2024-G06F que contiene 1,006,494 muestras, publicado públicamente en HuggingFace
3. Desarrollo de métodos de aumento de datos: Método especializado de construcción de datos de entrenamiento que convierte texto puro en representaciones enriquecidas, mejorando significativamente la calidad de salida
4. Realización de investigación con usuarios: Evaluación cuantitativa de la efectividad de Patentformer en la generación de especificaciones de patentes

Explicación Detallada del Método

Definición de la Tarea

Dado un documento de patente P, que contiene:

• l secuencias de reivindicaciones: C = {c₁, c₂, ..., cₗ}
• m párrafos de especificación: S = {s₁, s₂, ..., sₘ}
• t imágenes de figuras: I = {i₁, i₂, ..., iₜ}
• t descripciones breves de figuras: B = {b₁, b₂, ..., bₜ}
• Pares nombre de componente-número: N = {n₁, n₂, ..., nₜ}

Objetivo de la tarea: Utilizando reivindicaciones C, descripciones de figuras B y pares nombre de componente-número N como entrada, generar la especificación de salida S.

Arquitectura del Modelo

1. Procesamiento de Entrada

• Procesamiento de reivindicaciones: Los usuarios cargan el texto de reivindicaciones C y las figuras correspondientes I
• Procesamiento de figuras: Identificación automática de componentes clave y sus números N'
• Mejora de texto: Conversión de entrada a representación mejorada T' = (C', B', N')

2. Interfaz de Mapeo

• Proporciona interfaz de usuario para definir relaciones entre características de reivindicaciones y figuras
• Estrategia de coincidencia automática basada en similitud de coseno, puntuaciones BLEU-1 y BLEU-2
• Utiliza umbral de 0.1 para seleccionar los 5 componentes coincidentes principales para cada característica de reivindicación

3. Módulo de Generación

• Utiliza modelo T5-11B ajustado finamente en datos de patentes
• Procesa tupla de entrada de texto estructurado T' = (C', N', B')
• Genera especificación de patente mejorada S'
• Pasos de postprocesamiento para que la salida cumpla con convenciones estándar de escritura de patentes

Puntos de Innovación Técnica

1. Método de aumento de datos: En lugar de utilizar texto sin procesar T = (C, B, N), se diseña una versión enriquecida T' = (C', B', N') para entrenamiento
2. Entrenamiento especializado: Ajuste fino del modelo T5-11B en datos de patentes de USPTO, aprendiendo convenciones de estilo y estructura de escritura de patentes
3. Mapeo interactivo: Proporciona interfaz amigable para establecer correspondencias entre reivindicaciones y componentes de figuras
4. Proceso automatizado: Redacción de patentes automatizada de extremo a extremo, desde procesamiento de entrada hasta salida final

Configuración Experimental

Conjunto de Datos

• Patent-2015-2024-G06F: Primer conjunto de datos que contiene especificaciones de patentes, reivindicaciones y figuras
• Escala: 1,006,494 muestras de entrenamiento
• Fuente: Patentes de categoría CPC G06F de USPTO 2015-2024
• Procesamiento: Truncamiento de texto a 512 tokens

Métricas de Evaluación

Investigación con usuarios empleando cuatro dimensiones ortogonales de puntuación (0-100 puntos):

1. Calidad del lenguaje: Expresión lingüística y calidad de escritura del documento
2. Calidad legal: Cumplimiento con requisitos legales y estándares de escritura de patentes
3. Calidad de descripción de figuras: Capacidad de describir figuras con precisión
4. Calidad técnica: Precisión e integridad del contenido técnico

Métodos de Comparación

Comparación con baselines de LLM de última generación de propósito general (resultados detallados en Wang et al., 2024)

Detalles de Implementación

• Modelo: T5-11B
• Estrategia de entrenamiento: Ajuste fino basado en versión preentrenada
• Hardware: Soporte para aceleración GPU, cambio automático a CPU sin GPU
• Postprocesamiento: Utiliza estrategias definidas por Wang et al. (2024)

Resultados Experimentales

Resultados Principales

Investigación con usuarios basada en puntuaciones de 30 generaciones:

Análisis de Desempeño

Tiempo de Ejecución

Precisión de Mapeo Automático

• Precision@5: 0.565
• Precision@3: 0.6
• Evaluado en aproximadamente 6,000 muestras

Hallazgos Experimentales

1. Calidad legal excepcional: Como el aspecto más importante de la redacción de patentes, la calidad legal alcanza puntuación cercana a perfecta, demostrando que el modelo aprendió bien las características de documentos legales
2. Expresión lingüística buena: Incluso con tokens especiales de cifrado de entrada durante el ajuste fino, los usuarios están satisfechos con la calidad del lenguaje
3. Limitaciones multimodales: La calidad de descripción de figuras y técnica es relativamente baja, principalmente porque:
   • El modelo actual utiliza texto de descripción de figuras en lugar de procesar imágenes directamente
   • El modelo es texto-a-texto, careciendo de capacidad de comprensión multimodal

Trabajo Relacionado

Direcciones Principales de Investigación

1. Generación de texto de patentes:
   • Lee & Hsiang (2020): Ajuste fino de GPT-2 para generar reivindicaciones de patentes
   • Jiang et al. (2024): Generación de reivindicaciones de patentes a partir de descripciones detalladas
   • Christofidellis et al. (2022): Patent Generative Transformer (PGT)
2. Resumen de texto de patentes:
   • Generación de títulos (Souza et al., 2021)
   • Generación de resúmenes (Guoliang et al., 2023; Zhu et al., 2023)
   • Resumen de estado de la técnica (Lee & Hsiang, 2020c)
3. Transformación de texto estructurado:
   • Utilización de metadatos de estructura dentro de documentos de patentes para guiar generación de texto
   • Métodos de control de generación de texto de patentes basados en búsqueda semántica

Singularidad de Este Trabajo

Según el conocimiento de los autores, Patentformer es la primera plataforma que genera especificaciones de patentes completas de alta calidad a partir de reivindicaciones y texto de figuras.

Conclusiones y Discusión

Conclusiones Principales

1. Patentformer demuestra exitosamente la viabilidad de la redacción de patentes automatizada asistida por IA
2. Mediante métodos especializados de construcción de datos y ajuste fino, es posible generar especificaciones de patentes de alta calidad que cumplan con requisitos legales y técnicos
3. La investigación con usuarios confirma la efectividad del sistema en aspectos de calidad lingüística y legal

Limitaciones

1. Ausencia de capacidad multimodal: El sistema actual depende de descripciones de figuras proporcionadas por el usuario, sin capacidad de comprensión directa de imágenes
2. Calidad técnica limitada: Aún hay espacio para mejora en precisión e integridad del contenido técnico
3. Capacidad de procesamiento de figuras: Carece de capacidad de comprensión visual directa de figuras de patentes

Direcciones Futuras

1. Desarrollo de modelos multimodales: Integración de Large Vision-Language Models (LVLMs) para interpretación automática de información textual y visual
2. Automatización de generación de figuras: Utilización de modelos de generación de imágenes como Stable Diffusion para generar automáticamente figuras de patentes según entrada del usuario
3. Automatización de extremo a extremo: Reducción de requisitos de entrada manual, mejorando aún más la eficiencia de redacción de patentes

Evaluación Profunda

Fortalezas

1. Fuerte practicidad: Resuelve puntos de dolor reales de la industria de patentes, con valor comercial claro
2. Innovación metodológica: Estrategia de aumento de datos y métodos de entrenamiento especializado poseen innovación técnica
3. Sistema completo: Proporciona solución completa desde entrada hasta salida, incluyendo interfaz interactiva amigable
4. Evaluación suficiente: Evaluación en escenarios de aplicación real mediante investigación con usuarios expertos
5. Contribución de código abierto: Publicación pública de conjunto de datos de patentes a gran escala, promoviendo desarrollo de investigación en el campo

Insuficiencias

1. Escala de evaluación limitada: Investigación con usuarios basada en solo 30 generaciones de un experto, muestra de evaluación relativamente pequeña
2. Ausencia multimodal: Incapacidad de procesar información de imágenes es limitación significativa, afectando calidad de descripción de figuras y técnica
3. Limitación de dominio: Entrenamiento solo en patentes de categoría G06F, capacidad de generalización por verificar
4. Consideraciones de costo: Costo de ejecución en GPU y consumo de tiempo pueden convertirse en factores limitantes en implementación real

Impacto

1. Contribución al campo: Primera realización de generación automática de especificaciones de patentes completas, abriendo nueva dirección en campo de IA de patentes
2. Valor práctico: Puede reducir significativamente costos de redacción de patentes, mejorando eficiencia de trabajo de abogados de patentes
3. Reproducibilidad: Proporciona sistema de demostración en línea y conjunto de datos público, con buena reproducibilidad
4. Impacto industrial: Como investigación de industria de Samsung, posee fuerte potencial de transformación industrial

Escenarios Aplicables

1. Herramienta de asistencia para abogados de patentes: Ayuda a abogados de patentes a generar rápidamente borradores iniciales, mejorando eficiencia de trabajo
2. Departamentos de patentes empresariales: Automatización de procesos de solicitud de patentes en grandes empresas de tecnología
3. Agencias de representación de patentes: Mejora de eficiencia y calidad de servicios de representación de patentes
4. Instituciones de investigación y desarrollo: Asistencia a investigadores en comprensión de normas y requisitos de redacción de patentes

Referencias Bibliográficas

Este artículo hace referencia principalmente a trabajos importantes en campos relacionados con generación de texto de patentes, modelos de lenguaje grandes y requisitos legales de patentes, incluyendo:

• Wang et al. (2024): Algoritmo central de Patentformer
• Raffel et al. (2020): Fundamentos del modelo T5
• Múltiples investigaciones relacionadas con generación de texto de patentes (serie Lee & Hsiang, Jiang et al., Christofidellis et al.)

Evaluación General: Este es un artículo de alta calidad con fuerte orientación práctica, con significado pionero en el campo de IA de patentes. Aunque existen limitaciones en procesamiento multimodal y escala de evaluación, su innovación técnica y valor práctico lo convierten en una contribución importante al campo.