Patentformer: Демонстрация AI-ассистированного автоматизированного составления патентов

Основная информация

• ID статьи: 2510.09752
• Название: Patentformer: A demonstration of AI-assisted automated patent drafting
• Авторы: Sai Krishna Reddy Mudhiganti, Juanyan Wang, Ruo Yang, Manali Sharma (Samsung Semiconductor, Inc.)
• Классификация: cs.LG cs.AI cs.CY
• Дата публикации/конференция: EMNLP 2024 Industry Track
• Ссылка на статью: https://arxiv.org/abs/2510.09752

Аннотация

Составление патентов сталкивается со значительными вызовами, поскольку требует обширного опыта и специальных знаний патентных поверенных, которые должны обладать юридической компетентностью и техническим пониманием изобретения для составления патентных заявок в формальном юридическом стиле. В данной статье представлена Patentformer — платформа автоматизированного составления патентов на основе искусственного интеллекта, предназначенная для поддержки патентных поверенных путём быстрого создания высококачественных патентных заявок, соответствующих стандартам юридического письма.

Исследовательский контекст и мотивация

Проблемы, которые необходимо решить

1. Высокая стоимость составления патентов: Традиционное составление патентов обходится в среднем более чем в 10 000 долларов США и требует от патентных поверенных двойной специализации в области права и техники
2. Сложность патентных документов: Патентные документы содержат несколько тщательно организованных разделов (название, реферат, формула изобретения, описание и т.д.), требующих точного юридического стиля письма
3. Ограничения существующих LLM: Универсальные большие языковые модели сталкиваются со значительными трудностями при генерации описания патентов

Значимость проблемы

• Описание патента является наиболее важной частью патентного документа, требующей значительных усилий при составлении
• Каждый пункт формулы изобретения должен быть явно поддержан описанием
• Патентные документы принципиально отличаются от обычного текста по юридическому и техническому характеру

Ограничения существующих подходов

1. Плохая адаптация к предметной области: Большинство предварительно обученных LLM не обучены на патентных данных и с трудом адаптируются к точному стилю письма и юридическим требованиям
2. Ограничения по длине: Описания патентов обычно занимают несколько страниц, тогда как LLM ограничены фиксированным количеством токенов (512, 1024, 2048 или 4096 токенов)
3. Обработка сложных отношений: Патенты содержат сложные связи между пунктами формулы изобретения и описаниями чертежей, которые сложно обрабатывать универсальным LLM

Основные вклады

1. Разработка и развёртывание платформы Patentformer: Доступна на https://patentformer.com, принимает пункты формулы изобретения и соответствующий текст чертежей в качестве входных данных и генерирует высококачественные описания патентов
2. Создание специализированного набора обучающих данных: Набор данных Patent-2015-2024-G06F, содержащий 1 006 494 образца, опубликован в открытом доступе на HuggingFace
3. Разработка методов увеличения данных: Специализированный метод построения обучающих данных для преобразования простого текста в обогащённые представления, значительно повышающий качество выходных данных
4. Проведение пользовательского исследования: Количественная оценка эффективности Patentformer при генерации описаний патентов

Подробное описание методологии

Определение задачи

Дан патентный документ P, содержащий:

• l последовательностей пунктов формулы изобретения: C = {c₁, c₂, ..., cₗ}
• m абзацев описания: S = {s₁, s₂, ..., sₘ}
• t изображений чертежей: I = {i₁, i₂, ..., iₜ}
• t кратких описаний чертежей: B = {b₁, b₂, ..., bₜ}
• пары названий компонентов и номеров: N = {n₁, n₂, ..., nₜ}

Цель задачи: Используя пункты формулы изобретения C, описания чертежей B и пары названий-номеров компонентов N в качестве входных данных, сгенерировать выходное описание S.

Архитектура модели

1. Обработка входных данных

• Обработка пунктов формулы изобретения: Пользователь загружает текст пунктов формулы изобретения C и соответствующие чертежи I
• Обработка чертежей: Автоматическое определение ключевых компонентов и их номеров N'
• Обогащение текста: Преобразование входных данных в обогащённое представление T' = (C', B', N')

2. Интерфейс отображения

• Предоставление пользовательского интерфейса для определения отношений между пунктами формулы изобретения и характеристиками чертежей
• Стратегия автоматического сопоставления на основе косинусного сходства, оценок BLEU-1 и BLEU-2
• Использование порога 0,1 для выбора 5 лучших соответствующих компонентов для каждого признака пункта формулы изобретения

3. Модуль генерации

• Использование модели T5-11B с тонкой настройкой на патентных данных
• Обработка структурированного текстового входного кортежа T' = (C', N', B')
• Генерация обогащённого описания патента S'
• Этап постобработки для приведения выходных данных в соответствие со стандартными соглашениями патентного письма

Технические инновации

1. Метод увеличения данных: Вместо использования исходного текста T = (C, B, N) разработана обогащённая версия T' = (C', B', N') для обучения
2. Специализированное обучение: Тонкая настройка модели T5-11B на данных патентов USPTO, изучение стиля и структурных соглашений патентного письма
3. Интерактивное отображение: Предоставление удобного для пользователя интерфейса для установления соответствия между пунктами формулы изобретения и компонентами чертежей
4. Автоматизированный процесс: Сквозная автоматизация процесса составления патентов от обработки входных данных до окончательного выходного результата

Экспериментальная установка

Набор данных

• Patent-2015-2024-G06F: Первый набор данных, содержащий описания патентов, пункты формулы изобретения и чертежи
• Масштаб: 1 006 494 обучающих образца
• Источник: Патенты USPTO 2015-2024 годов категории G06F CPC
• Обработка: Усечение текста до 512 токенов

Метрики оценки

Пользовательское исследование использует четыре ортогональных измерения оценки (0-100 баллов):

1. Качество языка: Языковое выражение и качество письма документа
2. Юридическое качество: Соответствие юридическим требованиям и стандартам патентного письма
3. Качество описания чертежей: Способность точного описания чертежей
4. Техническое качество: Точность и полнота технического содержания

Методы сравнения

Сравнение с современными универсальными LLM baseline (подробные результаты см. в Wang et al., 2024)

Детали реализации

• Модель: T5-11B
• Стратегия обучения: Тонкая настройка на основе предварительно обученной версии
• Оборудование: Поддержка ускорения GPU, автоматическое переключение на CPU при отсутствии GPU
• Постобработка: Использование стратегии, определённой в Wang et al. (2024)

Результаты экспериментов

Основные результаты

Результаты пользовательского исследования на основе оценок 30 генераций:

Анализ производительности

Время выполнения

Точность автоматического отображения

• Precision@5: 0,565
• Precision@3: 0,6
• Оценка на основе примерно 6 000 образцов

Экспериментальные выводы

1. Превосходное юридическое качество: Как наиболее важный аспект составления патентов, юридическое качество близко к идеальному, что доказывает, что модель хорошо усвоила характеристики юридических документов
2. Хорошее языковое выражение: Несмотря на использование специальных токенов для шифрования входных данных во время тонкой настройки, пользователи удовлетворены качеством языка
3. Ограничения мультимодальности: Относительно низкое качество описания чертежей и техническое качество, главным образом потому что:
   • Текущая модель использует текстовые описания чертежей вместо прямой обработки изображений
   • Модель является моделью текст-в-текст и не имеет возможности мультимодального понимания

Связанные работы

Основные направления исследований

1. Генерация текстов патентов:
   • Lee & Hsiang (2020): Тонкая настройка GPT-2 для генерации пунктов формулы изобретения
   • Jiang et al. (2024): Генерация пунктов формулы изобретения из подробных описаний
   • Christofidellis et al. (2022): Patent Generative Transformer (PGT)
2. Реферирование текстов патентов:
   • Генерация названий (Souza et al., 2021)
   • Генерация рефератов (Guoliang et al., 2023; Zhu et al., 2023)
   • Реферирование уровня техники (Lee & Hsiang, 2020c)
3. Преобразование структурированного текста:
   • Использование структурных метаданных в патентных документах для направления генерации текста
   • Методы управления генерацией текста патентов на основе семантического поиска

Уникальность данной работы

Насколько известно авторам, Patentformer является первой платформой, генерирующей полные высококачественные описания патентов на основе пунктов формулы изобретения и текстов чертежей.

Заключение и обсуждение

Основные выводы

1. Patentformer успешно демонстрирует осуществимость AI-ассистированного автоматизированного составления патентов
2. Благодаря специализированным методам построения данных и тонкой настройке можно генерировать высококачественные описания патентов, соответствующие юридическим и техническим требованиям
3. Пользовательское исследование подтверждает эффективность системы в отношении качества языка и юридического качества

Ограничения

1. Отсутствие мультимодальных возможностей: Текущая система зависит от описаний чертежей, предоставленных пользователем, и не может напрямую понимать изображения
2. Ограниченное техническое качество: Всё ещё есть место для улучшения в отношении точности и полноты технического содержания
3. Возможности обработки чертежей: Отсутствует прямое визуальное понимание патентных чертежей

Направления будущих исследований

1. Разработка мультимодальных моделей: Интеграция больших моделей зрения и языка (LVLM) для автоматической интерпретации текстовой и визуальной информации
2. Автоматизация генерации чертежей: Использование моделей генерации изображений, таких как Stable Diffusion, для автоматического создания патентных чертежей на основе входных данных пользователя
3. Сквозная автоматизация: Снижение потребности в ручном вводе данных для дальнейшего повышения эффективности составления патентов

Глубокая оценка

Преимущества

1. Высокая практичность: Решает реальные проблемы в патентной отрасли с явной коммерческой ценностью
2. Методологические инновации: Стратегия увеличения данных и методы специализированного обучения обладают технологической новизной
3. Полнота системы: Предоставляет полное решение от входных данных до выходных результатов, включая удобный для пользователя интерфейс
4. Достаточная оценка: Проведена оценка в реальных сценариях применения посредством экспертного пользовательского исследования
5. Вклад в открытый исходный код: Публикация крупномасштабного набора данных о патентах способствует развитию исследований в области

Недостатки

1. Ограниченный масштаб оценки: Пользовательское исследование основано на 30 генерациях одного эксперта, что является относительно небольшим размером выборки
2. Отсутствие мультимодальности: Неспособность обрабатывать информацию об изображениях является значительным ограничением, влияющим на качество описания чертежей и техническое качество
3. Ограничение по предметной области: Обучение проводилось только на патентах категории G06F, способность к обобщению требует проверки
4. Соображения стоимости: Стоимость GPU и временные затраты могут стать ограничивающим фактором при практическом развёртывании

Влияние

1. Вклад в область: Первая реализация автоматической генерации полного описания патента, открывающая новое направление в области AI для патентов
2. Практическая ценность: Может значительно снизить стоимость составления патентов и повысить эффективность работы патентных поверенных
3. Воспроизводимость: Предоставление онлайн-демонстрационной системы и открытого набора данных обеспечивает хорошую воспроизводимость
4. Влияние на промышленность: Как исследование из Samsung, обладает сильным потенциалом для трансформации в промышленность

Применимые сценарии

1. Инструмент поддержки патентных поверенных: Помощь патентным поверенным в быстрой генерации черновиков для повышения эффективности работы
2. Отделы патентов крупных предприятий: Автоматизация процесса подачи патентных заявок в крупных технологических компаниях
3. Агентства патентных поверенных: Повышение эффективности и качества услуг патентного представительства
4. Научно-исследовательские учреждения: Помощь исследователям в понимании норм и требований патентного письма

Библиография

В данной статье основное внимание уделяется важным работам в смежных областях генерации текстов патентов, больших языковых моделей и требований патентного права, включая:

• Wang et al. (2024): Основной алгоритм Patentformer
• Raffel et al. (2020): Основы модели T5
• Многочисленные исследования, связанные с генерацией текстов патентов (серия Lee & Hsiang, Jiang et al., Christofidellis et al.)

Общая оценка: Это высококачественная статья промышленного исследования с сильной практической ориентацией, имеющая новаторское значение в области AI для патентов. Несмотря на ограничения в обработке мультимодальных данных и масштабе оценки, её технологические инновации и практическая ценность делают её важным вкладом в эту область.