Patentformer: A demonstration of AI-assisted automated patent drafting

基本信息

• 论文ID: 2510.09752
• 标题: Patentformer: A demonstration of AI-assisted automated patent drafting
• 作者: Sai Krishna Reddy Mudhiganti, Juanyan Wang, Ruo Yang, Manali Sharma (Samsung Semiconductor, Inc.)
• 分类: cs.LG cs.AI cs.CY
• 发表时间/会议: EMNLP 2024 Industry Track
• 论文链接: https://arxiv.org/abs/2510.09752

摘要

专利起草面临重大挑战，因为它依赖于专利律师的丰富经验和专业知识，他们必须具备法律敏锐度和对发明的技术理解，以正式的法律写作风格起草专利申请。本文展示了Patentformer，这是一个AI驱动的自动化专利起草平台，旨在通过快速生成符合法律写作标准的高质量专利申请来支持专利律师。

研究背景与动机

要解决的问题

1. 专利起草成本高昂：传统专利起草平均成本超过1万美元，需要专利律师具备法律和技术双重专业知识
2. 专利文档复杂性：专利文档包含多个组织严密的部分（标题、摘要、权利要求、说明书等），需要精确的法律写作风格
3. 现有LLM的局限性：通用大语言模型在生成专利说明书方面存在显著挑战

问题的重要性

• 专利说明书是专利文档中最重要的部分，需要大量努力起草
• 每个权利要求必须得到说明书的明确支持
• 专利文档与一般文本在法律和技术性质上存在根本差异

现有方法的局限性

1. 领域适应性差：大多数预训练LLM未在专利数据上训练，难以适应精确的写作风格和法律要求
2. 长度限制：专利说明书通常跨越多页，而LLM受到固定token限制（512、1024、2048或4096 tokens）
3. 复杂关系处理：专利包含权利要求和图纸描述之间的复杂关系，一般LLM难以处理

核心贡献

1. 开发并部署了Patentformer平台：可在https://patentformer.com访问，接受专利权利要求和相应图纸文本作为输入，生成高质量的专利说明书
2. 构建了专门的训练数据：包含1,006,494个样本的Patent-2015-2024-G06F数据集，并公开发布在HuggingFace
3. 开发了数据增强方法：将纯文本转换为丰富表示的专门训练数据构建方法，显著提升输出质量
4. 进行了用户研究：定量评估Patentformer在生成专利说明书方面的有效性

方法详解

任务定义

给定专利文档P，包含：

• l个权利要求序列：C = {c₁, c₂, ..., cₗ}
• m个说明书段落：S = {s₁, s₂, ..., sₘ}
• t个图纸图像：I = {i₁, i₂, ..., iₜ}
• t个图纸简要描述：B = {b₁, b₂, ..., bₜ}
• 组件名称-编号对：N = {n₁, n₂, ..., nₜ}

任务目标：使用权利要求C、图纸描述B和组件名称-编号对N作为输入，生成输出说明书S。

模型架构

1. 输入处理

• 权利要求处理：用户上传权利要求文本C和相应图纸I
• 图纸处理：自动识别关键组件及其编号N'
• 文本增强：将输入转换为增强表示T' = (C', B', N')

2. 映射接口

• 提供用户界面定义权利要求和图纸特征之间的关系
• 基于余弦相似度、BLEU-1和BLEU-2分数的自动匹配策略
• 使用0.1阈值选择每个权利要求特征的前5个匹配组件

3. 生成模块

• 使用T5-11B模型在专利数据上fine-tuning
• 处理结构化文本输入元组T' = (C', N', B')
• 生成增强版专利说明书S'
• 后处理步骤使输出符合标准专利写作约定

技术创新点

1. 数据增强方法：不使用原始文本T = (C, B, N)，而是设计丰富版本T' = (C', B', N')进行训练
2. 专门化训练：在USPTO专利数据上fine-tuning T5-11B模型，学习专利写作的风格和结构约定
3. 交互式映射：提供用户友好的界面建立权利要求与图纸组件之间的对应关系
4. 自动化流程：从输入处理到最终输出的端到端自动化专利起草流程

实验设置

数据集

• Patent-2015-2024-G06F：首个包含专利说明书、权利要求和图纸的数据集
• 规模：1,006,494个训练样本
• 来源：USPTO 2015-2024年G06F CPC类别专利
• 处理：文本截断至512 tokens

评价指标

用户研究中采用四个正交维度评分（0-100分）：

1. 语言质量：文档的语言表达和写作质量
2. 法律质量：符合法律要求和专利写作标准
3. 图纸描述质量：对图纸的准确描述能力
4. 技术质量：技术内容的准确性和完整性

对比方法

与最先进的通用LLM baseline进行比较（详细结果见Wang et al., 2024）

实现细节

• 模型：T5-11B
• 训练策略：在预训练版本基础上fine-tuning
• 硬件：支持GPU加速，无GPU时自动切换到CPU
• 后处理：使用Wang et al. (2024)定义的策略

实验结果

主要结果

用户研究基于30次生成的评分结果：

性能分析

运行时间

自动映射精度

• Precision@5: 0.565
• Precision@3: 0.6
• 基于约6,000个样本评估

实验发现

1. 法律质量优异：作为专利起草最重要的方面，法律质量接近满分，证明模型很好地学习了法律文档特征
2. 语言表达良好：即使在fine-tuning过程中使用特殊token加密输入，用户对语言质量满意
3. 多模态局限性：图纸描述和技术质量相对较低，主要因为：
   • 当前模型使用图纸描述文本而非直接处理图像
   • 模型是文本到文本模型，缺乏多模态理解能力

相关工作

主要研究方向

1. 专利文本生成：
   • Lee & Hsiang (2020): GPT-2 fine-tuning生成专利权利要求
   • Jiang et al. (2024): 从详细描述生成专利权利要求
   • Christofidellis et al. (2022): Patent Generative Transformer (PGT)
2. 专利文本摘要：
   • 标题生成 (Souza et al., 2021)
   • 摘要生成 (Guoliang et al., 2023; Zhu et al., 2023)
   • 现有技术摘要 (Lee & Hsiang, 2020c)
3. 结构化文本转换：
   • 利用专利文档内结构元数据指导文本生成
   • 基于语义搜索的专利文本生成控制方法

本文的独特性

据作者所知，Patentformer是第一个从权利要求和图纸文本生成完整高质量专利说明书的平台。

结论与讨论

主要结论

1. Patentformer成功展示了AI辅助自动化专利起草的可行性
2. 通过专门的数据构建方法和fine-tuning，能够生成符合法律和技术要求的高质量专利说明书
3. 用户研究证实了系统在语言和法律质量方面的有效性

局限性

1. 多模态能力缺失：当前系统依赖用户提供的图纸描述，无法直接理解图像
2. 技术质量有限：在技术内容的准确性和完整性方面仍有改进空间
3. 图纸处理能力：缺乏对专利图纸的直接视觉理解能力

未来方向

1. 多模态模型开发：集成Large Vision-Language Models (LVLMs)，实现文本和视觉信息的自动解释
2. 图纸生成自动化：利用Stable Diffusion等图像生成模型，根据用户输入自动生成专利图纸
3. 端到端自动化：减少手动输入需求，进一步提升专利起草效率

深度评价

优点

1. 实用性强：解决了专利行业的实际痛点，具有明确的商业价值
2. 方法创新：数据增强策略和专门化训练方法具有技术创新性
3. 系统完整：提供了从输入到输出的完整解决方案，包括用户友好的交互界面
4. 评估充分：通过专家用户研究进行了实际应用场景的评估
5. 开源贡献：公开发布了大规模专利数据集，促进领域研究发展

不足

1. 评估规模有限：用户研究仅基于一位专家的30次生成，评估样本相对较小
2. 多模态缺失：无法处理图像信息是显著局限，影响了图纸描述和技术质量
3. 领域局限性：仅在G06F类别专利上训练，泛化能力有待验证
4. 成本考量：GPU运行成本和时间消耗在实际部署中可能成为限制因素

影响力

1. 领域贡献：首次实现了完整专利说明书的自动生成，为专利AI领域开辟了新方向
2. 实用价值：能够显著降低专利起草成本，提高专利律师工作效率
3. 可复现性：提供了在线演示系统和公开数据集，具有良好的可复现性
4. 产业影响：作为来自三星的工业界研究，具有较强的产业转化潜力

适用场景

1. 专利律师辅助工具：帮助专利律师快速生成初稿，提高工作效率
2. 企业专利部门：大型科技公司内部专利申请流程的自动化
3. 专利代理机构：提升专利代理服务的效率和质量
4. 研发机构：辅助研究人员理解专利写作规范和要求

参考文献

本文主要参考了专利文本生成、大语言模型和专利法律要求等相关领域的重要工作，包括：

• Wang et al. (2024): Patentformer核心算法
• Raffel et al. (2020): T5模型基础
• 多项专利文本生成相关研究 (Lee & Hsiang系列, Jiang et al., Christofidellis et al.)

总体评价：这是一篇具有强烈实用导向的高质量工业界论文，在专利AI领域具有开创性意义。虽然在多模态处理和评估规模方面存在局限，但其技术创新和实用价值使其成为该领域的重要贡献。