Patentformer: AI 보조 자동화 특허 작성 시연

기본 정보

• 논문 ID: 2510.09752
• 제목: Patentformer: A demonstration of AI-assisted automated patent drafting
• 저자: Sai Krishna Reddy Mudhiganti, Juanyan Wang, Ruo Yang, Manali Sharma (Samsung Semiconductor, Inc.)
• 분류: cs.LG cs.AI cs.CY
• 발표 시간/학회: EMNLP 2024 Industry Track
• 논문 링크: https://arxiv.org/abs/2510.09752

초록

특허 작성은 특허 변호사의 풍부한 경험과 전문 지식에 의존하기 때문에 중대한 도전 과제를 안고 있습니다. 특허 변호사는 법적 민첩성과 발명에 대한 기술적 이해를 갖추고 공식적인 법률 작성 스타일로 특허 출원서를 작성해야 합니다. 본 논문은 Patentformer를 제시하는데, 이는 법률 작성 기준을 준수하는 고품질 특허 출원서를 신속하게 생성함으로써 특허 변호사를 지원하기 위해 설계된 AI 기반 자동화 특허 작성 플랫폼입니다.

연구 배경 및 동기

해결해야 할 문제

1. 특허 작성 비용 높음: 전통적인 특허 작성의 평균 비용은 1만 달러 이상이며, 특허 변호사는 법률 및 기술 분야의 이중 전문 지식을 갖춰야 함
2. 특허 문서의 복잡성: 특허 문서는 여러 개의 체계적으로 조직된 부분(제목, 초록, 청구항, 명세서 등)을 포함하며 정확한 법률 작성 스타일이 필요함
3. 기존 LLM의 한계: 범용 대규모 언어 모델은 특허 명세서 생성 측면에서 상당한 어려움을 겪음

문제의 중요성

• 특허 명세서는 특허 문서에서 가장 중요한 부분이며 상당한 노력이 필요함
• 각 청구항은 명세서에 의해 명시적으로 뒷받침되어야 함
• 특허 문서는 법률 및 기술적 성질에서 일반 텍스트와 근본적으로 다름

기존 방법의 한계

1. 도메인 적응성 부족: 대부분의 사전 학습된 LLM은 특허 데이터로 학습되지 않았으며, 정확한 작성 스타일과 법률 요구 사항에 적응하기 어려움
2. 길이 제한: 특허 명세서는 일반적으로 여러 페이지에 걸쳐 있는 반면 LLM은 고정된 토큰 제한(512, 1024, 2048 또는 4096 토큰)을 받음
3. 복잡한 관계 처리: 특허는 청구항과 도면 설명 사이의 복잡한 관계를 포함하며, 일반 LLM은 이를 처리하기 어려움

핵심 기여

1. Patentformer 플랫폼 개발 및 배포: https://patentformer.com에서 접근 가능하며, 특허 청구항 및 해당 도면 텍스트를 입력으로 받아 고품질의 특허 명세서를 생성함
2. 전문화된 학습 데이터 구축: 1,006,494개 샘플을 포함하는 Patent-2015-2024-G06F 데이터셋을 구축하고 HuggingFace에서 공개 발표함
3. 데이터 증강 방법 개발: 순수 텍스트를 풍부한 표현으로 변환하는 전문화된 학습 데이터 구축 방법을 개발하여 출력 품질을 크게 향상시킴
4. 사용자 연구 수행: Patentformer의 특허 명세서 생성 효과성에 대한 정량적 평가 실시

방법 상세 설명

작업 정의

특허 문서 P가 주어졌을 때, 다음을 포함합니다:

• l개의 청구항 시퀀스: C = {c₁, c₂, ..., cₗ}
• m개의 명세서 단락: S = {s₁, s₂, ..., sₘ}
• t개의 도면 이미지: I = {i₁, i₂, ..., iₜ}
• t개의 도면 간단한 설명: B = {b₁, b₂, ..., bₜ}
• 구성 요소 이름-번호 쌍: N = {n₁, n₂, ..., nₜ}

작업 목표: 청구항 C, 도면 설명 B 및 구성 요소 이름-번호 쌍 N을 입력으로 사용하여 출력 명세서 S를 생성합니다.

모델 아키텍처

1. 입력 처리

• 청구항 처리: 사용자가 청구항 텍스트 C 및 해당 도면 I를 업로드함
• 도면 처리: 주요 구성 요소 및 해당 번호 N' 자동 식별
• 텍스트 증강: 입력을 증강된 표현 T' = (C', B', N')으로 변환

2. 매핑 인터페이스

• 청구항과 도면 특징 사이의 관계를 정의하는 사용자 인터페이스 제공
• 코사인 유사도, BLEU-1 및 BLEU-2 점수 기반의 자동 매칭 전략
• 0.1 임계값을 사용하여 각 청구항 특징의 상위 5개 매칭 구성 요소 선택

3. 생성 모듈

• 특허 데이터에서 미세 조정된 T5-11B 모델 사용
• 구조화된 텍스트 입력 튜플 T' = (C', N', B') 처리
• 증강된 버전의 특허 명세서 S' 생성
• 후처리 단계로 출력이 표준 특허 작성 규칙을 준수하도록 함

기술 혁신점

1. 데이터 증강 방법: 원본 텍스트 T = (C, B, N)을 사용하지 않고 학습을 위해 풍부한 버전 T' = (C', B', N')을 설계함
2. 전문화된 학습: USPTO 특허 데이터에서 T5-11B 모델을 미세 조정하여 특허 작성의 스타일과 구조 규칙을 학습함
3. 대화형 매핑: 청구항과 도면 구성 요소 간의 대응 관계를 설정하는 사용자 친화적 인터페이스 제공
4. 자동화 프로세스: 입력 처리에서 최종 출력까지의 엔드투엔드 자동화 특허 작성 프로세스

실험 설정

데이터셋

• Patent-2015-2024-G06F: 특허 명세서, 청구항 및 도면을 포함하는 첫 번째 데이터셋
• 규모: 1,006,494개의 학습 샘플
• 출처: USPTO 2015-2024년 G06F CPC 카테고리 특허
• 처리: 텍스트를 512 토큰으로 자름

평가 지표

사용자 연구에서 4개의 직교 차원 평가(0-100점):

1. 언어 품질: 문서의 언어 표현 및 작성 품질
2. 법률 품질: 법률 요구 사항 및 특허 작성 기준 준수
3. 도면 설명 품질: 도면의 정확한 설명 능력
4. 기술 품질: 기술 내용의 정확성 및 완전성

비교 방법

최첨단 범용 LLM 기준선과 비교(자세한 결과는 Wang et al., 2024 참조)

구현 세부 사항

• 모델: T5-11B
• 학습 전략: 사전 학습된 버전을 기반으로 미세 조정
• 하드웨어: GPU 가속 지원, GPU 없을 시 자동으로 CPU로 전환
• 후처리: Wang et al. (2024)에서 정의한 전략 사용

실험 결과

주요 결과

30회 생성에 기반한 사용자 연구 평가 결과:

성능 분석

실행 시간

자동 매핑 정확도

• Precision@5: 0.565
• Precision@3: 0.6
• 약 6,000개 샘플을 기반으로 평가

실험 발견

1. 우수한 법률 품질: 특허 작성에서 가장 중요한 측면으로서 법률 품질이 거의 만점에 가까우며, 모델이 법률 문서 특징을 잘 학습했음을 증명함
2. 양호한 언어 표현: 미세 조정 과정에서 특수 토큰으로 입력을 암호화했음에도 불구하고 사용자들이 언어 품질에 만족함
3. 다중 모달 한계: 도면 설명 및 기술 품질이 상대적으로 낮은 주요 이유:
   • 현재 모델은 도면 설명 텍스트를 사용하며 이미지를 직접 처리하지 않음
   • 모델은 텍스트-텍스트 모델이며 다중 모달 이해 능력이 부족함

관련 연구

주요 연구 방향

1. 특허 텍스트 생성:
   • Lee & Hsiang (2020): GPT-2 미세 조정으로 특허 청구항 생성
   • Jiang et al. (2024): 상세 설명에서 특허 청구항 생성
   • Christofidellis et al. (2022): Patent Generative Transformer (PGT)
2. 특허 텍스트 요약:
   • 제목 생성 (Souza et al., 2021)
   • 초록 생성 (Guoliang et al., 2023; Zhu et al., 2023)
   • 선행 기술 요약 (Lee & Hsiang, 2020c)
3. 구조화된 텍스트 변환:
   • 특허 문서 내 구조 메타데이터를 활용한 텍스트 생성 지도
   • 의미 검색 기반 특허 텍스트 생성 제어 방법

본 논문의 독특성

저자들이 아는 한, Patentformer는 청구항 및 도면 텍스트에서 완전한 고품질 특허 명세서를 생성하는 첫 번째 플랫폼입니다.

결론 및 논의

주요 결론

1. Patentformer는 AI 보조 자동화 특허 작성의 타당성을 성공적으로 입증함
2. 전문화된 데이터 구축 방법 및 미세 조정을 통해 법률 및 기술 요구 사항을 충족하는 고품질 특허 명세서를 생성할 수 있음
3. 사용자 연구는 시스템의 언어 및 법률 품질 측면에서의 효과성을 확인함

한계

1. 다중 모달 능력 부재: 현재 시스템은 사용자가 제공한 도면 설명에 의존하며 이미지를 직접 이해할 수 없음
2. 제한된 기술 품질: 기술 내용의 정확성 및 완전성 측면에서 개선 여지가 있음
3. 도면 처리 능력: 특허 도면에 대한 직접적인 시각적 이해 능력 부족

향후 방향

1. 다중 모달 모델 개발: Large Vision-Language Models (LVLMs)을 통합하여 텍스트 및 시각 정보의 자동 해석 실현
2. 도면 생성 자동화: Stable Diffusion 등의 이미지 생성 모델을 활용하여 사용자 입력에 따라 특허 도면을 자동 생성
3. 엔드투엔드 자동화: 수동 입력 필요성을 감소시켜 특허 작성 효율을 더욱 향상

심층 평가

장점

1. 높은 실용성: 특허 산업의 실제 문제점을 해결하며 명확한 상업적 가치를 보유함
2. 방법론 혁신: 데이터 증강 전략 및 전문화된 학습 방법이 기술적 혁신성을 보유함
3. 완전한 시스템: 입력에서 출력까지의 완전한 솔루션을 제공하며 사용자 친화적 상호작용 인터페이스 포함
4. 충분한 평가: 전문가 사용자 연구를 통해 실제 응용 시나리오에서 평가함
5. 오픈소스 기여: 대규모 특허 데이터셋을 공개 발표하여 분야 연구 발전을 촉진함

부족한 점

1. 제한된 평가 규모: 사용자 연구가 한 명의 전문가의 30회 생성에만 기반하여 평가 샘플이 상대적으로 작음
2. 다중 모달 부재: 이미지 정보를 처리할 수 없다는 것은 현저한 한계이며 도면 설명 및 기술 품질에 영향을 미침
3. 도메인 한계: G06F 카테고리 특허에서만 학습되었으며 일반화 능력은 검증 필요
4. 비용 고려: 실제 배포에서 GPU 실행 비용 및 시간 소비가 제한 요인이 될 수 있음

영향력

1. 분야 기여: 완전한 특허 명세서의 자동 생성을 처음으로 실현하여 특허 AI 분야에 새로운 방향을 개척함
2. 실용적 가치: 특허 작성 비용을 크게 감소시키고 특허 변호사의 업무 효율을 향상시킬 수 있음
3. 재현성: 온라인 데모 시스템 및 공개 데이터셋을 제공하여 우수한 재현성을 보유함
4. 산업 영향: 삼성의 산업계 연구로서 강한 산업 전환 잠재력을 보유함

적용 시나리오

1. 특허 변호사 보조 도구: 특허 변호사가 초안을 신속하게 생성하도록 지원하여 업무 효율 향상
2. 기업 특허 부서: 대형 기술 회사 내부 특허 출원 프로세스의 자동화
3. 특허 대리 기관: 특허 대리 서비스의 효율성 및 품질 향상
4. 연구 개발 기관: 연구원들이 특허 작성 규범 및 요구 사항을 이해하도록 보조

참고 문헌

본 논문은 주로 특허 텍스트 생성, 대규모 언어 모델 및 특허 법률 요구 사항 등 관련 분야의 중요한 연구를 참고했으며, 다음을 포함합니다:

• Wang et al. (2024): Patentformer 핵심 알고리즘
• Raffel et al. (2020): T5 모델 기초
• 다양한 특허 텍스트 생성 관련 연구 (Lee & Hsiang 시리즈, Jiang et al., Christofidellis et al.)

전체 평가: 이는 강한 실용적 지향성을 가진 고품질의 산업계 논문으로, 특허 AI 분야에서 개척적 의의를 가집니다. 다중 모달 처리 및 평가 규모 측면에서 한계가 있지만, 기술적 혁신성과 실용적 가치로 인해 해당 분야의 중요한 기여가 됩니다.