Patentformer: Eine Demonstration von KI-gestütztem automatisiertem Patententwurf

Grundinformationen

• Paper-ID: 2510.09752
• Titel: Patentformer: A demonstration of AI-assisted automated patent drafting
• Autoren: Sai Krishna Reddy Mudhiganti, Juanyan Wang, Ruo Yang, Manali Sharma (Samsung Semiconductor, Inc.)
• Klassifizierung: cs.LG cs.AI cs.CY
• Veröffentlichungszeit/Konferenz: EMNLP 2024 Industry Track
• Paper-Link: https://arxiv.org/abs/2510.09752

Zusammenfassung

Der Patententwurf stellt erhebliche Herausforderungen dar, da er auf umfangreiche Erfahrung und Fachwissen von Patentanwälten angewiesen ist, die über juristische Scharfsinnigkeit und technisches Verständnis der Erfindung verfügen müssen, um Patentanmeldungen in formaler juristischer Schreibweise zu verfassen. Dieser Artikel präsentiert Patentformer, eine KI-gestützte automatisierte Patententwurfsplattform, die Patentanwälte unterstützen soll, indem sie schnell hochwertige Patentanmeldungen generiert, die den Standards juristischer Schreibweise entsprechen.

Forschungshintergrund und Motivation

Zu lösende Probleme

1. Hohe Kosten des Patententwurfs: Der traditionelle Patententwurf kostet durchschnittlich über 10.000 US-Dollar und erfordert, dass Patentanwälte über duale juristische und technische Fachkenntnisse verfügen
2. Komplexität von Patentdokumenten: Patentdokumente enthalten mehrere streng organisierte Abschnitte (Titel, Zusammenfassung, Ansprüche, Beschreibung usw.), die präzise juristische Schreibweise erfordern
3. Einschränkungen bestehender LLMs: Allgemeine große Sprachmodelle haben erhebliche Schwierigkeiten bei der Generierung von Patentbeschreibungen

Bedeutung des Problems

• Die Patentbeschreibung ist der wichtigste Teil eines Patentdokuments und erfordert erhebliche Anstrengungen beim Verfassen
• Jeder Anspruch muss durch die Beschreibung ausdrücklich gestützt werden
• Patentdokumente unterscheiden sich grundlegend von allgemeinem Text in ihrer juristischen und technischen Natur

Einschränkungen bestehender Methoden

1. Schlechte Domänenanpassung: Die meisten vortrainierten LLMs wurden nicht auf Patentdaten trainiert und können sich schwer an präzise Schreibstile und juristische Anforderungen anpassen
2. Längenbeschränkungen: Patentbeschreibungen erstrecken sich typischerweise über mehrere Seiten, während LLMs durch feste Token-Grenzen begrenzt sind (512, 1024, 2048 oder 4096 Tokens)
3. Komplexe Beziehungsverarbeitung: Patente enthalten komplexe Beziehungen zwischen Ansprüchen und Zeichnungsbeschreibungen, die allgemeine LLMs schwer verarbeiten können

Kernbeiträge

1. Entwicklung und Bereitstellung der Patentformer-Plattform: Zugänglich unter https://patentformer.com, akzeptiert Patentansprüche und entsprechende Zeichnungstexte als Eingabe und generiert hochwertige Patentbeschreibungen
2. Konstruktion spezialisierter Trainingsdaten: Der Datensatz Patent-2015-2024-G06F mit 1.006.494 Proben wurde öffentlich auf HuggingFace veröffentlicht
3. Entwicklung von Datenerweiterungsmethoden: Spezialisierte Methoden zur Umwandlung von Rohtext in reichhaltige Darstellungen, die die Ausgabequalität erheblich verbessern
4. Durchführung von Benutzerforschung: Quantitative Bewertung der Effektivität von Patentformer bei der Generierung von Patentbeschreibungen

Methodische Details

Aufgabendefinition

Gegeben ein Patentdokument P, das enthält:

• l Anspruchssequenzen: C = {c₁, c₂, ..., cₗ}
• m Beschreibungsabschnitte: S = {s₁, s₂, ..., sₘ}
• t Zeichnungsbilder: I = {i₁, i₂, ..., iₜ}
• t Zeichnungskurzbeschreibungen: B = {b₁, b₂, ..., bₜ}
• Komponentennamen-Nummernpaare: N = {n₁, n₂, ..., nₜ}

Aufgabenziel: Unter Verwendung von Ansprüchen C, Zeichnungsbeschreibungen B und Komponentennamen-Nummernpaaren N als Eingabe die Ausgabebeschreibung S generieren.

Modellarchitektur

1. Eingabeverarbeitung

• Anspruchsverarbeitung: Benutzer laden Anspruchstext C und entsprechende Zeichnungen I hoch
• Zeichnungsverarbeitung: Automatische Identifikation von Schlüsselkomponenten und deren Nummern N'
• Texterweiterung: Umwandlung der Eingabe in erweiterte Darstellung T' = (C', B', N')

2. Zuordnungsschnittstelle

• Bereitstellung einer Benutzeroberfläche zur Definition von Beziehungen zwischen Ansprüchen und Zeichnungsmerkmalen
• Automatische Matching-Strategie basierend auf Kosinusähnlichkeit, BLEU-1 und BLEU-2-Scores
• Verwendung eines Schwellenwerts von 0,1 zur Auswahl der Top-5-Komponenten für jedes Anspruchsmerkmal

3. Generierungsmodul

• Verwendung des T5-11B-Modells mit Fine-Tuning auf Patentdaten
• Verarbeitung strukturierter Texteingabe-Tupel T' = (C', N', B')
• Generierung erweiterter Patentbeschreibung S'
• Nachbearbeitungsschritte zur Einhaltung standardisierter Patentschreibkonventionen

Technische Innovationen

1. Datenerweiterungsmethode: Anstelle von Rohtext T = (C, B, N) wird eine reichhaltige Version T' = (C', B', N') für das Training entworfen
2. Spezialisiertes Training: Fine-Tuning des T5-11B-Modells auf USPTO-Patentdaten, um Schreibstil und Strukturkonventionen von Patenten zu erlernen
3. Interaktive Zuordnung: Benutzerfreundliche Schnittstelle zur Herstellung von Entsprechungen zwischen Ansprüchen und Zeichnungskomponenten
4. Automatisierter Prozess: End-to-End-Automatisierung des Patententwurfsprozesses von der Eingabeverarbeitung bis zur endgültigen Ausgabe

Experimentelle Einrichtung

Datensatz

• Patent-2015-2024-G06F: Erster Datensatz mit Patentbeschreibungen, Ansprüchen und Zeichnungen
• Umfang: 1.006.494 Trainingsproben
• Quelle: USPTO-Patente 2015-2024 der CPC-Kategorie G06F
• Verarbeitung: Texttrunkierung auf 512 Tokens

Bewertungsmetriken

Benutzerforschung mit vier orthogonalen Bewertungsdimensionen (0-100 Punkte):

1. Sprachqualität: Sprachausdruck und Schreibqualität des Dokuments
2. Juristische Qualität: Einhaltung juristischer Anforderungen und Patentschreibstandards
3. Zeichnungsbeschreibungsqualität: Fähigkeit zur genauen Beschreibung von Zeichnungen
4. Technische Qualität: Genauigkeit und Vollständigkeit des technischen Inhalts

Vergleichsmethoden

Vergleich mit hochmodernen allgemeinen LLM-Baselines (detaillierte Ergebnisse siehe Wang et al., 2024)

Implementierungsdetails

• Modell: T5-11B
• Trainingsstrategie: Fine-Tuning auf Basis der vortrainierten Version
• Hardware: GPU-Beschleunigung unterstützt, automatischer Wechsel zu CPU ohne GPU
• Nachbearbeitung: Verwendung von Strategien definiert in Wang et al. (2024)

Experimentelle Ergebnisse

Hauptergebnisse

Benutzerforschung basierend auf Bewertungen von 30 Generierungen:

Leistungsanalyse

Laufzeit

Automatische Zuordnungsgenauigkeit

• Precision@5: 0,565
• Precision@3: 0,6
• Basierend auf Bewertung von etwa 6.000 Proben

Experimentelle Erkenntnisse

1. Ausgezeichnete juristische Qualität: Als wichtigster Aspekt des Patententwurfs erreicht die juristische Qualität nahezu Höchstpunktzahl, was zeigt, dass das Modell Merkmale juristischer Dokumente gut gelernt hat
2. Gute Sprachausdrücke: Trotz der Verwendung spezieller Tokens zur Verschlüsselung der Eingabe während des Fine-Tunings sind Benutzer mit der Sprachqualität zufrieden
3. Multimodale Einschränkungen: Zeichnungsbeschreibung und technische Qualität sind relativ niedrig, hauptsächlich weil:
   • Das aktuelle Modell Zeichnungsbeschreibungstexte anstelle direkter Bildverarbeitung verwendet
   • Das Modell ein Text-zu-Text-Modell ist und multimodale Verständigungsfähigkeit fehlt

Verwandte Arbeiten

Hauptforschungsrichtungen

1. Patenttext-Generierung:
   • Lee & Hsiang (2020): GPT-2 Fine-Tuning zur Generierung von Patentansprüchen
   • Jiang et al. (2024): Generierung von Patentansprüchen aus detaillierten Beschreibungen
   • Christofidellis et al. (2022): Patent Generative Transformer (PGT)
2. Patenttext-Zusammenfassung:
   • Titelerzeugung (Souza et al., 2021)
   • Zusammenfassungserzeugung (Guoliang et al., 2023; Zhu et al., 2023)
   • Zusammenfassung des Standes der Technik (Lee & Hsiang, 2020c)
3. Strukturierte Texttransformation:
   • Nutzung von Strukturmetadaten innerhalb von Patentdokumenten zur Lenkung der Textgenerierung
   • Kontrollmethoden für Patenttext-Generierung basierend auf semantischer Suche

Einzigartigkeit dieses Papiers

Nach Kenntnis der Autoren ist Patentformer die erste Plattform, die vollständige hochwertige Patentbeschreibungen aus Ansprüchen und Zeichnungstexten generiert.

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Patentformer demonstriert erfolgreich die Machbarkeit von KI-gestütztem automatisiertem Patententwurf
2. Durch spezialisierte Datenkonstruktionsmethoden und Fine-Tuning können hochwertige Patentbeschreibungen generiert werden, die juristische und technische Anforderungen erfüllen
3. Benutzerforschung bestätigt die Effektivität des Systems in Bezug auf Sprach- und Juristenqualität

Einschränkungen

1. Fehlende multimodale Fähigkeiten: Das aktuelle System ist auf vom Benutzer bereitgestellte Zeichnungsbeschreibungen angewiesen und kann Bilder nicht direkt verstehen
2. Begrenzte technische Qualität: Bei der Genauigkeit und Vollständigkeit des technischen Inhalts besteht noch Verbesserungspotenzial
3. Zeichnungsverarbeitungsfähigkeit: Fehlende direkte visuelle Verständigungsfähigkeit für Patentzeichnungen

Zukünftige Richtungen

1. Multimodale Modellentwicklung: Integration großer Vision-Language-Modelle (LVLMs) zur automatischen Interpretation von Text- und Visualinformationen
2. Automatisierung der Zeichnungsgenerierung: Nutzung von Bildgenerierungsmodellen wie Stable Diffusion zur automatischen Generierung von Patentzeichnungen basierend auf Benutzereingaben
3. End-to-End-Automatisierung: Reduzierung manueller Eingabeanforderungen zur weiteren Verbesserung der Effizienz des Patententwurfs

Tiefgreifende Bewertung

Stärken

1. Hohe Praktikabilität: Löst reale Schmerzpunkte der Patentbranche mit klarem Geschäftswert
2. Methodische Innovation: Datenerweiterungsstrategien und spezialisierte Trainingsmethoden zeigen technische Innovation
3. Vollständiges System: Bietet eine umfassende Lösung von der Eingabe bis zur Ausgabe, einschließlich benutzerfreundlicher Schnittstellen
4. Umfassende Bewertung: Durchführung von Expertenbenutzerstudien für Bewertung in realen Anwendungsszenarien
5. Open-Source-Beitrag: Veröffentlichung großer Patentdatensätze zur Förderung der Forschung im Bereich

Mängel

1. Begrenzte Bewertungsgröße: Benutzerforschung basiert auf nur 30 Generierungen eines Experten, relativ kleine Stichprobengröße
2. Fehlende Multimodalität: Unfähigkeit zur Bildverarbeitung ist eine erhebliche Einschränkung, die Zeichnungsbeschreibung und technische Qualität beeinträchtigt
3. Domänenbeschränkung: Nur auf G06F-Kategorie-Patenten trainiert, Generalisierungsfähigkeit muss noch verifiziert werden
4. Kostenüberlegungen: GPU-Betriebskosten und Zeitaufwand können in praktischen Bereitstellungen zu Einschränkungen führen

Auswirkungen

1. Feldbeitrag: Erste Realisierung der automatischen Generierung vollständiger Patentbeschreibungen, eröffnet neue Richtungen für Patent-KI-Forschung
2. Praktischer Wert: Kann Patententwurfskosten erheblich senken und die Arbeitseffizienz von Patentanwälten verbessern
3. Reproduzierbarkeit: Bietet Online-Demonstrationssystem und öffentliche Datensätze mit guter Reproduzierbarkeit
4. Industrielle Auswirkungen: Als Industrieforschung von Samsung hat sie starkes Potenzial für Industrialisierung

Anwendungsszenarien

1. Assistenztool für Patentanwälte: Hilft Patentanwälten, schnell Entwürfe zu generieren und die Arbeitseffizienz zu verbessern
2. Patentabteilungen von Unternehmen: Automatisierung von Patentanmeldungsprozessen in großen Technologieunternehmen
3. Patentanwaltskanzleien: Verbesserung der Effizienz und Qualität von Patentanwaltsdienstleistungen
4. Forschungsinstitutionen: Unterstützung von Forschern beim Verständnis von Patentschreibnormen und -anforderungen

Literaturverzeichnis

Dieses Papier bezieht sich hauptsächlich auf wichtige Arbeiten in verwandten Bereichen wie Patenttext-Generierung, große Sprachmodelle und Patentrechtliche Anforderungen, einschließlich:

• Wang et al. (2024): Patentformer-Kernnalgorithmus
• Raffel et al. (2020): T5-Modellgrundlagen
• Mehrere Patenttext-Generierungsstudien (Lee & Hsiang-Serie, Jiang et al., Christofidellis et al.)

Gesamtbewertung: Dies ist ein hochqualitatives Industrieforschungspapier mit starker praktischer Ausrichtung und hat bahnbrechende Bedeutung im Bereich Patent-KI. Obwohl es Einschränkungen bei der multimedialen Verarbeitung und Bewertungsgröße gibt, machen seine technische Innovation und praktischer Wert es zu einem wichtigen Beitrag auf diesem Gebiet.