PrivTuner mit homomorpher Verschlüsselung und LoRA: Ein P3EFT-Schema für datenschutzwahrende parametereffiziente Feinabstimmung von KI-Grundmodellen

Grundinformationen

• Papier-ID: 2410.00433
• Titel: PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models
• Autoren: Yang Li, Wenhan Yu, Jun Zhao (Nanyang Technological University)
• Klassifizierung: cs.CR (Kryptographie und Sicherheit)
• Veröffentlichungsdatum: Oktober 2024 (arXiv Preprint)
• Papierlink: https://arxiv.org/abs/2410.00433

Zusammenfassung

Dieses Papier stellt das Framework Privacy-Preserving Parameter-Efficient Fine-Tuning (P3EFT) vor, das parametereffiziente Feinabstimmung (PEFT) mit datenschutzwahrend durchgeführter Feinabstimmung (PPFT) kombiniert. Die Autoren entwerfen das PrivTuner-Schema, das vollständig homomorphe Verschlüsselung (FHE) in LoRA integriert und eine kollaborative datenschutzwahrende Feinabstimmung zwischen Modelleigentümern und externen Dateneigentümern ermöglicht. Das Papier berücksichtigt weiterhin das PrivTuner-System in einer drahtlosen Kommunikationsumgebung, etabliert ein gemeinsames Optimierungsproblem zur Minimierung des Energieverbrauchs bei gleichzeitiger Maximierung des Datenschutzes und schlägt entsprechende Ressourcenallokationsalgorithmen vor.

Forschungshintergrund und Motivation

Kernprobleme

1. Datenschutzanforderungen: Der Feinabstimmungsprozess von KI-Grundmodellen weist Probleme mit Datenschutz und Modellschutz auf. Unternehmen sind nicht bereit, private Daten freizugeben, während Modelleigentümer auch nicht bereit sind, Modellparameter offenzulegen.
2. Herausforderungen der Recheneffizienz: Die traditionelle vollständige Parameterfeinabstimmung verursacht enorme Rechenkosten, insbesondere bei großen Grundmodellen, und stellt für ressourcenbegrenzte Geräte eine erhebliche Belastung dar.
3. Einschränkungen bestehender Methoden:
   • PEFT-Methoden reduzieren zwar die Rechenbelastung, vernachlässigen aber Datenschutzfragen
   • PPFT-Methoden können Datenschutz gewährleisten, führen aber normalerweise zu zusätzlichen Kommunikations- und Rechenkosten

Forschungsmotivation

Bestehende Forschungen konzentrieren sich hauptsächlich auf die separate Anwendung von PEFT oder PPFT, es fehlt eine systematische Untersuchung ihrer Fusion. Dieses Papier zielt darauf ab, diese Lücke zu schließen und das P3EFT-Framework vorzuschlagen, um unter begrenztem Rechenbudget das duale Ziel von Datenschutz und Parametereffizienz zu erreichen.

Kernbeiträge

1. Vorschlag des P3EFT-Frameworks: Erstmals systematische Kombination von PEFT und PPFT, Überbrückung der Lücke zwischen zwei Forschungsbereichen.
2. Entwurf des PrivTuner-Schemas: Integration des CKKS-Schemas für vollständig homomorphe Verschlüsselung mit LoRA-Technologie, Realisierung sicherer und effizienter kollaborativer Feinabstimmung, während Daten- und Modellschutz gewährleistet und Rechenbelastung reduziert wird.
3. Etablierung von Verbrauchs- und Datenschutzmodellen: Analyse von Zeit- und Energieverbrauchsmodellen aus Server- und Geräteperspektive, Bereitstellung quantifizierbarer Metriken für Datenschutzstufen.
4. Entwurf eines gemeinsamen Optimierungsalgorithmus: Vorschlag eines Ressourcenallokationsalgorithmus, der Branch-and-Bound (B&B) und fraktionale Programmierungstechniken kombiniert, um das gemeinsame Optimierungsproblem von Rechenkapazität, drahtlosen Kommunikationsressourcen und FHE-Einstellungen effektiv zu lösen.

Methodische Details

Aufgabendefinition

Die P3EFT-Aufgabe wird definiert als: Gegeben ein vortrainiertes Grundmodell W₀ und ein privater Datensatz, Modellaktualisierung mit nur wenigen Parametern unter Schutz von Datenschutz und Modellschutz durchführen.

PrivTuner-Architektur

Systemmodell

• Beteiligte Parteien: Modelleigentümer-Server und N externe mobile Geräte
• Sicherheitsmodell: Ehrlich aber neugierig (honest but curious) Modell
• Kernidee: Geräte übertragen FHE-verschlüsselte Daten statt Rohdaten, Server führt Berechnungen auf verschlüsselten Daten durch

Schlüsselschritte

Schritt 1: Datenverschlüsselung

pkₙ, skₙ = KeyGen(λₙ, qₙ), ∀n ∈ N
X̃ᶠᵗₙ = Enc(pkₙ, Xᶠᵗₙ), ∀n ∈ N

Schritt 2: Adapter-Generierung Verwendung der LoRA-Technologie zur Generierung von niedrigrangigen Adaptern:

Aₙ = {A¹ₙ, A²ₙ} = LoRAₙ(W₀), ∀n ∈ N

Schritt 3: Verschlüsselte Vorhersage Ausführung der Vorhersage auf verschlüsselten Daten:

Ỹᵖₙ = Eval(pkₙ, (W₀, Aₙ), X̃ᶠᵗₙ, fᵖ), ∀n ∈ N

wobei die Vorhersagefunktion wie folgt lautet:

fᵖ(W₀, Aₙ, X̃ᶠᵗₙ) = W₀X̃ᶠᵗₙ + A¹ₙA²ₙX̃ᶠᵗₙ

Schritt 4: Entschlüsselung und Verlustberechnung

Yᵖₙ = Dec(skₙ, Ỹᵖₙ)
Lₙ = Lₙ(Yᵖₙ, Yᶠᵗₙ)

Schritt 5: Adapter-Aktualisierung Aktualisierung der Adapter-Parameter basierend auf der Verlustfunktion.

HE-freundliches BERT-Tiny-Modell

Verwendung des CKKS-Schemas zur Verarbeitung nichtlinearer Funktionen im BERT-Tiny-Modell:

• Softmax: Verwendung von Maclaurin-Reihenentwicklung zur Approximation der Exponentialfunktion
• GeLU: Verwendung von Chebyshev-Polynomen zur Approximation
• LayerNorm: Vorberechnung von Mittelwert und Standardabweichung zur Vereinfachung der Berechnung
• Divisionsoperationen: Verwendung von Chebyshev-Polynomen zur Approximation

Technische Innovationspunkte

1. Organische Kombination von FHE und LoRA: Erstmalige Kombination von CKKS-Verschlüsselung mit LoRA-Technologie, Realisierung parametereffiziente Feinabstimmung im verschlüsselten Bereich.
2. Verarbeitung nichtlinearer Funktionen: Systematische Lösung des Berechnungsproblems nichtlinearer Funktionen in Transformer-Modellen in der FHE-Umgebung.
3. Ressourcenoptimierungsframework: Berücksichtigung praktischer Einschränkungen in drahtlosen Kommunikationsumgebungen, Etablierung eines Optimierungsmodells für Energieverbrauch und Datenschutz-Kompromisse.

Experimentelle Einrichtung

Datensätze

Verwendung von drei Datensätzen aus dem GLUE-Benchmark:

• SST-2: Sentimentanalyse-Aufgabe
• MRPC: Satzähnlichkeitsbeurteilung
• RTE: Textuelles Entailment-Erkennung

Experimentelle Umgebung

• Hardware: Intel Xeon Gold 5218R CPU@2.10GHz
• FHE-Bibliothek: OpenFHE mit HEXL-Beschleunigung
• FHE-Parameter: Polynomgrad λ=2¹⁵, Koeffizientenmodul q=1767 Bits

Bewertungsmetriken

• Genauigkeit: Klassifizierungsleistung des Modells
• Energieverbrauch: Gesamter Energieverbrauch (Joule)
• Datenschutzstufe: Sicherheitsstufe basierend auf LWE-Estimator (Bits)
• Laufzeit: Zeitaufwand für verschiedene Operationen

Vergleichsmethoden

• Average Allocation: Durchschnittliche Ressourcenverteilung
• Optimize f,g only: Nur Optimierung der Rechenfrequenz
• Optimize p,B only: Nur Optimierung der Übertragungsleistung und Bandbreite

Experimentelle Ergebnisse

Hauptergebnisse

Modellleistung

Laufzeitanalyse

Leistungs-Kompromisse unter verschiedenen λ

Energieverbrauch-Optimierungsergebnisse

Unter verschiedenen Ressourcenkonfigurationen zeigt der vorgeschlagene gemeinsame Optimierungsalgorithmus im Vergleich zu Baseline-Methoden:

• Bandbreitenvariationen: Wenn die Gesamtbandbreite von 5MHz auf 25MHz erhöht wird, behält der Algorithmus konsistent optimale Leistung
• Übertragungsleistung: Im Bereich von 10-30dBm zeigt der Optimierungsalgorithmus stabile Leistung
• Zeitbudget: Mit zunehmendem Zeitbudget der Geräte sinkt der Energieverbrauch erheblich

Datenschutz-Kompromiss-Analyse

Durch Anpassung des Gewichtungsparameters ω (1-10):

• Energieverbrauch und Datenschutz-Kompromiss: Mit zunehmendem ω verbessert sich die Datenschutzstufe, aber der Energieverbrauch nimmt zu
• Geräteauswahlstrategie: Geräte mit hohem Datenschutzfokus neigen dazu, größere λ-Werte zu wählen

Ablationsstudien

Validierung der Effektivität jeder Optimierungskomponente:

• Gemeinsame Optimierung zeigt signifikante Verbesserungen gegenüber isolierter Optimierung von f,g oder p,B
• Branch-and-Bound-Algorithmus löst effektiv das diskrete Optimierungsproblem
• Fraktionale Programmierungstechnik bewältigt erfolgreich die nicht-konvexe Optimierungsherausforderung

Verwandte Arbeiten

PEFT-bezogene Forschung

• LoRA: Niedrigrangige Adapter-Technologie
• Prefix-tuning, Prompt tuning, BitFit: Andere parametereffiziente Methoden

PPFT-bezogene Forschung

• Föderales Lernen: Verteiltes datenschutzwahrend durchgeführtes Training
• Differentielle Privatsphäre: Lärmzusatz zum Schutz der Privatsphäre
• Sichere Mehrparteien-Berechnung: Mehrparteien-Kooperationsberechnung
• Homomorphe Verschlüsselung: Berechnung im verschlüsselten Bereich

FHE-Anwendungen im Deep Learning

• CNN-Anwendungen: CryptoNets, CareNets usw.
• RNN-Anwendungen: Datenschutzwahrend durchgeführte Verarbeitung von Sequenzdaten
• Transformer-Anwendungen: Iron, BOLT, BlindTune usw.

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Machbarkeit des P3EFT-Frameworks: PrivTuner beweist erfolgreich die Möglichkeit, gleichzeitig Parametereffizienz und Datenschutz zu erreichen
2. Praktizitätsvalidierung: Erreichung akzeptabler Leistung auf dem GLUE-Datensatz, mit relativ geringen Datenschutzkosten
3. Effektivität des Optimierungsalgorithmus: Der gemeinsame Ressourcenallokationsalgorithmus zeigt hervorragende Leistung beim Energieverbrauch-Datenschutz-Kompromiss

Einschränkungen

1. Adapter-Datenschutz: Im aktuellen Schema werden Adapter im Klartext gespeichert, was möglicherweise zu Informationslecks führt
2. Rechenaufwand: FHE-Operationen verursachen immer noch erhebliche Rechenkosten, was Echtzeitanwendungen einschränkt
3. Sicherheitsmodell-Einschränkungen: Nur ehrlich aber neugierig Modell wird berücksichtigt, böswillige Gegner werden nicht behandelt
4. Skalierungsprobleme: Mit zunehmender Modellgröße können FHE-Kosten zum Engpass werden

Zukünftige Richtungen

1. Böswillige Sicherheit: Erweiterung auf böswilliges Gegner-Modell
2. Hardware-Beschleunigung: Nutzung spezialisierter Hardware wie GPUs zur Beschleunigung von FHE-Berechnungen
3. Stärkerer Datenschutz: Erforschung von MPC und anderen Techniken zum Schutz der Adapter-Privatsphäre
4. Anpassung großer Modelle: Untersuchung von Anwendungen auf größere Modelle

Tiefgreifende Bewertung

Stärken

1. Starke Innovativität: Erstmalige systematische Kombination von PEFT und PPFT, Schließung einer wichtigen Forschungslücke
2. Theoretische Vollständigkeit: Bereitstellung eines vollständigen theoretischen Analyserahmens, einschließlich Sicherheits-, Komplexitäts- und Konvergenzanalyse
3. Umfangreiche Experimente: Validierung der Methodeneffektivität aus mehreren Dimensionen, einschließlich Genauigkeit, Energieverbrauch und Datenschutz
4. Praktische Überlegungen: Berücksichtigung praktischer Einschränkungen in drahtlosen Kommunikationsumgebungen mit guten Anwendungsaussichten

Mängel

1. Leistungsabfall: Der durch FHE verursachte Rechenaufwand führt zu signifikantem Leistungsabfall (etwa 3-4% Genauigkeitsverlust)
2. Skalierungsbeschränkungen: Aktuelle Experimente werden nur auf BERT-Tiny durchgeführt, die Anwendbarkeit auf große Modelle bleibt zu überprüfen
3. Sicherheitsannahmen: Das ehrlich aber neugierig Modell kann in praktischen Anwendungen zu idealistisch sein
4. Parameteroptimierung: Die Auswahl mehrerer FHE-Parameter erfordert Fachkenntnisse und erhöht die Nutzungsschwelle

Auswirkungen

1. Akademischer Beitrag: Bereitstellung einer neuen Forschungsrichtung für datenschutzwahrend durchgeführtes maschinelles Lernen
2. Praktischer Wert: Bereitstellung eines praktikablen technischen Pfads für KI-Dienste, die Datenschutz erfordern
3. Reproduzierbarkeit: Bereitstellung detaillierter Implementierungsdetails und Parametereinstellungen zur Erleichterung der Reproduktion

Anwendungsszenarien

1. Medizinische KI: Medizinische Daten sind sensibel und erfordern datenschutzwahrend durchgeführte Modellabstimmung
2. Finanzdienstleistungen: Modellkooperationstraining zwischen Finanzinstitutionen
3. Edge Computing: Datenschutzwahrend durchgeführte KI-Dienste in ressourcenbegrenzten Umgebungen
4. Föderales Lernen: Als Verbesserungstechnik für föderales Lernen

Referenzen

Das Papier zitiert mehrere wichtige Arbeiten, einschließlich:

• LoRA-Originalarbeit Hu et al., ICLR 2021
• CKKS-Homomorphe-Verschlüsselung-Schema Cheon et al., 2017
• BERT-Modell Devlin et al., 2018
• Verwandte Arbeiten zu datenschutzwahrend durchgeführtem Deep Learning

Gesamtbewertung: Dies ist ein hochqualitatives Forschungspapier, das bei technischer Innovation, theoretischer Analyse und experimenteller Validierung hervorragende Leistungen zeigt. Obwohl es einige Einschränkungen gibt, eröffnet es wichtige Forschungsrichtungen für datenschutzwahrend durchgeführte KI und hat bedeutenden akademischen Wert und Anwendungspotenzial.