2025-11-18T05:49:12.501691

Phase-Aware Deep Learning with Complex-Valued CNNs for Audio Signal Applications

Agrawal
This study explores the design and application of Complex-Valued Convolutional Neural Networks (CVCNNs) in audio signal processing, with a focus on preserving and utilizing phase information often neglected in real-valued networks. We begin by presenting the foundational theoretical concepts of CVCNNs, including complex convolutions, pooling layers, Wirtinger-based differentiation, and various complex-valued activation functions. These are complemented by critical adaptations of training techniques, including complex batch normalization and weight initialization schemes, to ensure stability in training dynamics. Empirical evaluations are conducted across three stages. First, CVCNNs are benchmarked on standard image datasets, where they demonstrate competitive performance with real-valued CNNs, even under synthetic complex perturbations. Although our focus is audio signal processing, we first evaluate CVCNNs on image datasets to establish baseline performance and validate training stability before applying them to audio tasks. In the second experiment, we focus on audio classification using Mel-Frequency Cepstral Coefficients (MFCCs). CVCNNs trained on real-valued MFCCs slightly outperform real CNNs, while preserving phase in input workflows highlights challenges in exploiting phase without architectural modifications. Finally, a third experiment introduces GNNs to model phase information via edge weighting, where the inclusion of phase yields measurable gains in both binary and multi-class genre classification. These results underscore the expressive capacity of complex-valued architectures and confirm phase as a meaningful and exploitable feature in audio processing applications. While current methods show promise, especially with activations like cardioid, future advances in phase-aware design will be essential to leverage the potential of complex representations in neural networks.
academic

Phasenabhängiges tiefes Lernen mit komplexwertigen CNNs für Audiosignalanwendungen

Grundlegende Informationen

  • Papier-ID: 2510.09926
  • Titel: Phase-Aware Deep Learning with Complex-Valued CNNs for Audio Signal Applications
  • Autor: Agrawal Naman (National University of Singapore)
  • Klassifizierung: cs.LG cs.AI cs.SD
  • Veröffentlichungsdatum: 10. Oktober 2025 (arXiv-Preprint)
  • Papierlink: https://arxiv.org/abs/2510.09926

Zusammenfassung

Diese Forschung untersucht die Gestaltung und Anwendung von komplexwertigen Faltungsneuronalen Netzen (CVCNNs) in der Audiosignalverarbeitung, mit besonderem Fokus auf die Bewahrung und Nutzung von Phaseninformationen, die in traditionellen reellwertigen Netzen vernachlässigt werden. Die Forschung etabliert zunächst die theoretischen Grundlagen von CVCNNs, einschließlich komplexwertiger Faltung, Pooling-Schichten, Wirtinger-basierter Differenziation und verschiedener komplexwertiger Aktivierungsfunktionen, zusammen mit komplexwertiger Batch-Normalisierung und Gewichtsinitialisierungsschemata. Die Experimente gliedern sich in drei Phasen: Zunächst wird die grundlegende Leistung von CVCNNs auf Standard-Bilddatensätzen validiert; zweitens werden Audioklassifizierungsaufgaben mit Mel-Frequenz-Cepstral-Koeffizienten (MFCCs) bewertet; schließlich werden Graphenneuronale Netze (GNNs) eingeführt, um Phaseninformationen durch Kantengewichte explizit zu modellieren. Die Ergebnisse zeigen, dass CVCNNs starke Ausdruckskraft besitzen und dass Phaseninformationen tatsächlich aussagekräftige und nutzbare Merkmale in der Audiosignalverarbeitung darstellen.

Forschungshintergrund und Motivation

Problemdefinition

Traditionelle reellwertige Faltungsneuronale Netze in der Audiosignalverarbeitung weisen einen grundlegenden Mangel auf: Sie verwerfen oder nutzen Phaseninformationen nicht ausreichend, die in vielen Signalverarbeitungsaufgaben eine kritische Komponente darstellen.

Bedeutungsanalyse

  1. Wert von Phaseninformationen: Wenn Audiosignale durch die Kurzzeit-Fourier-Transformation (STFT) in den Frequenzbereich transformiert werden, entsteht eine komplexwertige Ausgabe, wobei die Magnitude die Amplitude darstellt und die Phase wichtige zeitliche und räumliche Informationen enthält
  2. Anwendungsanforderungen: Bei Aufgaben wie Sprachverbesserung, Schallquellenlokalisation und Audioclassifizierung hat Phaseninformation potenziellen Wert zur Leistungsverbesserung
  3. Technische Entwicklung: CVCNNs haben in Bereichen wie Fernerkundung, medizinischer Bildgebung und Kommunikationssystemen erhebliche Vorteile gezeigt

Einschränkungen bestehender Methoden

  • Traditionelle CNNs verarbeiten nur Magnitudenspektren und ignorieren Phaseninformationen vollständig
  • Mangel an effektiven Trainingstechniken und theoretischen Rahmen für komplexwertige Netze
  • Bestehende komplexwertige Aktivierungsfunktionen weisen Herausforderungen bei der Trainingsstabilität auf

Forschungsmotivation

Durch die Erweiterung von CNNs in den komplexwertigen Bereich sollen Netzwerk-Architekturen konstruiert werden, die sowohl Magnitude als auch Phaseninformationen verarbeiten können, um ausdrucksstärkere und effizientere Darstellungsmethoden für die Audiosignalverarbeitung bereitzustellen.

Kernbeiträge

  1. Theoretischer Rahmen: Systematische Etablierung der mathematischen Grundlagen von CVCNNs, einschließlich eines vollständigen theoretischen Systems für komplexwertige Faltung, Pooling, Aktivierungsfunktionen und Batch-Normalisierung
  2. Trainingstechnik-Optimierung: Vorschlag von Gewichtsinitialisierungsstrategien und Batch-Normalisierungsmethoden für komplexwertige Netze, um Trainingsstabilität zu gewährleisten
  3. Verbesserung der Aktivierungsfunktion: Einführung der smooth zReLU-Aktivierungsfunktion zur Behebung der Diskontinuität des ursprünglichen zReLU
  4. Validierung von Phaseninformationen: Explizite Validierung des Wertes von Phaseninformationen in Audioklassifizierungsaufgaben durch GNN-Experimente
  5. Umfassende Bewertung: Vollständige experimentelle Validierung in Bild- und Audiobereichen, die empirische Unterstützung für CVCNNs-Anwendungen bietet

Methodische Details

Aufgabendefinition

Diese Arbeit konzentriert sich hauptsächlich auf Audioklassifizierungsaufgaben, insbesondere auf Musikgenre-Klassifizierung. Die Eingabe ist die MFCC-Merkmaldarstellung des Audiosignals, die Ausgabe ist das Klassifizierungslabel. Die Kernherausforderung besteht darin, wie Phaseninformationen von Audiosignalen in neuronalen Netzen effektiv genutzt werden können.

Modellarchitektur

Komplexwertige Faltungsoperation

Für komplexwertige Eingabematrix X=A1+iB1X = A_1 + iB_1 und komplexwertigen Faltungskern W=A2+iB2W = A_2 + iB_2 ist die komplexwertige Faltung definiert als:

W∗X=(A1∗A2−B1∗B2)+i(B1∗A2+A1∗B2)W * X = (A_1 * A_2 - B_1 * B_2) + i(B_1 * A_2 + A_1 * B_2)

Dies kann in Matrixform ausgedrückt werden als: W∗X=(A1−B1B1A1)∗(A2−B2B2A2)W * X = \begin{pmatrix} A_1 & -B_1 \\ B_1 & A_1 \end{pmatrix} * \begin{pmatrix} A_2 & -B_2 \\ B_2 & A_2 \end{pmatrix}

Komplexwertige Pooling-Schicht

  • Max-Pooling: Maximale Wertauswahl basierend auf der Magnitude komplexer Zahlen, wobei die entsprechende Phase durch den Index des Magnitudemaximums wiederhergestellt wird
  • Durchschnitts-Pooling: Separate Durchschnittsbildung für Real- und Imaginärteil

Komplexwertige Aktivierungsfunktionen

Das Papier vergleicht detailliert fünf komplexwertige Aktivierungsfunktionen:

  1. CReLU: CReLU(z)=ReLU(Re(z))+iReLU(Im(z))\text{CReLU}(z) = \text{ReLU}(\text{Re}(z)) + i\text{ReLU}(\text{Im}(z))
  2. modReLU: modReLU(z)=ReLU(∣z∣+b)⋅z∣z∣\text{modReLU}(z) = \text{ReLU}(|z| + b) \cdot \frac{z}{|z|}
  3. zReLU: Gibt den ursprünglichen Wert nur zurück, wenn Real- und Imaginärteil beide nicht-negativ sind
  4. smooth zReLU: z⋅σ(α⋅Re(z))⋅σ(α⋅Im(z))z \cdot \sigma(\alpha \cdot \text{Re}(z)) \cdot \sigma(\alpha \cdot \text{Im}(z))
  5. cardioid: g(z)=z2(1+cos⁡ϕz)g(z) = \frac{z}{2}(1 + \cos \phi_z)

Komplexwertige Batch-Normalisierung

Normalisierungsprozess für komplexwertigen Vektor xx: x~=V−1/2(x−E(x))\tilde{x} = V^{-1/2}(x - E(x))

wobei die Kovarianzmatrix: V=(Cov(Re(x),Re(x))Cov(Re(x),Im(x))Cov(Im(x),Re(x))Cov(Im(x),Im(x)))+λIV = \begin{pmatrix} \text{Cov}(\text{Re}(x), \text{Re}(x)) & \text{Cov}(\text{Re}(x), \text{Im}(x)) \\ \text{Cov}(\text{Im}(x), \text{Re}(x)) & \text{Cov}(\text{Im}(x), \text{Im}(x)) \end{pmatrix} + \lambda I

Technische Innovationspunkte

  1. Anwendung der Wirtinger-Infinitesimalrechnung: Lösung des Gradientenberechnungsproblems für nicht-analytische komplexwertige Funktionen
  2. Phasenabhängige Merkmalsextraktion: Gestaltung von zwei phasenbewahrenden MFCC-Extraktionsabläufen
  3. Integration von Graphenneuronalen Netzen: Innovative Nutzung von GNN-Kantengewichten zur expliziten Modellierung von Phaseninformationen
  4. Optimierung der Aktivierungsfunktion: Einführung von smooth zReLU zur Behebung von Trainingsinstabilität

Experimentelle Einrichtung

Datensätze

  1. Bilddatensätze: MNIST, Fashion-MNIST, Kuzushiji-MNIST
  2. Audiodatensätze: GTZAN-Musikgenre-Datensatz (1000 30-Sekunden-Audiofragmente, 10 Genres)

Bewertungsmetriken

  • Trainings- und Test-Genauigkeit
  • Trainingszeit-Vergleich
  • Konvergenzanalyse

Vergleichsmethoden

  • Standard-Echtzeit-CNN (Baseline)
  • Verschiedene CVCNN-Konfigurationen (reellwertige Eingabe, komplexwertige Eingabe usw.)
  • CVCNN-Varianten mit verschiedenen Aktivierungsfunktionen

Implementierungsdetails

  • Verwendung von PyTorch und complexPyTorch-Bibliothek
  • CPU-Training auf Apple M2 Pro-Chip
  • Gradient Clipping zur Vermeidung von Trainingsinstabilität
  • Trainingszyklen von 5-10 Epochen

Experimentelle Ergebnisse

Hauptergebnisse

Bildklassifizierungsexperimente

Bei MNIST, KMNIST und Fashion-MNIST erreichen CVCNNs unter verschiedenen Eingabekonfigurationen eine mit reellwertigen CNNs vergleichbare Leistung:

  • MNIST: Test-Genauigkeit etwa 99%
  • KMNIST: Test-Genauigkeit etwa 95%
  • Fashion-MNIST: Test-Genauigkeit etwa 90%

Audioklassifizierungsexperimente

Bei Binärklassifizierungs-Musikgenre-Aufgaben:

  • Reellwertige CNN-Baseline: 92,5% Test-Genauigkeit
  • CVCNN (reellwertige MFCC): 95,34% Test-Genauigkeit (cardioid-Aktivierung)
  • CVCNN (komplexwertige MFCC): Leistungsabfall, zeigt Einschränkungen der aktuellen Architektur

Vergleich der Aktivierungsfunktionen

Die cardioid-Aktivierungsfunktion zeigt in allen Experimenten die beste Leistung:

  • Stabilste unter komplexwertigen Eingabestörungen
  • Höchste Genauigkeit bei Audioaufgaben
  • Stabilster Trainingsprozess

Ablationsstudien

Auswirkungen verschiedener Aktivierungsfunktionen

Experimentelle Ergebnisse zeigen:

  • cardioid: Ausgezeichnete Leistung unter verschiedenen Einstellungen, besonders unter Phasenstörungen
  • modReLU: Instabil unter fester Phase und imaginärer Teileeinstellung, deutlicher Genauigkeitsabfall
  • smooth zReLU: Gute Leistung unter Nicht-Transformation und Rausch-Einstellung
  • CReLU: Als stabile Baseline-Wahl

Validierung des Wertes von Phaseninformationen

GNN-Experimente beweisen explizit den Wert von Phaseninformationen:

  • GNN ohne Phaseninformation (Baseline)
  • GNN mit phasendifferenz-basierten Kantengewichten: Signifikant besser als Baseline bei Binär- und Zehnklassen-Aufgaben

Experimentelle Erkenntnisse

  1. Trainingseffizienz: CVCNNs-Trainingszeit ist etwa 4-5 mal länger als reellwertige CNNs
  2. Stabilität: Die richtige Wahl der Aktivierungsfunktion ist entscheidend für die Trainingsstabilität
  3. Phasennutzung: Aktuelle Architekturen haben begrenzte Fähigkeiten bei der direkten Nutzung von Phaseninformationen
  4. Generalisierungsfähigkeit: CVCNNs zeigen gute Robustheit unter komplexwertigen Störungen

Verwandte Arbeiten

Entwicklung komplexwertiger neuronaler Netze

  • Frühe Arbeiten konzentrierten sich hauptsächlich auf theoretische Grundlagen und grundlegende Architekturen
  • In letzter Zeit Durchbrüche in spezifischen Bereichen (wie MRT-Rekonstruktion, SAR-Bildverarbeitung)

Tiefes Lernen in der Audiosignalverarbeitung

  • Traditionelle Methoden basieren hauptsächlich auf Magnitudenspektrum-Merkmalen
  • Phasenabhängige Methoden erhalten zunehmend Aufmerksamkeit, wie Deep Complex U-Net

Vorteile dieser Arbeit

Im Vergleich zu bestehenden Arbeiten bietet diese Arbeit einen systematischeren theoretischen Rahmen und umfassendere experimentelle Validierung, besonders bei Aktivierungsfunktionsvergleichen und Validierung des Wertes von Phaseninformationen.

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Machbarkeit der Architektur: CVCNNs können eine mit reellwertigen CNNs vergleichbare Leistung beibehalten und gleichzeitig die Fähigkeit zur Verarbeitung komplexwertiger Informationen bieten
  2. Wert von Phaseninformationen: GNN-Experimente beweisen explizit den diskriminativen Wert von Phaseninformationen in der Audioklassifizierung
  3. Wichtigkeit der Aktivierungsfunktion: Phasenabhängige Aktivierungsfunktionen wie cardioid sind traditionellen Wahlmöglichkeiten deutlich überlegen
  4. Anwendungspotenzial: Mit angemessener Architekturgestaltung haben CVCNNs das Potenzial, Durchbrüche in Audioverarbeitungsaufgaben zu erzielen

Einschränkungen

  1. Rechnerischer Aufwand: Signifikante Steigerung der Trainingszeit (4-5fach)
  2. Architektur-Einschränkungen: Aktuelle Gestaltung hat noch Mängel bei der direkten Nutzung von Phaseninformationen
  3. Aufgabenspezifität: In einigen Aufgaben kann der Wert von Phaseninformationen begrenzt sein
  4. Implementierungskomplexität: Erfordert spezialisierte komplexwertige Rechenbibliotheken

Zukünftige Richtungen

  1. Architektur-Innovation: Gestaltung spezialisierter phasenabhängiger Module und Aufmerksamkeitsmechanismen
  2. Trainingsoptimierung: Entwicklung effizienterer Trainingsalgorithmen für komplexwertige Netze
  3. Anwendungserweiterung: Erkundung von Anwendungen in Spracherkennung, Schallquellenlokalisation usw.
  4. Theoretische Vertiefung: Weitere Verständnis der Ausdruckskraft komplexwertiger Darstellungen und Lernungsdynamik

Tiefgreifende Bewertung

Stärken

  1. Theoretische Vollständigkeit: Bietet einen vollständigen mathematischen Rahmen für CVCNNs, von grundlegenden Operationen bis zu Trainingstechniken
  2. Experimentelle Umfassendheit: Systemische Bewertung über Bereiche hinweg (Bild + Audio), mehrere Perspektiven (verschiedene Aktivierungsfunktionen, Eingabekonfigurationen)
  3. Validierung der Innovation: Geschickte Validierung des inneren Wertes von Phaseninformationen durch GNNs
  4. Praktische Anleitung: Bietet konkrete technische Anleitung für praktische Anwendung von CVCNNs

Mängel

  1. Begrenzte Leistungsverbesserung: In einigen Aufgaben ist der Vorteil von CVCNNs gegenüber reellwertigen CNNs nicht deutlich
  2. Rechnerische Effizienz: Erheblicher Rechenaufwand kann praktische Anwendungen einschränken
  3. Unzureichende Architektur-Erkundung: Hauptsächlich Verwendung von Standard-CNN-Architektur, Mangel an spezialisierter Gestaltung für komplexwertige Eigenschaften
  4. Datensatzgröße: Experimente hauptsächlich auf relativ einfachen Datensätzen durchgeführt

Einfluss

  1. Akademischer Beitrag: Bietet wichtige theoretische und experimentelle Grundlagen für komplexwertige Netzwerk-Forschung
  2. Praktischer Wert: Führt neue technische Wege für die Audiosignalverarbeitung ein
  3. Reproduzierbarkeit: Bietet vollständige Code-Implementierung für nachfolgende Forschung
  4. Inspirationskraft: Zeigt Richtung für die Entwicklung phasenabhängigen tiefen Lernens

Anwendbare Szenarien

  1. Audiosignalverarbeitung: Musikanalyse, Sprachverbesserung, akustische Szenario-Klassifizierung
  2. Signalverarbeitung: Radarsignalverarbeitung, Kommunikationssysteme, biomedizinische Signalanalyse
  3. Wissenschaftliche Berechnung: Physikalische Simulation und numerische Berechnung mit komplexwertigen Daten
  4. Forschungswerkzeug: Als Grundplattform zur Erkundung des Wertes von Phaseninformationen

Literaturverzeichnis

Das Papier zitiert 37 wichtige Literaturquellen, die Theorie komplexwertiger neuronaler Netze, Audiosignalverarbeitung, Optimierung tiefen Lernens und andere Bereiche abdecken und eine solide theoretische Grundlage und technische Unterstützung für die Forschung bieten.

Gesamtbewertung: Dies ist ein sehr systematisches Forschungspapier, das eine Brücke zwischen theoretischer Konstruktion und praktischer Anwendung komplexwertiger neuronaler Netze schlägt. Obwohl die Leistungsverbesserungen in einigen Aspekten noch nicht ausreichend signifikant sind, bietet es wichtige Grundlagenarbeit und Forschungsrichtungen für die Entwicklung dieses Feldes.