Architectures d'Autoencodeurs Forward-Forward pour les Communications Sans Fil Économes en Énergie

Informations Fondamentales

• ID de l'article : 2510.11418
• Titre : Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications
• Auteurs : Daniel Seifert, Onur Günlü, Rafael F. Schaefer
• Classification : cs.IT cs.LG math.IT
• Date de publication : 13 octobre 2025 (prépublication arXiv)
• Lien de l'article : https://arxiv.org/abs/2510.11418

Résumé

L'application de l'apprentissage profond aux systèmes de communication a récemment suscité un intérêt considérable. L'apprentissage forward-forward (FF) constitue une alternative efficace à l'algorithme de rétropropagation (BP), qui est la procédure d'entraînement typique des réseaux de neurones. Les nombreux avantages de l'apprentissage FF incluent : l'absence d'exigence de différentiabilité du canal de communication, l'indépendance vis-à-vis de la disponibilité globale des dérivées partielles, permettant ainsi une implémentation économe en énergie. Cette étude conçoit des autoencodeurs d'apprentissage bout à bout utilisant l'algorithme FF et évalue numériquement leurs performances sur des canaux à bruit blanc gaussien additif et à évanouissement de Rayleigh par bloc. L'étude démontre la compétitivité par rapport aux systèmes entraînés par BP dans les scénarios de codage-modulation conjoints ainsi que dans les applications avec une phase de modulation fixe et non différentiable. De plus, elle fournit des analyses approfondies des principes de conception des réseaux FF, du comportement de convergence de l'entraînement, et des économies significatives de mémoire et de temps de traitement par rapport aux méthodes BP.

Contexte et Motivation de la Recherche

1. Problèmes à Résoudre

L'algorithme de rétropropagation traditionnel présente trois problèmes majeurs dans les systèmes de communication :

• Exigence de chemin différentiable : BP nécessite un chemin complètement différentiable à travers l'ensemble du réseau de neurones, alors que les canaux réels sont souvent non différentiables
• Efficacité énergétique et mémoire faibles : Nécessite le stockage des dérivées partielles pour chaque nœud, entraînant une consommation élevée de mémoire et d'énergie
• Mécanismes de verrouillage : Existence d'un verrouillage rétrograde, tous les étages devant attendre la fin du calcul des gradients des étages suivants

2. Importance du Problème

Le déploiement de méthodes d'apprentissage profond dans les systèmes de communication fait face à des défis pratiques, particulièrement sur les appareils périphériques aux ressources limitées. Les limitations de l'algorithme BP traditionnel entravent l'implémentation efficace des réseaux de neurones dans les systèmes de communication réels.

3. Limitations des Approches Existantes

• Méthodes d'apprentissage par renforcement : Nécessitent une liaison de rétroaction supplémentaire sans bruit pour estimer les gradients de l'émetteur
• Réseaux antagonistes génératifs/Modèles de diffusion : Bien que différentiables, présentent une complexité computationnelle élevée
• Estimateurs directs (STE) : Performance significativement dégradée dans les scénarios de quantification

4. Motivation de la Recherche

L'algorithme FF possède les avantages suivants, le rendant particulièrement adapté aux systèmes de communication :

• Ne nécessite pas de canal différentiable
• Permet des circuits analogiques complets et à faible consommation
• Autorise les processus d'entraînement en pipeline
• Réduit considérablement l'utilisation de la mémoire

Contributions Principales

1. Proposition d'une architecture d'autoencodeur bout à bout basée sur l'algorithme FF, spécialement conçue pour les systèmes de communication sans fil
2. Conception de stratégies de génération de données contrastives, incluant les méthodes de construction d'échantillons positifs, négatifs et neutres
3. Vérification de performances compétitives sur les canaux AWGN et à évanouissement de Rayleigh par bloc, démontrant notamment les avantages dans les scénarios non différentiables
4. Fourniture d'analyses approfondies des principes de conception des réseaux, incluant l'impact de la profondeur et de la largeur du réseau sur les performances
5. Quantification des économies significatives de mémoire et de temps de traitement, démontrant les avantages pratiques de l'algorithme FF

Détails de la Méthode

Définition de la Tâche

Étant donné un message $m \in \mathcal{M} = \{0, \ldots, 2^k-1\}$, l'autoencodeur doit :

1. Encoder le message de k bits en un mot de code de dimension n
2. Transmettre via un canal bruyant
3. Décoder correctement le message original au récepteur
4. L'objectif d'optimisation est de minimiser le taux d'erreur par bloc (BLER)

Architecture du Modèle

Conception Architecturale Globale

Comme illustré à la Figure 1, l'autoencodeur FF comprend :

• Encodeur : L couches entièrement connectées, avec normalisation/quantification en sortie
• Canal : Canal AWGN ou à évanouissement de Rayleigh par bloc
• Décodeur : K couches entièrement connectées
• Classificateur : Classificateur monocouche, produisant des probabilités softmax

Construction de Données Contrastives

L'innovation clé de l'algorithme FF réside dans la conception des données contrastives :

• Échantillons positifs : $v = (1_m || 1_m)$ (étiquette vraie dupliquée)
• Échantillons négatifs : $v = (1_m || 1_{\bar{m}})$ (étiquette vraie + étiquette erronée aléatoire)
• Échantillons neutres : $v = (1_m || 0)$ (pour l'inférence)

Où $1_m$ désigne l'encodage one-hot du message m, et $||$ désigne l'opération de concaténation.

Algorithme d'Entraînement

L'optimisation de chaque étage est basée sur la métrique de « bonté » $g_i = ||a_i||_2^2$, avec la fonction de perte définie comme :