2025-11-20T07:28:15.314096

Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications

Seifert, Günlü, Schaefer
The application of deep learning to the area of communications systems has been a growing field of interest in recent years. Forward-forward (FF) learning is an efficient alternative to the backpropagation (BP) algorithm, which is the typically used training procedure for neural networks. Among its several advantages, FF learning does not require the communication channel to be differentiable and does not rely on the global availability of partial derivatives, allowing for an energy-efficient implementation. In this work, we design end-to-end learned autoencoders using the FF algorithm and numerically evaluate their performance for the additive white Gaussian noise and Rayleigh block fading channels. We demonstrate their competitiveness with BP-trained systems in the case of joint coding and modulation, and in a scenario where a fixed, non-differentiable modulation stage is applied. Moreover, we provide further insights into the design principles of the FF network, its training convergence behavior, and significant memory and processing time savings compared to BP-based approaches.
academic

Arquitecturas de Autocodificadores Forward-Forward para Comunicaciones Inalámbricas Eficientes en Energía

Información Básica

  • ID del Artículo: 2510.11418
  • Título: Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications
  • Autores: Daniel Seifert, Onur Günlü, Rafael F. Schaefer
  • Clasificación: cs.IT cs.LG math.IT
  • Fecha de Publicación: 13 de octubre de 2025 (preimpresión en arXiv)
  • Enlace del Artículo: https://arxiv.org/abs/2510.11418

Resumen

La aplicación del aprendizaje profundo en sistemas de comunicación ha recibido considerable atención en años recientes. El aprendizaje forward-forward (FF) constituye una alternativa eficiente al algoritmo de retropropagación (BP), que es el procedimiento de entrenamiento típico de redes neuronales. Las numerosas ventajas del aprendizaje FF incluyen: no requiere que el canal de comunicación sea diferenciable, no depende de la disponibilidad global de derivadas parciales, permitiendo así implementaciones energéticamente eficientes. Este estudio diseña autocodificadores de aprendizaje de extremo a extremo utilizando el algoritmo FF y evalúa numéricamente su desempeño en canales de ruido blanco gaussiano aditivo (AWGN) y desvanecimiento de bloque Rayleigh. La investigación demuestra la competitividad con sistemas entrenados con BP en escenarios de codificación-modulación conjunta, así como en aplicaciones con fases de modulación fija no diferenciable. Además, se proporcionan perspectivas profundas sobre los principios de diseño de redes FF, comportamiento de convergencia del entrenamiento, y ahorros significativos de memoria y tiempo de procesamiento en comparación con métodos BP.

Antecedentes y Motivación de la Investigación

1. Problemas a Resolver

El algoritmo de retropropagación tradicional presenta tres problemas principales en sistemas de comunicación:

  • Requisito de Ruta Diferenciable: BP requiere una ruta completamente diferenciable a través de toda la red neuronal, mientras que los canales reales frecuentemente no son diferenciables
  • Baja Eficiencia de Memoria y Energía: Necesita almacenar derivadas parciales en cada nodo, resultando en alto consumo de memoria y energía
  • Mecanismo de Bloqueo: Existe bloqueo hacia atrás, donde todas las capas deben esperar la finalización del cálculo de gradientes de capas posteriores

2. Importancia del Problema

El despliegue de métodos de aprendizaje profundo en sistemas de comunicación enfrenta desafíos prácticos, particularmente en dispositivos periféricos con recursos limitados. Las limitaciones del algoritmo BP tradicional obstaculizan la implementación eficiente de redes neuronales en sistemas de comunicación reales.

3. Limitaciones de Métodos Existentes

  • Métodos de Aprendizaje por Refuerzo: Requieren enlaces de retroalimentación adicionales sin ruido para estimar gradientes del transmisor
  • Redes Generativas Adversariales/Modelos de Difusión: Aunque diferenciables, presentan alta complejidad computacional
  • Estimadores de Paso Directo (STE): Desempeño significativamente reducido en escenarios de cuantización

4. Motivación de la Investigación

El algoritmo FF posee las siguientes ventajas que lo hacen particularmente adecuado para sistemas de comunicación:

  • No requiere canales diferenciables
  • Permite circuitos completamente analógicos y de bajo consumo
  • Permite procesos de entrenamiento en pipeline
  • Reduce significativamente el uso de memoria

Contribuciones Principales

  1. Propone arquitecturas de autocodificadores de extremo a extremo basadas en el algoritmo FF, diseñadas específicamente para sistemas de comunicación inalámbrica
  2. Diseña estrategias de generación de datos de entrada contrastivos, incluyendo métodos de construcción de muestras positivas, negativas y neutrales
  3. Valida desempeño competitivo en canales AWGN y desvanecimiento de bloque Rayleigh, con ventajas particulares en escenarios no diferenciables
  4. Proporciona análisis profundo de principios de diseño de redes, incluyendo efectos de profundidad y ancho de red en el desempeño
  5. Cuantifica ahorros significativos de memoria y tiempo de procesamiento, demostrando ventajas prácticas del algoritmo FF

Explicación Detallada de Métodos

Definición de la Tarea

Dado un mensaje m∈M={0,…,2k−1}m \in \mathcal{M} = \{0, \ldots, 2^k-1\}, el autocodificador debe:

  1. Codificar el mensaje de k bits en una palabra de código de dimensión n
  2. Transmitir a través de un canal ruidoso
  3. Decodificar correctamente el mensaje original en el extremo receptor
  4. El objetivo de optimización es minimizar la tasa de error de bloque (BLER)

Arquitectura del Modelo

Diseño de Arquitectura General

Como se muestra en la Figura 1, el autocodificador FF contiene:

  • Codificador: L capas completamente conectadas con salida normalizada/cuantizada
  • Canal: Canal AWGN o desvanecimiento de bloque Rayleigh
  • Decodificador: K capas completamente conectadas
  • Clasificador: Clasificador de una sola capa con salida softmax probabilística

Construcción de Datos de Entrada Contrastivos

La innovación clave del algoritmo FF es el diseño de datos de entrada contrastivos:

  • Muestras Positivas: v=(1m∣∣1m)v = (1_m || 1_m) (etiqueta verdadera replicada)
  • Muestras Negativas: v=(1m∣∣1mˉ)v = (1_m || 1_{\bar{m}}) (etiqueta verdadera + etiqueta de error aleatoria)
  • Muestras Neutrales: v=(1m∣∣0)v = (1_m || 0) (para inferencia)

Donde 1m1_m denota la codificación one-hot del mensaje m, y ∣∣|| denota la operación de concatenación.

Algoritmo de Entrenamiento

La optimización de cada capa se basa en la métrica de "bondad" gi=∣∣ai∣∣22g_i = ||a_i||_2^2, con función de pérdida definida como:

undefined