2025-11-20T07:28:15.314096

Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications

Seifert, Günlü, Schaefer
The application of deep learning to the area of communications systems has been a growing field of interest in recent years. Forward-forward (FF) learning is an efficient alternative to the backpropagation (BP) algorithm, which is the typically used training procedure for neural networks. Among its several advantages, FF learning does not require the communication channel to be differentiable and does not rely on the global availability of partial derivatives, allowing for an energy-efficient implementation. In this work, we design end-to-end learned autoencoders using the FF algorithm and numerically evaluate their performance for the additive white Gaussian noise and Rayleigh block fading channels. We demonstrate their competitiveness with BP-trained systems in the case of joint coding and modulation, and in a scenario where a fixed, non-differentiable modulation stage is applied. Moreover, we provide further insights into the design principles of the FF network, its training convergence behavior, and significant memory and processing time savings compared to BP-based approaches.
academic

Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications

基本信息

  • 论文ID: 2510.11418
  • 标题: Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications
  • 作者: Daniel Seifert, Onur Günlü, Rafael F. Schaefer
  • 分类: cs.IT cs.LG math.IT
  • 发表时间: 2025年10月13日 (arXiv预印本)
  • 论文链接: https://arxiv.org/abs/2510.11418

摘要

深度学习在通信系统领域的应用近年来备受关注。Forward-forward (FF) 学习是反向传播(BP)算法的高效替代方案，后者是神经网络的典型训练程序。FF学习的诸多优势包括：不要求通信信道可微分，不依赖偏导数的全局可用性，从而实现节能实现。本研究设计了使用FF算法的端到端学习自编码器，并对其在加性白高斯噪声和瑞利块衰落信道下的性能进行数值评估。研究证明了其在联合编码调制场景以及应用固定不可微调制阶段场景下与BP训练系统的竞争力。此外，还提供了对FF网络设计原理、训练收敛行为以及相比BP方法显著的内存和处理时间节省的深入洞察。

研究背景与动机

1. 要解决的问题

传统的反向传播算法在通信系统中存在三个主要问题：

  • 可微分路径要求：BP需要通过整个神经网络的完全可微分路径，而实际信道往往不可微分
  • 内存和能耗效率低：需要存储每个节点的偏导数，导致高内存消耗和能耗
  • 锁定机制：存在向后锁定，所有层必须等待后续层的梯度计算完成

2. 问题的重要性

在通信系统中部署深度学习方法面临实际挑战，特别是在资源受限的边缘设备上。传统BP算法的局限性阻碍了神经网络在实际通信系统中的高效实现。

3. 现有方法的局限性

  • 强化学习方法：需要额外的无噪声反馈链路来估计发射机梯度
  • 生成对抗网络/扩散模型：虽然可微分但计算复杂度高
  • 直通估计器(STE)：在量化场景下性能显著下降

4. 研究动机

FF算法具有以下优势，使其特别适合通信系统：

  • 不需要可微分信道
  • 可实现完全模拟、低功耗电路
  • 允许流水线训练过程
  • 显著降低内存使用

核心贡献

  1. 提出了基于FF算法的端到端自编码器架构，专门针对无线通信系统设计
  2. 设计了对比输入数据生成策略，包括正样本、负样本和中性样本的构造方法
  3. 在AWGN和瑞利块衰落信道上验证了竞争性性能，特别是在非可微分场景下的优势
  4. 提供了网络设计原理的深入分析，包括网络深度、宽度对性能的影响
  5. 量化了内存和处理时间的显著节省，证明了FF算法的实际优势

方法详解

任务定义

给定消息 m∈M={0,…,2k−1}m \in \mathcal{M} = \{0, \ldots, 2^k-1\}，自编码器需要：

  1. 将k位消息编码为n维码字
  2. 通过噪声信道传输
  3. 在接收端正确解码原始消息
  4. 优化目标是最小化块错误率(BLER)

模型架构

整体架构设计

如图1所示，FF自编码器包含：

  • 编码器：L个全连接层，输出归一化/量化
  • 信道：AWGN或瑞利块衰落信道
  • 解码器：K个全连接层
  • 分类器：单层分类器，输出softmax概率

对比输入数据构造

FF算法的关键创新是对比输入数据的设计：

  • 正样本：v=(1m∣∣1m)v = (1_m || 1_m) （真实标签复制）
  • 负样本：v=(1m∣∣1mˉ)v = (1_m || 1_{\bar{m}}) （真实标签+随机错误标签）
  • 中性样本：v=(1m∣∣0)v = (1_m || 0) （用于推理）

其中 1m1_m 表示消息m的独热编码，∣∣|| 表示连接操作。

训练算法

每层的优化基于"好度"度量 gi=∣∣ai∣∣22g_i = ||a_i||_2^2，损失函数定义为：

\zeta(-(g_i - \tau_i)) & \text{正样本} \\ \zeta(g_i - \tau_i) & \text{负样本} \end{cases}$$ 其中 $\zeta(x) = \log(1 + e^x)$ 是softplus函数，$\tau_i$ 是阈值。 #### 分类器训练 独立的分类器 $c_\kappa(\cdot)$ 学习将解码器活动映射到原始消息，使用交叉熵损失训练。 ### 技术创新点 1. **无需全局梯度**：每层独立优化，打破向后锁定 2. **处理非可微分操作**：天然支持量化等非可微分操作 3. **对比学习机制**：通过正负样本对比学习有效表示 4. **分离式分类器**：解耦表示学习和分类任务 ## 实验设置 ### 信道模型 考虑实值瑞利块衰落(RBF)信道： $$Y_i = HX_i + N_i$$ 其中： - $N_i \sim \mathcal{N}(0, \sigma^2)$，$\sigma^2 = (2RE_b/N_0)^{-1}$ - $H$ 服从瑞利分布（衰落系数幅度） - $E_b/N_0$ 为每比特能量与噪声功率谱密度比（SNR） ### 实验参数 - **码率**：$R = k/n = 4/7$ - **训练SNR**：$E_b/N_0 = 5$ dB - **网络结构**：最优配置为 $L = K = 4$，$W = 80$ ### 对比方法 1. **BP自编码器**：经典反向传播训练 2. **BP-RL自编码器**：基于强化学习的无模型训练 3. **FF自编码器**：本文提出的前向-前向训练 ### 评价指标 - **块错误率(BLER)**：$P_e = \Pr(\hat{m} \neq m)$ - **收敛速度**：达到目标性能所需的训练迭代次数 - **内存使用**：梯度存储需求 - **处理时间**：训练时间复杂度 ## 实验结果 ### 主要结果 #### 联合编码调制场景 在连续输出的自编码器中（图2）： - **AWGN信道**：FF性能接近BP和BP-RL，但在高SNR区域存在约1dB的性能差距 - **RBF信道**：FF能够与其他方法竞争，表现出对信道扰动的鲁棒性 #### 量化编码器输出场景 在BPSK量化场景下（图3）： - **FF算法优势明显**：保持原有性能，而BP和BP-RL性能显著下降 - **RBF信道**：FF超越BP方法，BP-RL几乎追平差距 - 证明了STE近似的不充分性 ### 网络容量分析 表I显示了不同网络规模的BLER性能： - FF网络需要更宽的层（$W=80$ vs $W=16$）才能达到良好性能 - 编码器复杂度比解码器复杂度更关键 - 最佳配置：$L=K=4$，$W=80$ ### 收敛行为分析 图4展示了训练收敛曲线： - **连续编码器**：FF收敛速度与BP相当，明显快于BP-RL - **量化编码器**：FF达到目标损失更快，显示出对非可微分操作的优势 ### 硬件复杂度分析 #### 处理时间节省 对于N层网络： - **BP算法**：需要2N个时间单位（前向+后向） - **FF算法**：仅需N+1个时间单位 #### 内存节省 - **BP网络**：需要存储791个参数的梯度 - **FF网络**：无需存储梯度，直接计算和消费 ## 相关工作 ### 前向学习算法 1. **Hebbian学习**：基于神经可塑性规则，不需要反馈信号 2. **Sigprop算法**：并行传播学习信号，需要数据和标签的分离表示 3. **FF算法**：通过两次前向传播和好度度量进行层级训练 ### 通信系统中的深度学习 1. **端到端学习**：直接优化通信系统性能 2. **强化学习方法**：处理不可微分信道 3. **生成模型**：建模复杂信道特性 ## 结论与讨论 ### 主要结论 1. **FF自编码器具有竞争力**：在多种信道条件下性能接近或超越BP方法 2. **非可微分场景优势明显**：在量化等场景下表现优越 3. **硬件实现友好**：显著的内存和时间节省 4. **收敛性能良好**：训练速度与BP相当或更快 ### 局限性 1. **网络容量需求**：需要更大的网络才能达到相当性能 2. **超参数敏感性**：训练过程对超参数设置敏感 3. **高SNR性能差距**：在低噪声环境下性能略有下降 4. **短码长限制**：当前实验仅考虑短码长场景 ### 未来方向 1. **复杂信道模型**：扩展到更复杂的非可微分信道 2. **算法改进**：更sophisticated的损失函数设计和层协作技术 3. **长码长扩展**：通过级联码构造方案扩展到更长码长 4. **硬件实现**：实际的模拟硬件实现验证 ## 深度评价 ### 优点 1. **方法创新性强**：首次将FF算法应用于通信系统，解决了实际部署中的关键问题 2. **实验设计充分**：涵盖了多种信道模型和应用场景，对比方法全面 3. **理论分析深入**：提供了网络设计原理和硬件复杂度的定量分析 4. **实用价值高**：为低功耗通信设备提供了可行的深度学习解决方案 ### 不足 1. **性能差距**：在某些场景下仍存在与BP方法的性能差距 2. **码长限制**：仅在短码长(k=4,n=7)下验证，实际应用中需要更长码长 3. **超参数搜索不充分**：承认未进行广泛的超参数搜索，可能影响性能评估 4. **理论分析缺乏**：缺少对FF算法收敛性和最优性的理论保证 ### 影响力 1. **学术贡献**：为通信系统中的深度学习提供了新的训练范式 2. **实用价值**：为资源受限设备上的神经编码提供了可行方案 3. **启发意义**：可能推动更多前向学习算法在通信领域的应用 4. **可复现性**：提供了详细的超参数设置，便于复现 ### 适用场景 1. **边缘计算设备**：内存和计算资源受限的通信设备 2. **非可微分系统**：包含量化、调制等非可微分操作的通信系统 3. **低功耗应用**：对能耗敏感的物联网和传感器网络 4. **实时通信**：需要快速适应信道变化的动态系统 ## 参考文献 1. Hinton, G. "The forward-forward algorithm: Some preliminary investigations." arXiv:2212.13345 (2022) 2. O'Shea, T. & Hoydis, J. "An introduction to deep learning for the physical layer." IEEE Trans. Cogn. Commun. Netw. 3.4 (2017): 563-575 3. Aoudia, F. A. & Hoydis, J. "Model-free training of end-to-end communication systems." IEEE J. Sel. Areas Commun. 37.11 (2019): 2503-2516 --- **总结**：这篇论文在通信系统深度学习领域做出了重要贡献，通过引入FF算法解决了传统BP方法在实际部署中的关键问题。虽然在某些性能指标上还有改进空间，但其在非可微分场景下的优势和硬件友好性使其具有重要的实用价值和学术意义。