2025-11-20T07:28:15.314096

Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications

Seifert, Günlü, Schaefer
The application of deep learning to the area of communications systems has been a growing field of interest in recent years. Forward-forward (FF) learning is an efficient alternative to the backpropagation (BP) algorithm, which is the typically used training procedure for neural networks. Among its several advantages, FF learning does not require the communication channel to be differentiable and does not rely on the global availability of partial derivatives, allowing for an energy-efficient implementation. In this work, we design end-to-end learned autoencoders using the FF algorithm and numerically evaluate their performance for the additive white Gaussian noise and Rayleigh block fading channels. We demonstrate their competitiveness with BP-trained systems in the case of joint coding and modulation, and in a scenario where a fixed, non-differentiable modulation stage is applied. Moreover, we provide further insights into the design principles of the FF network, its training convergence behavior, and significant memory and processing time savings compared to BP-based approaches.
academic

에너지 효율적 무선 통신을 위한 전진-전진 자동인코더 아키텍처

기본 정보

  • 논문 ID: 2510.11418
  • 제목: Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications
  • 저자: Daniel Seifert, Onur Günlü, Rafael F. Schaefer
  • 분류: cs.IT cs.LG math.IT
  • 발표 시간: 2025년 10월 13일 (arXiv 사전인쇄본)
  • 논문 링크: https://arxiv.org/abs/2510.11418

초록

심층 학습의 통신 시스템 분야 응용이 최근 주목받고 있다. 전진-전진(FF) 학습은 신경망의 전형적인 훈련 절차인 역전파(BP) 알고리즘의 효율적인 대안이다. FF 학습의 여러 장점으로는 통신 채널의 미분 가능성을 요구하지 않으며, 편미분의 전역 가용성에 의존하지 않아 에너지 효율적인 구현을 가능하게 한다는 점이 있다. 본 연구는 FF 알고리즘을 사용하는 종단간 학습 자동인코더를 설계하고, 가법 백색 가우스 잡음 및 레일리 블록 페이딩 채널에서의 성능을 수치적으로 평가한다. 연구는 결합 부호화 변조 시나리오 및 고정 비미분 변조 단계 적용 시나리오에서 BP 훈련 시스템과의 경쟁력을 입증한다. 또한 FF 네트워크 설계 원리, 훈련 수렴 동작, 그리고 BP 방법 대비 현저한 메모리 및 처리 시간 절감에 대한 심층적 통찰을 제공한다.

연구 배경 및 동기

1. 해결해야 할 문제

전통적인 역전파 알고리즘은 통신 시스템에서 세 가지 주요 문제가 있다:

  • 미분 가능 경로 요구사항: BP는 전체 신경망을 통한 완전히 미분 가능한 경로가 필요하지만, 실제 채널은 종종 미분 불가능하다
  • 메모리 및 에너지 효율 저하: 각 노드의 편미분을 저장해야 하므로 높은 메모리 소비 및 에너지 소비 야기
  • 잠금 메커니즘: 역방향 잠금이 존재하여 모든 계층이 후속 계층의 그래디언트 계산 완료를 기다려야 함

2. 문제의 중요성

통신 시스템에 심층 학습 방법을 배포하는 것은 특히 리소스가 제한된 엣지 디바이스에서 실질적인 과제를 제시한다. 전통적인 BP 알고리즘의 한계는 신경망의 실제 통신 시스템에서의 효율적인 구현을 방해한다.

3. 기존 방법의 한계

  • 강화 학습 방법: 송신기 그래디언트 추정을 위해 추가 무잡음 피드백 링크 필요
  • 생성 적대 신경망/확산 모델: 미분 가능하지만 계산 복잡도가 높음
  • 직통 추정기(STE): 양자화 시나리오에서 성능이 현저히 저하됨

4. 연구 동기

FF 알고리즘은 통신 시스템에 특히 적합하게 하는 다음의 장점을 가진다:

  • 미분 가능한 채널 불필요
  • 완전 아날로그, 저전력 회로 구현 가능
  • 파이프라인 훈련 프로세스 허용
  • 메모리 사용량 현저히 감소

핵심 기여

  1. 무선 통신 시스템을 위해 특별히 설계된 FF 알고리즘 기반 종단간 자동인코더 아키텍처 제안
  2. 양성 샘플, 음성 샘플 및 중립 샘플의 구성 방법을 포함한 대조 입력 데이터 생성 전략 설계
  3. AWGN 및 레일리 블록 페이딩 채널에서 경쟁력 있는 성능 검증, 특히 비미분 시나리오에서의 우위
  4. 네트워크 설계 원리에 대한 심층 분석 제공, 네트워크 깊이, 너비가 성능에 미치는 영향 포함
  5. 메모리 및 처리 시간의 현저한 절감 정량화, FF 알고리즘의 실질적 우위 입증

방법 상세 설명

작업 정의

메시지 m∈M={0,…,2k−1}m \in \mathcal{M} = \{0, \ldots, 2^k-1\}가 주어졌을 때, 자동인코더는 다음을 수행해야 한다:

  1. k비트 메시지를 n차원 부호어로 인코딩
  2. 잡음 채널을 통해 전송
  3. 수신 단에서 원본 메시지를 올바르게 디코딩
  4. 최적화 목표는 블록 오류율(BLER) 최소화

모델 아키텍처

전체 아키텍처 설계

그림 1에서 보이는 바와 같이, FF 자동인코더는 다음을 포함한다:

  • 인코더: L개의 완전 연결 계층, 정규화/양자화 출력
  • 채널: AWGN 또는 레일리 블록 페이딩 채널
  • 디코더: K개의 완전 연결 계층
  • 분류기: 단일 계층 분류기, softmax 확률 출력

대조 입력 데이터 구성

FF 알고리즘의 핵심 혁신은 대조 입력 데이터의 설계이다:

  • 양성 샘플: v=(1m∣∣1m)v = (1_m || 1_m) (실제 레이블 복사)
  • 음성 샘플: v=(1m∣∣1mˉ)v = (1_m || 1_{\bar{m}}) (실제 레이블 + 무작위 오류 레이블)
  • 중립 샘플: v=(1m∣∣0)v = (1_m || 0) (추론용)

여기서 1m1_m은 메시지 m의 원-핫 인코딩이고, ∣∣||는 연결 연산이다.

훈련 알고리즘

각 계층의 최적화는 "좋음도" 메트릭 gi=∣∣ai∣∣22g_i = ||a_i||_2^2에 기반하며, 손실 함수는 다음과 같이 정의된다:

\zeta(-(g_i - \tau_i)) & \text{양성 샘플} \\ \zeta(g_i - \tau_i) & \text{음성 샘플} \end{cases}$$ 여기서 $\zeta(x) = \log(1 + e^x)$는 소프트플러스 함수이고, $\tau_i$는 임계값이다. #### 분류기 훈련 독립적인 분류기 $c_\kappa(\cdot)$는 디코더 활동을 원본 메시지에 매핑하는 것을 학습하며, 교차 엔트로피 손실을 사용하여 훈련된다. ### 기술 혁신점 1. **전역 그래디언트 불필요**: 각 계층이 독립적으로 최적화되어 역방향 잠금 제거 2. **비미분 연산 처리**: 양자화 등의 비미분 연산을 자연스럽게 지원 3. **대조 학습 메커니즘**: 양성 및 음성 샘플 대조를 통한 효과적인 표현 학습 4. **분리식 분류기**: 표현 학습과 분류 작업 분리 ## 실험 설정 ### 채널 모델 실수 레일리 블록 페이딩(RBF) 채널을 고려한다: $$Y_i = HX_i + N_i$$ 여기서: - $N_i \sim \mathcal{N}(0, \sigma^2)$, $\sigma^2 = (2RE_b/N_0)^{-1}$ - $H$는 레일리 분포를 따름 (페이딩 계수 진폭) - $E_b/N_0$는 비트당 에너지 대 잡음 전력 스펙트럼 밀도 비(SNR) ### 실험 매개변수 - **부호율**: $R = k/n = 4/7$ - **훈련 SNR**: $E_b/N_0 = 5$ dB - **네트워크 구조**: 최적 구성은 $L = K = 4$, $W = 80$ ### 비교 방법 1. **BP 자동인코더**: 고전적 역전파 훈련 2. **BP-RL 자동인코더**: 강화 학습 기반 모델 무료 훈련 3. **FF 자동인코더**: 본 논문에서 제안한 전진-전진 훈련 ### 평가 지표 - **블록 오류율(BLER)**: $P_e = \Pr(\hat{m} \neq m)$ - **수렴 속도**: 목표 성능에 도달하는 데 필요한 훈련 반복 횟수 - **메모리 사용**: 그래디언트 저장 요구사항 - **처리 시간**: 훈련 시간 복잡도 ## 실험 결과 ### 주요 결과 #### 결합 부호화 변조 시나리오 연속 출력 자동인코더에서 (그림 2): - **AWGN 채널**: FF 성능이 BP 및 BP-RL에 근접하지만, 높은 SNR 영역에서 약 1dB의 성능 차이 존재 - **RBF 채널**: FF가 다른 방법과 경쟁할 수 있으며, 채널 방해에 대한 견고성 표현 #### 양자화 인코더 출력 시나리오 BPSK 양자화 시나리오에서 (그림 3): - **FF 알고리즘 우위 명확**: 원래 성능 유지하는 반면 BP 및 BP-RL 성능 현저히 저하 - **RBF 채널**: FF가 BP 방법을 초과하며, BP-RL이 거의 격차 추격 - STE 근사의 불충분성 입증 ### 네트워크 용량 분석 표 I은 다양한 네트워크 규모의 BLER 성능을 보여준다: - FF 네트워크는 양호한 성능을 달성하기 위해 더 넓은 계층 필요 ($W=80$ vs $W=16$) - 인코더 복잡도가 디코더 복잡도보다 더 중요 - 최적 구성: $L=K=4$, $W=80$ ### 수렴 동작 분석 그림 4는 훈련 수렴 곡선을 보여준다: - **연속 인코더**: FF 수렴 속도가 BP와 상당하며, BP-RL보다 명확히 빠름 - **양자화 인코더**: FF가 목표 손실에 더 빠르게 도달하여 비미분 연산에 대한 우위 표시 ### 하드웨어 복잡도 분석 #### 처리 시간 절감 N계층 네트워크의 경우: - **BP 알고리즘**: 2N개 시간 단위 필요 (전진 + 역진) - **FF 알고리즘**: N+1개 시간 단위만 필요 #### 메모리 절감 - **BP 네트워크**: 791개 매개변수의 그래디언트 저장 필요 - **FF 네트워크**: 그래디언트 저장 불필요, 직접 계산 및 소비 ## 관련 연구 ### 전진 학습 알고리즘 1. **헤비안 학습**: 신경 가소성 규칙 기반, 피드백 신호 불필요 2. **Sigprop 알고리즘**: 병렬 전파 학습 신호, 데이터 및 레이블의 분리 표현 필요 3. **FF 알고리즘**: 두 번의 전진 전파 및 좋음도 메트릭을 통한 계층별 훈련 ### 통신 시스템의 심층 학습 1. **종단간 학습**: 통신 시스템 성능 직접 최적화 2. **강화 학습 방법**: 비미분 채널 처리 3. **생성 모델**: 복잡한 채널 특성 모델링 ## 결론 및 논의 ### 주요 결론 1. **FF 자동인코더는 경쟁력 있음**: 다양한 채널 조건에서 BP 방법과 유사하거나 우수한 성능 2. **비미분 시나리오에서 우위 명확**: 양자화 등의 시나리오에서 우수한 성능 3. **하드웨어 구현 친화적**: 현저한 메모리 및 시간 절감 4. **수렴 성능 양호**: 훈련 속도가 BP와 동등하거나 더 빠름 ### 한계 1. **네트워크 용량 요구사항**: 동등한 성능 달성을 위해 더 큰 네트워크 필요 2. **초매개변수 민감성**: 훈련 프로세스가 초매개변수 설정에 민감 3. **높은 SNR 성능 차이**: 저잡음 환경에서 성능이 약간 저하 4. **단문 부호 길이 제한**: 현재 실험은 단문 부호 길이 시나리오만 고려 ### 향후 방향 1. **복잡한 채널 모델**: 더 복잡한 비미분 채널로 확장 2. **알고리즘 개선**: 더 정교한 손실 함수 설계 및 계층 협력 기술 3. **장문 부호 길이 확장**: 연쇄 부호 구성 방식을 통해 더 긴 부호 길이로 확장 4. **하드웨어 구현**: 실제 아날로그 하드웨어 구현 검증 ## 심층 평가 ### 장점 1. **방법 혁신성 강함**: 통신 시스템에 FF 알고리즘을 처음 적용하여 실제 배포의 핵심 문제 해결 2. **실험 설계 충분**: 다양한 채널 모델 및 응용 시나리오 포함, 비교 방법 포괄적 3. **이론 분석 심층**: 네트워크 설계 원리 및 하드웨어 복잡도의 정량적 분석 제공 4. **실용 가치 높음**: 저전력 통신 디바이스를 위한 실행 가능한 심층 학습 솔루션 제공 ### 부족한 점 1. **성능 차이**: 일부 시나리오에서 BP 방법과의 성능 차이 여전히 존재 2. **부호 길이 제한**: 단문 부호 길이(k=4, n=7)에서만 검증되어 실제 응용에서 더 긴 부호 길이 필요 3. **초매개변수 탐색 불충분**: 광범위한 초매개변수 탐색을 수행하지 않았음을 인정하여 성능 평가에 영향 가능 4. **이론 분석 부족**: FF 알고리즘 수렴성 및 최적성에 대한 이론적 보장 부족 ### 영향력 1. **학술 기여**: 통신 시스템의 심층 학습을 위한 새로운 훈련 패러다임 제공 2. **실용 가치**: 리소스 제한 디바이스의 신경 부호화를 위한 실행 가능한 방안 제공 3. **영감 의의**: 통신 분야에서 더 많은 전진 학습 알고리즘 응용 추진 가능 4. **재현성**: 상세한 초매개변수 설정 제공으로 재현 용이 ### 적용 시나리오 1. **엣지 컴퓨팅 디바이스**: 메모리 및 계산 리소스가 제한된 통신 디바이스 2. **비미분 시스템**: 양자화, 변조 등 비미분 연산을 포함하는 통신 시스템 3. **저전력 응용**: 에너지 소비에 민감한 사물인터넷 및 센서 네트워크 4. **실시간 통신**: 채널 변화에 빠르게 적응해야 하는 동적 시스템 ## 참고문헌 1. Hinton, G. "The forward-forward algorithm: Some preliminary investigations." arXiv:2212.13345 (2022) 2. O'Shea, T. & Hoydis, J. "An introduction to deep learning for the physical layer." IEEE Trans. Cogn. Commun. Netw. 3.4 (2017): 563-575 3. Aoudia, F. A. & Hoydis, J. "Model-free training of end-to-end communication systems." IEEE J. Sel. Areas Commun. 37.11 (2019): 2503-2516 --- **요약**: 본 논문은 통신 시스템 심층 학습 분야에서 중요한 기여를 하였으며, FF 알고리즘 도입을 통해 전통적인 BP 방법의 실제 배포 시 핵심 문제를 해결했다. 일부 성능 지표에서 개선 여지가 있지만, 비미분 시나리오에서의 우위 및 하드웨어 친화성으로 인해 중요한 실용 가치와 학술적 의의를 갖는다.