2025-11-19T21:10:14.255447

Embodied AI-Enhanced Vehicular Networks: An Integrated Large Language Models and Reinforcement Learning Method

Zhang, Zhao, Du et al.

This paper investigates adaptive transmission strategies in embodied AI-enhanced vehicular networks by integrating large language models (LLMs) for semantic information extraction and deep reinforcement learning (DRL) for decision-making. The proposed framework aims to optimize both data transmission efficiency and decision accuracy by formulating an optimization problem that incorporates the Weber-Fechner law, serving as a metric for balancing bandwidth utilization and quality of experience (QoE). Specifically, we employ the large language and vision assistant (LLAVA) model to extract critical semantic information from raw image data captured by embodied AI agents (i.e., vehicles), reducing transmission data size by approximately more than 90\% while retaining essential content for vehicular communication and decision-making. In the dynamic vehicular environment, we employ a generalized advantage estimation-based proximal policy optimization (GAE-PPO) method to stabilize decision-making under uncertainty. Simulation results show that attention maps from LLAVA highlight the model's focus on relevant image regions, enhancing semantic representation accuracy. Additionally, our proposed transmission strategy improves QoE by up to 36\% compared to DDPG and accelerates convergence by reducing required steps by up to 47\% compared to pure PPO. Further analysis indicates that adapting semantic symbol length provides an effective trade-off between transmission quality and bandwidth, achieving up to a 61.4\% improvement in QoE when scaling from 4 to 8 vehicles.

academic

具身AI強化車両ネットワーク：大規模言語モデルと強化学習の統合手法

基本情報

論文ID: 2501.01141
タイトル: Embodied AI-Enhanced Vehicular Networks: An Integrated Large Language Models and Reinforcement Learning Method
著者: Ruichen Zhang, Changyuan Zhao, Hongyang Du, Dusit Niyato, Jiacheng Wang, Suttinee Sawadsitang, Xuemin Shen, Dong In Kim
分類: cs.NI（ネットワークとインターネットアーキテクチャ）
発表日: 2025年1月2日（arXivプレプリント）
論文リンク: https://arxiv.org/abs/2501.01141

要約

本論文は、大規模言語モデル（LLM）による意味情報抽出と深層強化学習（DRL）による意思決定を統合した具身AI強化車両ネットワークにおける適応的伝送戦略を研究している。本フレームワークは、Weber-Fechner則を含む最適化問題を定式化することで、帯域幅利用率とユーザー体験品質（QoE）のバランスを取り、データ伝送効率と意思決定精度を最適化することを目的としている。具体的には、大規模言語・視覚アシスタント（LLAVA）モデルを採用して、具身AIエージェント（すなわち車両）によってキャプチャされた生画像データから重要な意味情報を抽出し、車両ネットワーク通信と意思決定に必要な基本的なコンテンツを保持しながら、伝送データサイズを90%以上削減する。動的車両ネットワーク環境では、一般化優位推定（GAE）に基づく近接方策最適化（GAE-PPO）手法を採用して、不確実性下での意思決定を安定化させる。

研究背景と動機

問題定義

6G時代の到来に伴い、車両ネットワーク（IoV）は前例のない進歩を遂行することが期待されており、トラフィック密度は0.1～10 Gbps/m²を超え、接続密度は1平方キロメートルあたり1000万デバイスに達する。これらの改善により、データレート、接続性、ネットワーク容量が大幅に向上し、リアルタイムナビゲーション、環境認識、自律的意思決定などのIoVサービスが根本的に変わる。

研究動機

データ処理の課題：接続された車両の数が増加するにつれて、大量のセンサーを配置して大量のリアルタイムデータを収集・処理する必要があり、従来の判別的AIモデルは動的条件下で高い性能を維持することが困難である。
伝送効率の問題：生センサーデータの伝送には大量の帯域幅が必要であり、情報品質を保証しながらデータ伝送量を削減することが重要な課題である。
意思決定の複雑性：車両ネットワーク環境は高度に動的であり、環境変化にリアルタイムで適応できるインテリジェント意思決定システムが必要である。

既存手法の限界

従来の手法は主にスペクトラム効率、遅延、セキュリティなどの従来のパフォーマンス指標に焦点を当てている
意味データ伝送と意思決定効率に対する考慮が不足している
車両ネットワークリソース最適化におけるLLMとDRLの統合応用が十分に探索されていない

核心的貢献

データ伝送モデリング：データ伝送効率と意思決定精度のバランスを取る最適化問題を定式化し、ユーザー体験品質（QoE）を定量化する指標としてWeber-Fechner則を導入した。
LLMベースの意味データ処理：LLAVAを利用して生画像データから意味情報を抽出し、車両ネットワーク通信と意思決定に必要な基本的なコンテキスト詳細を保持しながら伝送帯域幅を大幅に削減する。
DRLベースの強化意思決定：動的車両ネットワーク環境における意思決定を改善するためにGAE-PPO手法を提案し、一般化優位推定により方策勾配更新の分散を削減し、訓練プロセスを安定化させる。
先駆的な研究：著者の知る限り、具身AI強化車両ネットワークにおけるLLMデータ処理とDRL意思決定の共同応用を探索する初めての研究である。

方法論の詳細

タスク定義

都市環境におけるセルラーネットワークベースの車両ネットワーク通信ネットワークを考慮し、具身AIシステムを備えたI台の車両が基地局（BS）の通信範囲内を走行している。ネットワークはW個の車両から基盤施設（V2I）リンクとQ個の車両から車両（V2V）リンクを含む。

目標：伝送電力、意味シンボル割り当て、チャネル使用を最適化し、高効率なリソース利用を確保しながらQoEを最大化する。

モデルアーキテクチャ

1. LLAVA意味情報抽出

アーキテクチャ設計：

視覚エンコーダ：対比言語画像事前学習（CLIP）視覚エンコーダを使用して画像を特徴ベクトルに変換：
```
Zi = g(Ii)
```
投影行列：訓練可能な線形投影行列Wを通じて特徴を言語モデル単語埋め込み空間に投影：
```
Ei = W · Zi
```
意味抽出：LLAVAモデルを通じて意味情報を生成：
```
Mi = LLAVA(Ii; θi)
```

モデル微調整：

損失関数：L = Σ||Mi - M̂i||²
クロスエントロピー損失：LCE = Σq(vi,l)log p(vi,l)

2. GAE-PPO伝送戦略最適化

MDP設計：

行動空間：at = [{bq[w]}, {P^V2V_q[w]}, {uq}]（次元：3Q）
状態空間：st = [{H^(w)_i}, {γ^V2V_q(t)}, {γ^V2I_w(t)}]（次元：2W+Q）
報酬関数：QoEベースの報酬、制約違反ペナルティ項を含む

GAE-PPOアルゴリズム：

エージェント目的関数：J(θA) = Et[ρt(θA)A^π_θold_A_t]
クリップ目的：Jclip(θA) = Et[min(ρt(θA)A^π_θold_A_t, clip(ρt(θA), 1-ε, 1+ε)A^π_θold_A_t)]
一般化優位推定：A^π_θold_A_t = Σ(γλ)^l δt+l