2025-11-25T00:19:17.377936

Temporal Dynamics Decoupling with Inverse Processing for Enhancing Human Motion Prediction

Wang, Guo, Su

Exploring the bridge between historical and future motion behaviors remains a central challenge in human motion prediction. While most existing methods incorporate a reconstruction task as an auxiliary task into the decoder, thereby improving the modeling of spatio-temporal dependencies, they overlook the potential conflicts between reconstruction and prediction tasks. In this paper, we propose a novel approach: Temporal Decoupling Decoding with Inverse Processing (\textbf{$TD^2IP$}). Our method strategically separates reconstruction and prediction decoding processes, employing distinct decoders to decode the shared motion features into historical or future sequences. Additionally, inverse processing reverses motion information in the temporal dimension and reintroduces it into the model, leveraging the bidirectional temporal correlation of human motion behaviors. By alleviating the conflicts between reconstruction and prediction tasks and enhancing the association of historical and future information, \textbf{$TD^2IP$} fosters a deeper understanding of motion patterns. Extensive experiments demonstrate the adaptability of our method within existing methods.

academic

逆向処理を用いた時間ダイナミクス分離による人体運動予測の強化

基本情報

論文ID: 2501.00315
タイトル: Temporal Dynamics Decoupling with Inverse Processing for Enhancing Human Motion Prediction
著者: Jiexin Wang, Yiju Guo, Bing Su（中国人民大学高瓴人工知能学院）
分類: cs.CV（コンピュータビジョン）
発表日: 2024年12月31日（arXiv プレプリント）
論文リンク: https://arxiv.org/abs/2501.00315

要旨

過去と未来の運動行動間の橋渡しを探索することは、人体運動予測における中核的な課題である。既存の大多数の手法は再構成タスクを補助タスクとしてデコーダに組み込むことで時空間依存関係のモデリングを改善しているが、再構成タスクと予測タスク間の潜在的な競合を見落としている。本論文は新規な手法である時間ダイナミクス分離デコーディングと逆向処理（TD²IP）を提案する。本手法は戦略的に再構成と予測のデコーディングプロセスを分離し、異なるデコーダを用いて共有運動特徴を過去または未来の系列にデコードする。さらに、逆向処理は時間次元で運動情報を逆転させ、モデルに再導入することで、人体運動行動の双方向時間相関性を活用する。再構成タスクと予測タスク間の競合を緩和し、過去と未来の情報の関連性を強化することで、TD²IPは運動パターンのより深い理解を促進する。広範な実験により、既存手法における本手法の適応性が実証されている。

研究背景と動機

問題定義

人体運動予測（Human Motion Prediction, HMP）はコンピュータビジョンにおける重要なタスクであり、与えられた過去の運動系列に基づいて将来の骨格運動系列を予測することを目的としている。この技術はロボット協働、自動運転、歩行者意図推定などの分野において広範な応用価値を有する。

既存手法の限界

タスク競合問題: 既存手法は一般的に共有デコーダを採用して、過去の運動の再構成と将来の運動の予測という2つのタスクを同時に実行しているが、これら2つのタスク間には本質的な競合が存在する：
- 再構成タスクは運動特徴を元の過去の行動多様体に投影する必要がある
- 予測タスクは特徴を将来の行動多様体に投影する必要がある
- デコーダは2つの多様体間でバランスを取る必要があり、特徴表現が不十分になる可能性がある
タスク難度の不均衡: 図2に示すように、再構成タスクと予測タスクの難度には固有の不均衡が存在し、2つのタスクに等しい注意を配分することは非効率である
グローバル時間相関性の不足: 従来の手法は過去と未来の情報の双方向時間相関性の十分な活用に欠ける

研究動機

上記の問題に基づき、著者は自然な問いを提起する：タスク競合や難度不均衡などの要因を総合的に考慮することで、さらに予測性能を向上させることができるか？これがTD²IP手法の提案を促した。

核心的貢献

時間ダイナミクス分離デコーディング（TDD）フレームワークの提案: 従来のエンコーダ-デコーダフレームワークの共有デコーダを、専門的な再構成デコーダと予測デコーダに分解し、異なるタスク間の干渉と競合を効果的に緩和する
逆向処理（IP）補助タスクの導入: 時間次元での運動情報の逆転を通じて、モデルが将来の運動情報を用いて過去の情報を予測できるようにし、過去と未来の情報の相関性を顕著に強化する
汎用的フレームワーク設計: 提案手法は既存の様々な予測手法にシームレスに統合でき、補完的な強化技術として機能する
実験的検証: 標準的なHMPベンチマークデータセット上で広範な実験を実施し、手法の有効性と優越性を実証する

手法の詳細

タスク定義

過去の姿勢系列 $X = [X_1, \cdots, X_{T_p}] \in \mathbb{R}^{T_p \times J \times 3}$ が与えられたとき、ここで $X_t \in \mathbb{R}^{J \times 3}$ は時刻 $t$ における $J$ 個の身体関節の3D座標を表す。目標は将来の姿勢系列 $Y = [X_{T_p+1}, \cdots, X_{T_p+T_f}] \in \mathbb{R}^{T_f \times J \times 3}$ を予測することである。

HMP問題の形式化は、予測された将来の運動 $\hat{Y} = F_{pred}(X)$ が真の将来の運動 $Y$ にできるだけ近くなるような効果的な予測器 $F_{pred}(\cdot)$ を設計することとして表現される。

モデルアーキテクチャ

全体的フレームワーク

TD²IPフレームワークは以下の中核的コンポーネントを含む：

埋め込み層: 入力系列を特徴空間に投影する $\hat{X} = W_2(\sigma(W_1X + b_1)) + b_2$
エンコーダ $\phi$ : 運動データ内の時空間依存関係をモデル化する $M = \phi(\hat{X})$
分離デコーダ: 過去デコーダ $g_h$ と将来デコーダ $g_f$ を含む

時間ダイナミクス分離デコーディング（TDD）

従来の手法は単一のデコーダを用いて過去の運動の再構成と将来の運動の予測を同時に行うが、TDDはこのプロセスを2つの専門的なデコーダに分解する：

$P_k = g_k(M) \in \mathbb{R}^{T_k \times J \times D}$

ここで $k \in \{h, f\}$ はそれぞれ過去と将来を表し、 $T_k$ は対応する時間次元を表す。

最終的な予測は時間次元での連結により得られる： $\hat{Y}_f = [P_h, P_f] \in \mathbb{R}^{T \times J \times D}$

逆向処理（IP）

双方向時間相関性を強化するため、IPは訓練プロセスに逆向予測を導入する：

時間反転: 運動データ $P = [X,Y]$ に対して時間反転操作を実行して $P^r = [X_T, X_{T-1}, \cdots, X_1]$ を得る
逆向入力: 再分割して $X^r = [X_T, \cdots, X_{T-T_p+1}]$ を得る
逆向予測: $\hat{Y}^r = [P_{h,r}, P_{f,r}] \in \mathbb{R}^{T \times J \times D}$
ここで $P_{h,r} = g_h(M^r)$ 、 $P_{f,r} = g_f(M^r)$ である

技術的革新点

タスク分離戦略: 専門的なデコーダを通じて再構成タスクと予測タスクを個別に処理することで、従来の共有デコーダが2つの多様体間でバランスを取る問題を回避する
双方向時間モデリング: IPは運動の双方向時間相関性を活用し、各デコーダが完全な運動情報にアクセスできるようにする
プラグアンドプレイ設計: フレームワーク設計は簡潔性と有効性を保ち、様々な既存予測手法に容易に統合できる

実験設定

データセット

Human3.6M（H3.6M）: 複数の日常活動を含む大規模3D人体姿勢データセット
CMU Motion Capture（CMU-Mocap）: 古典的な人体運動キャプチャデータセット

評価指標

平均関節位置誤差（Mean Per Joint Position Error, MPJPE）を用いて性能を評価し、数値が低いほど性能が良い。

比較手法

複数の最先端のオープンソースベースライン手法を選択：

Traj-GCN: グラフ畳み込みネットワークに基づく軌跡予測手法
SPGSN: 骨格分割グラフ散乱ネットワーク
EqMotion: 等変マルチエージェント運動予測
STBMP: 時空間分岐運動予測

TD²IP手法を統合したベースラインはサフィックス「-T」で表記される。

実装の詳細

各手法はすべてのデータセット上で5回の実験を実施し、平均スコアを報告する
標準的な訓練および評価プロトコルを使用する
損失関数は正向および逆向予測損失を結合する： $L = L_f + L_r$

実験結果

主要な結果

H3.6Mデータセット上の結果

手法	80ms	160ms	320ms	400ms	560ms	1000ms	平均
Traj-GCN	12.19	24.87	50.76	61.44	80.19	113.87	57.22
Traj-GCN-T	11.31	24.10	49.95	60.72	78.44	113.00	56.25
SPGSN	10.74	22.68	47.46	58.64	79.88	112.42	55.30
SPGSN-T	10.32	22.13	46.65	57.87	79.17	112.08	54.71
EqMotion	9.45	21.01	46.06	57.60	75.98	109.75	53.31
EqMotion-T	8.96	20.50	45.93	57.99	75.91	109.76	53.01