2025-11-19T08:52:13.731098

Nonnegative Tensor Decomposition Via Collaborative Neurodynamic Optimization

Ahmadi-Asl, Leplat, Phan et al.

This paper introduces a novel collaborative neurodynamic model for computing nonnegative Canonical Polyadic Decomposition (CPD). The model relies on a system of recurrent neural networks to solve the underlying nonconvex optimization problem associated with nonnegative CPD. Additionally, a discrete-time version of the continuous neural network is developed. To enhance the chances of reaching a potential global minimum, the recurrent neural networks are allowed to communicate and exchange information through particle swarm optimization (PSO). Convergence and stability analyses of both the continuous and discrete neurodynamic models are thoroughly examined. Experimental evaluations are conducted on random and real-world datasets to demonstrate the effectiveness of the proposed approach.

academic

非負テンソル分解の協調神経動力学最適化

基本情報

論文ID: 2411.18127
タイトル: Nonnegative Tensor Decomposition Via Collaborative Neurodynamic Optimization
著者: Salman Ahmadi-Asl, Valentin Leplat, Anh-Huy Phan, Andrzej Cichocki
分類: math.NA cs.NA
投稿日時: 2025年1月1日（arXivへ投稿）
論文リンク: https://arxiv.org/abs/2411.18127

要約

本論文は、非負標準多元分解（Canonical Polyadic Decomposition, CPD）を計算するための新規な協調神経動力学モデルを提案している。本モデルは、非負CPDに関連する基礎的な非凸最適化問題を解くために、再帰型ニューラルネットワークシステムに依存している。さらに、連続ニューラルネットワークの離散時間版も開発されている。潜在的な大域的最小値に到達する機会を増加させるため、再帰型ニューラルネットワークは粒子群最適化（PSO）を通じて通信と情報交換を行う。連続および離散神経動力学モデルの収束性と安定性について詳細な分析が行われている。合成データセットと実データセット上での実験評価により、提案手法の有効性が実証されている。

研究背景と動機

問題背景

テンソル分解は機械学習とデータサイエンスにおける重要なツールであり、特に標準多元分解（CPD）は高階テンソルを最小数のランク1テンソルの和に分解する。非負CPDは、データ圧縮、行列補完、ハマースタイン識別、クラスタリングなど、多くの実用的応用において重要である。

既存手法の限界

局所最適問題: 階層的交互最小二乗法（HALS）および交互最小二乗法（ALS）などの従来の反復アルゴリズムは、局所最適解に陥りやすい
収束速度: 高い共線性を持つ因子行列を有する困難なテンソルに対して、既存手法の収束が遅い
大域的最適化の課題: 非負CPDは非凸最適化問題であり、大域的最適解の探索は困難である

研究動機

協調神経動力学最適化は凸および非凸最適化問題において強力な能力を示しているが、テンソル分解への応用に関する研究は限定的である。本論文は、この空白を埋めることを目的とし、協調神経動力学に基づく非負テンソル分解手法を提案する。

核心的貢献

CPD計算用の協調神経動力学モデルを提案。これはテンソル分解に協調神経動力学最適化を拡張適用した初の包括的研究である
非負CPDの離散時間投影ニューラルネットワークを開発。連続モデルの実用的な離散版を提供する
ヘッシアン前処理戦略を通じた加速版を開発。連続および離散神経動力学モデルの収束速度を向上させる
包括的な収束性および安定性の理論分析を提供。アルゴリズムの大域的収束性を証明する
高共線性データテンソル上での優れた性能を実証。困難なテンソル分解問題の処理に特に適している

手法の詳細

タスク定義

N階テンソル $\mathcal{X} \in \mathbb{R}^{I_1 \times I_2 \times \cdots \times I_N}$ が与えられたとき、非負CPD問題は以下のように定義される：

$\min_{A^{(1)} \geq 0, \ldots, A^{(N)} \geq 0} \|\mathcal{X} - \llbracket A^{(1)}, A^{(2)}, \ldots, A^{(N)} \rrbracket\|_F^2$

ここで $A^{(n)} \in \mathbb{R}^{I_n \times R}$ は第n因子行列、 $R$ はテンソルランクである。

モデルアーキテクチャ

1. 連続時間神経動力学モデル

3階テンソルに対して、連続神経動力学システムは以下のように定義される：

$\epsilon_1 \frac{dA}{dt} = -A + [A - \nabla_A F(A,B,C) P_A^{-1}]_+$ $\epsilon_2 \frac{dB}{dt} = -B + [B - \nabla_B F(A,B,C) P_B^{-1}]_+$ $\epsilon_3 \frac{dC}{dt} = -C + [C - \nabla_C F(A,B,C) P_C^{-1}]_+$

ここで：

$F(A,B,C) = \frac{1}{2}\|\mathcal{X} - \llbracket A,B,C \rrbracket\|_F^2$ は目的関数
$P_A = (C^T C) * (B^T B)$ はヘッシアン前処理行列
$[\cdot]_+$ は非負象限への投影活性化関数

2. 離散時間投影ニューラルネットワーク（DTPNN）

連続モデルの離散化版は以下の通りである：

$A_{k+1} = A_k + \lambda_k(-A_k + [\tilde{A}_k]_+)$ $B_{k+1} = B_k + \lambda_k(-B_k + [\tilde{B}_k]_+)$ $C_{k+1} = C_k + \lambda_k(-C_k + [\tilde{C}_k]_+)$

ここで $\tilde{A}_k = A_k - \nabla_A F(A_k, B_k, C_k)$ である。

3. 協調メカニズム

複数のニューラルネットワークの協調は粒子群最適化（PSO）を通じて実現される：

$v_n^{(k+1)} = \alpha v_n^{(k)} + \beta_1 \gamma_1 (p_n^{(k)} - x_n^{(k)}) + \beta_2 \gamma_2 (p_{best}^{(k)} - x_n^{(k)})$ $x_n^{(k+1)} = x_n^{(k)} + v_n^{(k+1)}$

ここで $p_n^{(k)}$ は第nの粒子の最良位置、 $p_{best}^{(k)}$ は大域的最良位置である。

技術的革新点

マルチタイムスケール神経動力学: 異なる時間定数 $\epsilon_1, \epsilon_2, \epsilon_3$ を使用することで、因子行列が異なる速度で更新されることを可能にする
ヘッシアン前処理: $P_A^{-1}$ などの前処理行列を通じた収束の加速
ウェーブレット変異メカニズム: 粒子の多様性が低い場合、ガボールウェーブレット関数を使用して探索能力を強化する
対数障壁法: 制約付き最適化を無制約最適化に変換する代替案を提供する

実験設定

データセット

合成データセット:
- 困難なテンソル：9×9×9、ランクR=10-16
- 高共線性テンソル：20×20×20、ランクR=10
- 大規模テンソル：70×70×70、ランクR=75
実データセット:
- COIL20: 32×32×1440の画像データセット
- YALE: 32×32×165の顔画像データセット
- ORL: 32×32×400の顔画像データセット
- ハイパースペクトル画像: Cuprite (120×120×180)、Urban (120×120×162)、Jasper Ridge (100×100×198)