We obtain a non-asymptotic bound for the expected injective norm of a random tensor with independent entries. This bound is similar to the bound by Bandeira and van Handel (2016) for the expected spectral norm of a random matrix with independent entries.
論文ID : 2412.21193タイトル : Injective norm of random tensors with independent entries著者 : March T. Boedihardjo (ミシガン州立大学)分類 : math.PR (確率論)発表日時 : 2025年1月2日 (arXiv v2)論文リンク : https://arxiv.org/abs/2412.21193 本論文は、独立成分を持つランダムテンソルの期待単射ノルムに関する非漸近的上界を導出した。この上界は、Bandeira と van Handel (2016) による独立成分を持つランダム行列の期待スペクトルノルムに関する上界に類似している。
中心的問題 : 高階ランダムテンソルの単射ノルムに関する非漸近的確率上界を確立すること。これはランダム行列のスペクトルノルム上界をテンソルに自然に拡張したものである重要性 : 単射ノルムはテンソル解析における基本的な概念であり、テンソル階数 r=2 の場合は行列のスペクトルノルムに退化する。高次元ランダム構造の理解に重要な役割を果たす既存の制限 :
Bandeira-van Handel (2016) の古典的結果は行列 (r=2) の場合のみに適用可能 既存のテンソル上界は定数因子が十分に精密でないか、不要な対数因子を含む 行列の場合の証明技法 (モーメント法、スペクトル分解) はテンソルの場合に直接拡張することが困難 著者は、行列の場合の精密な上界をテンソルに拡張することを目指している。定数因子と対数項において若干の妥協があるものの、主要項の最適構造を保持している。
主定理 : r 階ランダムテンソルの単射ノルムに関する非漸近的上界を確立。主要項と対数補正項の形式技術的革新 : 幾何関数解析に基づく証明フレームワークを開発。テンソルの場合に扱いが困難なスペクトル分解を回避結果の拡張 : 有界独立ランダム変数とベルヌーイランダム変数の場合に上界を拡張濃度不等式 : 対応する確率濃度上界を提供r 階テンソル空間 ( R d ) ⊗ r (R^d)^{\otimes r} ( R d ) ⊗ r 上のランダムテンソルを考える:
Z = ∑ i 1 , … , i r ∈ [ d ] b i 1 , … , i r g i 1 , … , i r e i 1 ⊗ ⋯ ⊗ e i r Z = \sum_{i_1,\ldots,i_r \in [d]} b_{i_1,\ldots,i_r} g_{i_1,\ldots,i_r} e_{i_1} \otimes \cdots \otimes e_{i_r} Z = ∑ i 1 , … , i r ∈ [ d ] b i 1 , … , i r g i 1 , … , i r e i 1 ⊗ ⋯ ⊗ e i r
ここで g i 1 , … , i r g_{i_1,\ldots,i_r} g i 1 , … , i r は独立標準ガウスランダム変数、b i 1 , … , i r ∈ R b_{i_1,\ldots,i_r} \in \mathbb{R} b i 1 , … , i r ∈ R は固定係数である。
単射ノルムは以下のように定義される:
∥ Z ∥ i n j : = sup x 1 , … , x r ∈ B 2 d ⟨ Z , x 1 ⊗ ⋯ ⊗ x r ⟩ \|Z\|_{inj} := \sup_{x_1,\ldots,x_r \in B_2^d} \langle Z, x_1 \otimes \cdots \otimes x_r \rangle ∥ Z ∥ inj := sup x 1 , … , x r ∈ B 2 d ⟨ Z , x 1 ⊗ ⋯ ⊗ x r ⟩
著者は三つの重要な技術的対象を構成した:
多重線形写像 τ :
τ ( x 1 , … , x r ) : = ( b i 1 , … , i r ⟨ x 1 , e i 1 ⟩ ⋯ ⟨ x r , e i r ⟩ ) i 1 , … , i r ∈ [ d ] \tau(x_1,\ldots,x_r) := (b_{i_1,\ldots,i_r}\langle x_1, e_{i_1}\rangle \cdots \langle x_r, e_{i_r}\rangle)_{i_1,\ldots,i_r \in [d]} τ ( x 1 , … , x r ) := ( b i 1 , … , i r ⟨ x 1 , e i 1 ⟩ ⋯ ⟨ x r , e i r ⟩ ) i 1 , … , i r ∈ [ d ]
対角行列 D ( k ) D^{(k)} D ( k ) :
( D x 1 , … , x k − 1 , x k + 1 , … , x r ( k ) ) i k , i k : = ( ∑ i 1 , … , i k − 1 , i k + 1 , … , i r b i 1 , … , i r 2 ∏ j ≠ k ⟨ x j , e i j ⟩ 2 ) 1 / 2 (D^{(k)}_{x_1,\ldots,x_{k-1},x_{k+1},\ldots,x_r})_{i_k,i_k} := \left(\sum_{i_1,\ldots,i_{k-1},i_{k+1},\ldots,i_r} b_{i_1,\ldots,i_r}^2 \prod_{j \neq k} \langle x_j, e_{i_j}\rangle^2\right)^{1/2} ( D x 1 , … , x k − 1 , x k + 1 , … , x r ( k ) ) i k , i k := ( ∑ i 1 , … , i k − 1 , i k + 1 , … , i r b i 1 , … , i r 2 ∏ j = k ⟨ x j , e i j ⟩ 2 ) 1/2
距離 η ( k ) \eta^{(k)} η ( k ) :
η ( k ) ( x , y ) : = ∥ ψ k ( x ) − ψ k ( y ) ∥ ∞ \eta^{(k)}(x,y) := \|\psi_k(x) - \psi_k(y)\|_\infty η ( k ) ( x , y ) := ∥ ψ k ( x ) − ψ k ( y ) ∥ ∞
補題2.1 : τ と距離 η の関係を確立補題2.2 : 対角行列 D と距離 η の関係を確立補題2.6 : 距離 η の被覆数と Dudley 積分を制御著者は第二距離項を許容する Slepian-Fernique 不等式の拡張版を開発した:
補題3.4 : ガウス過程 ( Z t ) (Z_t) ( Z t ) と ( W t ) (W_t) ( W t ) が
E ( Z t − Z s ) 2 ≤ E ( W t − W s ) 2 + ρ ( t , s ) 2 E(Z_t - Z_s)^2 \leq E(W_t - W_s)^2 + \rho(t,s)^2 E ( Z t − Z s ) 2 ≤ E ( W t − W s ) 2 + ρ ( t , s ) 2
を満たすとき、
E sup t Z t ≤ E sup t W t + C ∫ 0 ∞ ln N ( T , ρ , ε ) d ε E\sup_t Z_t \leq E\sup_t W_t + C\int_0^\infty \sqrt{\ln N(T,\rho,\varepsilon)} d\varepsilon E sup t Z t ≤ E sup t W t + C ∫ 0 ∞ ln N ( T , ρ , ε ) d ε
スペクトル分解の回避 : 幾何関数解析的方法によりテンソルの場合に扱いが困難なスペクトル分解を回避距離分解 : 誘導距離を制御可能なガウス過程部分と幾何距離部分に分解被覆数制御 : Maurey 経験的方法により複雑な距離の被覆数を制御上述のランダムテンソル Z に対して、
E ∥ Z ∥ i n j ≤ 2 r ∑ k ∈ [ r ] max i 1 , … , i k − 1 , i k + 1 , … , i r ( ∑ i k b i 1 , … , i r 2 ) 1 / 2 + C r 3 ( ln d ) 2 max ∣ b i 1 , … , i r ∣ E\|Z\|_{inj} \leq \sqrt{2r}\sum_{k \in [r]} \max_{i_1,\ldots,i_{k-1},i_{k+1},\ldots,i_r} \left(\sum_{i_k} b_{i_1,\ldots,i_r}^2\right)^{1/2} + Cr^3(\ln d)^2 \max |b_{i_1,\ldots,i_r}| E ∥ Z ∥ inj ≤ 2 r ∑ k ∈ [ r ] max i 1 , … , i k − 1 , i k + 1 , … , i r ( ∑ i k b i 1 , … , i r 2 ) 1/2 + C r 3 ( ln d ) 2 max ∣ b i 1 , … , i r ∣
( E ∥ Z ∥ i n j 2 ) 1 / 2 ≥ max k ∈ [ r ] max i 1 , … , i k − 1 , i k + 1 , … , i r ( ∑ i k b i 1 , … , i r 2 ) 1 / 2 (E\|Z\|_{inj}^2)^{1/2} \geq \max_{k \in [r]} \max_{i_1,\ldots,i_{k-1},i_{k+1},\ldots,i_r} \left(\sum_{i_k} b_{i_1,\ldots,i_r}^2\right)^{1/2} ( E ∥ Z ∥ inj 2 ) 1/2 ≥ max k ∈ [ r ] max i 1 , … , i k − 1 , i k + 1 , … , i r ( ∑ i k b i 1 , … , i r 2 ) 1/2
系1.4 : [ − K , K ] [-K,K] [ − K , K ] に値を取る独立ランダム変数に対して、同様の上界が成立し、主要項の係数は 4 r 4\sqrt{r} 4 r となる。
系1.5 : ベルヌーイランダム変数の場合、文献 16 における ( l n d ) r − 2 (ln d)^{r-2} ( l n d ) r − 2 因子が除去される。
ステップ1 : 問題をガウス過程の上限値に変換ステップ2 : 三つの技術的対象を利用して誘導距離を分解ステップ3 : 一般化された Slepian-Fernique 不等式を適用ステップ4 : ガウス項と幾何項をそれぞれ推定ガウス項は濃度不等式により制御 幾何項は被覆数の Dudley 積分により制御 被覆数推定は Maurey 経験的方法を利用 Bandeira-van Handel (2016) との比較 :主要項の構造は同一 対数項は ln d \sqrt{\ln d} ln d から ( ln d ) 2 (\ln d)^2 ( ln d ) 2 に悪化 定数因子に若干の損失 Latała (2005) との比較 :ℓ 4 \ell^4 ℓ 4 ノルム項を回避より精密な主要項を提供 Zhou-Zhu (2021) との比較 :( l n d ) r − 2 (ln d)^{r-2} ( l n d ) r − 2 因子を除去制御可能な対数項を追加 本論文は、ランダム行列のスペクトルノルムの精密な上界をテンソルの場合に成功裏に拡張した。技術的詳細において若干の妥協があるものの、主要項の最適構造を保持している。
対数項が ln d \sqrt{\ln d} ln d から ( ln d ) 2 (\ln d)^2 ( ln d ) 2 に悪化 定数因子が十分に精密でない 証明技法の複雑度が高い 対数項の依存性の改善 定数因子の最適化 テンソルスペクトル分解のより直接的な技法の開発 理論的意義 : テンソルランダム解析における重要な空白を埋める技術的革新 : テンソルに適用可能な新しい証明フレームワークを開発結果の精密性 : 主要項は最適であり、下界と一致応用の広さ : 複数の種類のランダム変数に拡張可能技術的複雑性 : 証明過程がやや繁雑定数損失 : 行列の場合と比較して定数と対数項に損失実用性 : 高次元の場合、上界が十分に厳密でない可能性本論文はテンソルランダム解析に基礎的なツールを提供し、機械学習、統計物理などの分野におけるテンソル手法に重要な理論的支援を与える。
高次元テンソルデータ解析 ランダムテンソルネットワーク研究 量子もつれの幾何学的解析 機械学習におけるテンソル分解 Bandeira, A. S. and van Handel, R. (2016). Sharp nonasymptotic bounds on the norm of random matrices with independent entries. Latała, R. (2005). Some estimates of norms of random matrices. Zhou, Z. and Zhu, Y. (2021). Sparse random tensors: Concentration, regularization and applications.