2025-11-13T17:52:10.918085

Variational Analysis in Spectral Decomposition Systems

Bùi, Bùi, Clason
This work is concerned with variational analysis of so-called spectral functions and spectral sets of matrices that only depend on eigenvalues of the matrix. Based on our previous work [H. T. Bùi, M. N. Bùi, and C. Clason, Convex analysis in spectral decomposition systems, arXiv 2503.14981] on convex analysis of such functions, we consider the question in the abstract framework of spectral decomposition systems, which covers a wide range of previously studied settings, including eigenvalue decomposition of Hermitian matrices and singular value decomposition of rectangular matrices, and allows deriving new results in more general settings such as normal decomposition systems and signed singular value decompositions. The main results characterize Fréchet and limiting normal cones to spectral sets as well as Fréchet, limiting, and Clarke subdifferentials of spectral functions in terms of the reduced functions. For the latter, we also characterize Fréchet differentiability. Finally, we obtain a generalization of Lidski\uı's theorem on the spectrum of additive perturbations of Hermitian matrices to arbitrary spectral decomposition systems.
academic

Variational Analysis in Spectral Decomposition Systems

基本信息

  • 论文ID: 2510.11433
  • 标题: Variational Analysis in Spectral Decomposition Systems
  • 作者: Hòa T. Bùi (Curtin University), Minh N. Bùi (University of Graz), Christian Clason (University of Graz)
  • 分类: math.OC (Optimization and Control)
  • 发表时间: 2025年10月13日 (arXiv preprint)
  • 论文链接: https://arxiv.org/abs/2510.11433

摘要

本文研究了仅依赖于矩阵特征值的谱函数和谱集的变分析。基于作者之前关于此类函数凸分析的工作，本文在谱分解系统的抽象框架内考虑该问题，该框架涵盖了广泛的已研究设置，包括Hermitian矩阵的特征值分解和矩形矩阵的奇异值分解，并允许在更一般的设置（如正规分解系统和有符号奇异值分解）中导出新结果。主要结果通过约化函数刻画了谱集的Fréchet和极限法锥，以及谱函数的Fréchet、极限和Clarke次微分。对于后者，作者还刻画了Fréchet可微性。最后，获得了Lidskiĭ定理关于Hermitian矩阵加性扰动谱的推广到任意谱分解系统。

研究背景与动机

问题背景

  1. 实际需求：许多实际相关的优化问题自然地以矩阵而非向量形式提出，如非负矩阵分解、矩阵补全、低秩逼近、算子学习等。
  2. 基变不变性：在算子学习等应用中，关心的是优化有限维线性算子而非其特定矩阵表示，这要求目标函数在基变换下保持不变。
  3. 谱函数的普遍性：在适当假设下，此类不变函数完全由其对特征值（或奇异值）的依赖性刻画，如矩阵的核范数。

研究重要性

谱函数在众多应用中无处不在：

  • 鲁棒矩阵估计
  • 信号处理
  • 锥规划
  • 半定规划
  • 非线性弹性
  • 脑网络分析

现有方法局限性

虽然许多此类问题可以表述为凸问题，但并非总是如此。例如：

  • 通过Schatten p-范数最小化（0 < p < 1）的低秩矩阵补全
  • 带有半定锥互补约束的数学规划(SDCMPCC)

现有工作的主要挑战是不变函数仅依赖于特征值集合而非其排序，且各个工作都孤立地处理特定设置。

研究动机

本文旨在将Fréchet、极限和Clarke次微分以及Fréchet可微性的结果统一到一个通用框架中，该框架涵盖所有这些设置，更重要的是能够更容易地为尚未涵盖的设置和对象导出结果。

核心贡献

  1. 统一理论框架：建立了谱分解系统的抽象框架，统一了之前孤立研究的各种设置（Hermitian矩阵、矩形矩阵、Euclidean Jordan代数等）。
  2. 变分几何刻画：完全刻画了谱集的Fréchet和极限法锥： N#(X;γ−1(D))={Λay∣y∈NF(γ(X);D) and a∈AX}N^\#(X; \gamma^{-1}(D)) = \{\Lambda_a y \mid y \in N^F(\gamma(X); D) \text{ and } a \in A_X\}
  3. 次微分公式：建立了谱函数的Fréchet和极限次微分的完整刻画： ∂#(φ∘γ)(X)={Λay∣y∈∂#φ(γ(X)) and a∈AX}\partial^\#(\varphi \circ \gamma)(X) = \{\Lambda_a y \mid y \in \partial^\# \varphi(\gamma(X)) \text{ and } a \in A_X\}
  4. 可微性刻画：完全刻画了谱函数的Fréchet可微性及其导数。
  5. Clarke次微分：给出了谱函数Clarke次微分的表示。
  6. 广义Lidskiĭ定理：将经典Lidskiĭ定理推广到任意谱分解系统。

方法详解

谱分解系统定义

定义2.1（谱分解系统）：Euclidean空间ℌ的谱分解系统是一个四元组𝔖 = (𝒳, S, γ, (Λₐ)ₐ∈A)，其中：

  • 𝒳是Euclidean空间
  • S是通过线性等距作用在𝒳上的群
  • γ：ℌ → 𝒳是谱映射
  • (Λₐ)ₐ∈A是从𝒳到ℌ的线性等距族

满足三个兼容性条件：

  • A 存在S-不变映射τ：𝒳 → 𝒳使得τ(x) ∈ S·x且γ ∘ Λₐ = τ
  • B 对每个X ∈ ℌ，存在a ∈ A使得X = Λₐγ(X)
  • C 广义von Neumann迹不等式：⟨X|Y⟩ ≤ ⟨γ(X)|γ(Y)⟩

谱函数和谱集

定义2.3：

  • 谱函数：Φ：ℌ → -∞,+∞是谱函数当且仅当γ(X) = γ(Y) ⇒ Φ(X) = Φ(Y)
  • 谱集：D ⊂ ℌ是谱集当且仅当其指示函数是谱函数

关键刻画（命题2.4）：函数Φ是谱函数当且仅当存在S-不变函数φ使得Φ = φ ∘ γ。

核心技术方法

  1. 几何方法：通过法锥到上图的标准技术，从谱集的法锥结果转移到谱函数的次微分。
  2. 乘积空间技术：利用乘积空间谱分解系统（例2.14）处理上图。
  3. 紧致性论证：利用假设2.2中{Λₐ}ₐ∈A的闭性，通过命题2.18建立紧致性。

实验设置

理论验证的例子

本文主要是理论工作，通过多个具体例子验证框架的普适性：

  1. Hermitian矩阵特征值分解（例2.11）
  2. 矩形矩阵奇异值分解（例2.12）
  3. Euclidean Jordan代数（例2.10）
  4. 正规分解系统（例2.8）
  5. 有符号奇异值分解（例2.13）

验证方法

  • 证明每个具体例子都满足谱分解系统的定义
  • 验证闭性假设（假设2.2）在所有例子中都成立
  • 展示如何从一般理论恢复已知的特定结果

实验结果

主要理论结果

定理4.1（次微分刻画）：设φ：𝒳 → -∞,+∞是S-不变的，则：

  • Fréchet次微分：∂F(φ ∘ γ)(X) = {Λₐy | y ∈ ∂Fφ(γ(X)) and a ∈ A_X}
  • 极限次微分：∂L(φ ∘ γ)(X) = {Λₐy | y ∈ ∂Lφ(γ(X)) and a ∈ A_X}

推论4.8（可微性刻画）：φ ∘ γ在Λₐx处Fréchet可微当且仅当φ在x处Fréchet可微，此时： ∇(φ∘γ)(Λax)=Λa(∇φ(x))∇(φ ∘ γ)(Λₐx) = Λₐ(∇φ(x))

命题4.11（Clarke次微分）： ∂C(φ∘γ)(X)=conv{Λay∣y∈∂Cφ(γ(X)) and a∈AX}∂C(φ ∘ γ)(X) = \text{conv}\{Λₐy | y ∈ ∂Cφ(γ(X)) \text{ and } a ∈ A_X\}

定理5.1（广义Lidskiĭ定理）：若S是有限群，则： γ(X+Y)−γ(X)∈conv(S⋅γ(Y))γ(X + Y) - γ(X) ∈ \text{conv}(S · γ(Y))

统一现有结果

本文结果统一了多个已知结果：

  • Lewis 31关于Hermitian矩阵的结果
  • Lewis-Sendov 34,35关于奇异值的结果
  • Lourenço-Takeda 37关于Euclidean Jordan代数的结果
  • 经典Lidskiĭ定理及其各种推广

新结果

  • 正规分解系统中的变分分析（解决了33中的开放问题）
  • 有符号奇异值分解的非凸情形

相关工作

主要研究方向

  1. 对称函数的特征值：Lewis 28,31分析了Fréchet可微性和Clarke次微分
  2. 奇异值的符号对称函数：Lewis-Sendov 34,35系列工作
  3. Euclidean Jordan代数：52,1,37,51等工作
  4. Lie理论框架：Berezin-Gel'fand 5，Tam 53等

本文优势

  1. 统一性：首次将所有这些设置统一到单一框架中
  2. 普适性：能够处理之前未涵盖的设置
  3. 简化：通过几何方法绕过了依赖矩阵的证明技术
  4. 完整性：同时处理Fréchet、极限和Clarke次微分

结论与讨论

主要结论

  1. 理论统一：成功建立了谱分解系统的抽象框架，统一了变分分析的各种设置。
  2. 完整刻画：给出了谱函数和谱集的各种变分分析对象的完整刻画。
  3. 方法创新：通过几何方法和乘积空间技术，提供了比现有工作更简洁的证明。

局限性

  1. 有限性假设：Lidskiĭ定理的推广需要群S是有限的。
  2. 闭性条件：需要额外的闭性假设（假设2.2）。
  3. Clarke次微分：不确定凸包运算是否可以省略。

未来方向

  1. 应用：将次微分表示用于具体矩阵优化问题的必要最优性条件。
  2. 度量正则性：刻画解映射的Lipschitz性质。
  3. 二阶分析：推广谱函数的二阶变分分析结果。

深度评价

优点

  1. 理论深度：建立了深刻的抽象框架，具有很强的理论价值。
  2. 统一性强：成功统一了多个看似不相关的研究领域。
  3. 技术创新：几何方法的使用简化了复杂的技术证明。
  4. 结果完整：系统地处理了各种次微分概念。
  5. 写作清晰：论文组织良好，定义和定理表述清楚。

不足

  1. 抽象性高：理论框架较为抽象，可能不易理解和应用。
  2. 计算复杂：实际计算次微分可能仍然困难。
  3. 应用示例少：缺少具体的数值例子和应用。

影响力

  1. 学术价值：为变分分析和矩阵优化提供了重要的理论工具。
  2. 统一作用：将分散的研究结果统一到一个框架中。
  3. 启发性：可能启发其他领域的类似统一工作。

适用场景

  1. 矩阵优化：半定规划、矩阵补全等问题的理论分析。
  2. 非光滑优化：涉及谱函数的非凸优化问题。
  3. 变分分析：需要计算复杂函数次微分的理论研究。

参考文献

论文引用了55篇相关文献，主要包括：

  • 变分分析经典教材：Rockafellar & Wets 48, Mordukhovich 42
  • 谱函数分析：Lewis系列工作 28,31,34,35
  • Euclidean Jordan代数：Faraut & Korányi 19, 相关应用工作
  • 矩阵分析：Horn & Johnson 22, Bhatia 6

本论文是变分分析领域的一项重要理论贡献，通过抽象的谱分解系统框架成功统一了多个研究方向，为该领域的进一步发展奠定了坚实的理论基础。