2025-11-23T19:40:17.292793

Learning the Structure of Connection Graphs

Di Nino, D'Acunto, Barbarossa et al.
Connection graphs (CGs) extend traditional graph models by coupling network topology with orthogonal transformations, enabling the representation of global geometric consistency. They play a key role in applications such as synchronization, Riemannian signal processing, and neural sheaf diffusion. In this work, we address the inverse problem of learning CGs directly from observed signals. We propose a principled framework based on maximum pseudo-likelihood under a consistency assumption, which enforces spectral properties linking the connection Laplacian to the underlying combinatorial Laplacian. Based on this formulation, we introduce the Structured Connection Graph Learning (SCGL) algorithm, a block-optimization procedure over Riemannian manifolds that jointly infers network topology, edge weights, and geometric structure. Our experiments show that SCGL consistently outperforms existing baselines in both topological recovery and geometric fidelity, while remaining computationally efficient.
academic

Learning the Structure of Connection Graphs

基本信息

  • 论文ID: 2510.11245
  • 标题: Learning the Structure of Connection Graphs
  • 作者: Leonardo Di Nino, Gabriele D'Acunto, Sergio Barbarossa, Paolo Di Lorenzo (Sapienza University of Rome & CNIT)
  • 分类: cs.LG (Machine Learning), eess.SP (Signal Processing)
  • 发表时间: 2025年10月13日提交至arXiv
  • 论文链接: https://arxiv.org/abs/2510.11245v1

摘要

连接图(Connection Graphs, CGs)通过将网络拓扑与正交变换耦合,扩展了传统图模型,能够表示全局几何一致性。它们在同步、黎曼信号处理和神经束扩散等应用中发挥关键作用。本研究解决了从观测信号直接学习连接图的逆问题。作者提出了一个基于一致性假设下最大伪似然的原理性框架,该框架强制连接拉普拉斯算子与底层组合拉普拉斯算子之间的谱性质联系。基于此formulation,引入了结构化连接图学习(SCGL)算法,这是一个在黎曼流形上的块优化过程,能够联合推断网络拓扑、边权重和几何结构。

研究背景与动机

问题定义

本研究要解决的核心问题是从观测信号中学习连接图结构的逆问题。具体包括:

  1. 如何从向量值信号数据中同时推断网络拓扑结构
  2. 如何学习边上的正交变换矩阵
  3. 如何保证学习到的连接图满足几何一致性

问题重要性

传统的图信号处理(GSP)只能捕获节点间的局部、成对交互,限制了对网络全局一致性的建模能力。连接图通过引入正交变换,能够:

  • 表示比传统图更丰富的同步配置
  • 建模全局几何一致性
  • 支持黎曼信号处理和神经束扩散等先进应用

现有方法局限性

  1. Vector Diffusion Maps (VDM): 采用几何原理近似连接图拉普拉斯算子,但是正向方法,不适合逆问题
  2. SDP方法: 使用半定规划扩展了束拉普拉斯算子学习,但无法正确恢复连接图的非欧几何特性
  3. 传统图学习: 只关注拓扑和信号平滑性,无法处理几何结构

研究动机

现有方法无法有效处理连接图学习中的关键挑战:

  • 正交流形的非欧几何约束
  • 拓扑和几何结构的联合优化
  • 一致性条件的强制执行

核心贡献

  1. 理论框架: 提出了基于一致性假设的最大伪似然问题formulation,将谱控制从传统图扩展到连接图
  2. 算法创新: 开发了SCGL算法,利用黎曼流形上的块下降优化联合恢复拓扑和几何模式
  3. 实验验证: 在随机图和几何图的合成实验中证明了SCGL相比现有基线在连接图学习上的显著改进
  4. 计算效率: 实现了比锥规划方法更高效的参数化,将空间复杂度从O(V²n²)降低到O(Vn²)

方法详解

任务定义

输入: 观测信号集合 X = {x₁, ..., xₘ},其中每个信号 xᵢ ∈ ℝⁿᵛ 是由节点局部测量 xᵥ ∈ ℝⁿ 堆叠而成 输出: 连接拉普拉斯算子 L,包括:

  • 底层图的组合拉普拉斯算子 L
  • 边权重 w
  • 节点正交基 O = blkdiag({Oᵥ}ᵥ∈V)

理论基础

连接图定义

连接图 G = ⟨G,ℝⁿ,w,O(n)⟩ 由以下组件构成:

  • 底层图 G := (V,E)
  • 每个节点 v ∈ V 上的 n 维欧几里得向量空间 ℝⁿ
  • 每条边 e ∈ E 上的非负权重 wₑ 和正交矩阵 Oₑ ∈ O(n)

一致性条件

定理1 表明连接图一致性等价于以下条件:

  1. 正交映射沿图的每个环路复合为恒等映射
  2. 连接拉普拉斯算子的特征值是组合拉普拉斯算子特征值的 n 重复
  3. 存在节点正交矩阵使得边映射可分解为 Oᵢⱼ = Oᵢᵀ Oⱼ

优化问题formulation

最大伪似然问题

假设信号服从高斯分布 N_nv(0,L†),原始问题为:

min_{L∈CL} -log gdet(L) + Tr(SL)     (P1)

一致性约束下的重formulation

利用一致性条件 L = Oᵀ(L⊗Iₙ)O,问题转化为:

min_{L∈GL, O∈O} -log gdet{Oᵀ(L⊗Iₙ)O} + Tr{SOᵀ(L⊗Iₙ)O}     (P2)

最终优化问题

通过引入 Kronecker 结构拉普拉斯算子和拉格朗日松弛:

min_{O,w,U,Λ} -n log gdet(Λ) + Tr{SOᵀL_K(w)O} + αΨ(w)
             + β/2 ||OᵀL_K(w)O - U(Λ⊗Iₙ)Uᵀ||²_F     (P3)

SCGL算法

块坐标下降优化

SCGL采用交替块最小化策略,分别优化四个变量块:

  1. 边权重更新 (w):
    w^{t+1} = P^+_{α/β Ψ}{w^t - 1/τ L*_K[f(w^t)]}
    

    使用 Minorization-Maximization (MM) 方法
  2. 正交基更新 (O): 在乘积流形 SO(n)^v 上使用黎曼梯度下降
  3. 特征向量更新 (U): 通过主特征向量计算:
    U^{t+1} = [Eigenvecs{OᵀL_K(w)O}]_{:,(n+1):}
    
  4. 特征值更新 (Λ): 等张回归问题,具有闭式KKT解

计算复杂度

算法复杂度为 O(V³n³),主要由正交基和特征向量优化步骤中的特征分解决定,相比结构化图学习仅增加了维度 n 的缩放因子。

实验设置

数据集

  1. Erdős–Rényi (ER) 连接图:
    • 节点数: |V| = 30
    • 边概率: p_ER = 1.1 log V / V
    • 向量空间维度: n = 2
    • 边权重: Unif(0.2, 3)
  2. 球面几何连接图:
    • R³中的球面,使用Fibonacci格子离散化
    • 50个点,k=4的k-NN图
    • 使用Vector Diffusion Maps构建连接拉普拉斯算子

评价指标

  1. 拓扑恢复: F1分数(稀疏模式恢复)、边权重MSE
  2. 几何保真度:
    • 经验总变分 ÊL(Y) = M⁻¹ Tr(L̂YYᵀ)
    • 平均谱距离 σ(L,L̂) = 1/(nv) Σᵢ|Λᵢ(L)-Λᵢ(L̂)|
    • 积分热扩散距离 ξ(L,L̂)

对比方法

  1. KRON: SCGL的简化版本,固定局部基为单位矩阵
  2. SDP: 基于半定规划的平滑学习方法
  3. SLGP: 作者之前的工作,使用几何先验的平滑学习

数据可用性场景

根据采样比 r = M/(2|V|) 定义三种场景:

  • 低: r = 1.5
  • 中: r = 5
  • 高: r = 15

实验结果

ER连接图结果

  • 拓扑恢复: 随着数据量增加,SCGL在F1分数上显著优于所有基线方法
  • 几何保真度: SCGL在经验总变分上最接近理论期望值,表明更好的一致性
  • 边权重估计: SCGL准确估计边权重,大多数假阳性边被赋予可忽略的权重

球面连接图结果

  • F1分数: SCGL = 0.995(最高),SLGP = 0.927,SDP = 0.620,KRON = 0.425
  • 谱距离: SCGL = 0.90(最低),显著优于其他方法
  • 热扩散距离: SCGL = 1.19(最低)
  • 核维数: SCGL正确保持 dim(ker(L)) = 2,保证了一致性

关键发现

  1. SCGL在数据充足时表现最佳,在数据稀缺时与SLGP性能相当
  2. 优化节点正交基相比固定单位矩阵带来显著改进
  3. SCGL同时实现了最佳的拓扑恢复和几何保真度
  4. 算法保持了连接图的一致性,这是几何意义的关键

相关工作

图学习领域

传统图学习主要追求两个目标:

  1. 强制期望拓扑(平衡稀疏性与连通性)
  2. 促进信号平滑性(连接节点间的低变分)

束理论方法

  • 网络束: 通过结构保持映射关联节点和边上的结构化数据
  • 连接图: 束理论的特殊情况,使用正交变换作为结构保持映射
  • 应用: 同步问题、黎曼信号处理、神经束扩散

现有连接图学习方法

  1. Vector Diffusion Maps: 通过几何原理近似连接图拉普拉斯算子
  2. SDP方法: 将平滑图学习扩展到束拉普拉斯算子
  3. 锥规划方法: 使用Procrustes对齐和二进制边采样

结论与讨论

主要结论

  1. 提出了首个基于一致性假设学习连接图的原理性框架
  2. SCGL算法能够联合恢复网络拓扑、边权重和几何结构
  3. 实验证明SCGL在拓扑恢复和几何保真度上均优于现有方法
  4. 算法在保持计算效率的同时实现了更好的参数化

局限性

  1. 一致性假设: 方法假设连接图是一致的,现实中可能不总是成立
  2. 高斯分布假设: 信号模型假设可能过于简化
  3. 合成数据: 实验主要在合成数据上进行,缺乏真实世界验证
  4. 噪声鲁棒性: 未充分评估在噪声和模型违背情况下的性能

未来方向

  1. 扩展SCGL处理噪声和模型违背
  2. 纳入灵活的拓扑和几何先验
  3. 处理不一致的连接图
  4. 在真实世界数据上验证框架

深度评价

优点

  1. 理论贡献: 将结构化图学习扩展到连接图,提供了坚实的理论基础
  2. 算法创新: 巧妙结合了黎曼优化和块坐标下降,处理了复杂的流形约束
  3. 实验充分: 在不同类型的连接图上进行了全面评估
  4. 计算效率: 相比现有方法实现了更高效的参数化

不足

  1. 适用性限制: 一致性假设可能限制了方法的实际应用范围
  2. 实验局限: 缺乏真实世界数据集的验证
  3. 噪声分析: 对噪声鲁棒性的分析不够深入
  4. 规模限制: 实验规模相对较小(最大50节点)

影响力

  1. 学术价值: 为几何感知的网络拓扑推断提供了新工具
  2. 应用潜力: 在同步、黎曼信号处理等领域有重要应用前景
  3. 方法论贡献: 为束学习提供了新的优化范式

适用场景

  1. 同步网络: 需要学习节点间旋转关系的同步问题
  2. 黎曼信号处理: 流形上的信号处理任务
  3. 神经网络: 束神经网络的结构学习
  4. 机器人学: 多机器人系统的协调和定位

参考文献

论文引用了29篇相关文献,涵盖了图信号处理、束理论、黎曼优化等多个领域的重要工作,为研究提供了坚实的理论基础。


总体评价: 这是一篇在连接图学习领域具有重要贡献的高质量论文。作者提出的SCGL算法在理论上有创新,实验结果令人信服。尽管存在一些局限性,但为几何感知的图学习开辟了新的研究方向,具有重要的学术价值和应用潜力。