2025-11-16T19:07:13.213602

SLoG-Net: Algorithm Unrolling for Source Localization on Graphs

Ye, Mateos
We present a novel model-based deep learning solution for the inverse problem of localizing sources of network diffusion. Starting from first graph signal processing (GSP) principles, we show that the problem reduces to joint (blind) estimation of the forward diffusion filter and a sparse input signal that encodes the source locations. Despite the bilinear nature of the observations in said blind deconvolution task, by requiring invertibility of the diffusion filter we are able to formulate a convex optimization problem and solve it using the alternating-direction method of multipliers (ADMM). We then unroll and truncate the novel ADMM iterations to arrive at a parameterized neural network architecture for Source Localization on Graphs (SLoG-Net), that we train in an end-to-end fashion using labeled data. This supervised learning approach offers several advantages such as interpretability, parameter efficiency, and controllable complexity during inference. Our reproducible numerical experiments corroborate that SLoG-Net exhibits performance on par with the iterative ADMM baseline, but with markedly faster inference times and without needing to manually tune step-size or penalty parameters. Overall, our approach combines the best of both worlds by incorporating the inductive biases of a GSP model-based solution within a data-driven, trainable deep learning architecture for blind deconvolution of graph signals.
academic

SLoG-Net: Algorithm Unrolling for Source Localization on Graphs

基本信息

  • 论文ID: 2501.00442
  • 标题: SLoG-Net: Algorithm Unrolling for Source Localization on Graphs
  • 作者: Chang Ye, Gonzalo Mateos (University of Rochester)
  • 分类: eess.SP (Signal Processing)
  • 发表时间: 2024年12月31日提交至arXiv
  • 论文链接: https://arxiv.org/abs/2501.00442

摘要

本文提出了一种新颖的基于模型的深度学习解决方案,用于解决网络扩散源定位的逆问题。从图信号处理(GSP)的第一性原理出发,作者将问题简化为前向扩散滤波器和编码源位置的稀疏输入信号的联合(盲)估计。尽管该盲去卷积任务中观测值具有双线性性质,但通过要求扩散滤波器的可逆性,能够将其表述为凸优化问题并使用交替方向乘子法(ADMM)求解。随后,作者展开并截断新颖的ADMM迭代,得到用于图上源定位(SLoG-Net)的参数化神经网络架构,并使用标记数据进行端到端训练。这种监督学习方法提供了可解释性、参数效率和推理时可控复杂度等优势。

研究背景与动机

问题定义

网络扩散源定位是一个重要的逆问题,旨在从观测到的扩散信号中识别网络中的源节点位置。具体来说:

  1. 输入:观测到的图信号 Y ∈ R^(N×P),已知图拓扑结构
  2. 输出:稀疏源信号 X ∈ R^(N×P) 和未知扩散滤波器系数 h
  3. 约束:源信号具有稀疏性(每列最多S≪N个非零元素)

重要性

该问题在多个领域具有广泛应用:

  • 基于传感器的环境监测
  • 社交网络中的舆论形成
  • 神经信号处理
  • 流行病学
  • 虚假信息传播检测

现有方法局限性

  1. 传统GSP方法:依赖矩阵提升技术,在大图上计算复杂度高
  2. 迭代求解器:需要仔细调整步长和正则化参数,收敛缓慢
  3. 概率模型:仅在特定图结构(如树)上最优,或需要限制性依赖假设
  4. 参数调优:现有方法需要昂贵的网格搜索来选择参数

核心贡献

  1. 理论贡献:将盲图滤波器识别问题重新表述为在可逆滤波器约束下的凸优化问题
  2. 算法创新:开发了专门的ADMM算法来高效求解该凸优化问题
  3. 架构设计:提出SLoG-Net,通过算法展开将ADMM迭代映射为可训练的神经网络层
  4. 性能提升:实现与迭代ADMM相当的性能,但推理时间显著更快
  5. 参数学习:通过端到端训练自动学习步长和惩罚参数,无需手动调优

方法详解

任务定义

给定图G(V,A)和观测信号Y = HX,其中:

  • H = Σ(l=0 to L-1) h_l S^l 是L阶图滤波器
  • S是图移位算子(如归一化邻接矩阵)
  • X是稀疏源信号矩阵

目标是联合估计滤波器系数h和稀疏输入X。

模型架构

1. 凸重构公式

在滤波器可逆性假设下(Assumption 2),将问题转换为:

min ||X||_{1,1} = ||(Y^T V ⊙ V)g̃||_1
s.t. 1^T_N g̃ = 1

其中g̃是逆滤波器的频域响应。

2. ADMM算法

使用变量分离技术:

min ||x||_1
s.t. Zg̃ - x = 0, 1^T_N g̃ = c

其中Z = Y^T V ⊙ V,x = vecX

ADMM更新规则:

  • 滤波器更新:g̃k+1 = Γ^(-1)Z^T(ρ_λxk - λk) + (ρ_μc - μk)1_N
  • 源信号更新:xk+1 = S_{ρ_λ^(-1)}(Zg̃k+1 + λk/ρ_λ)
  • 拉格朗日乘子更新:λk+1 = λk + ρ_λ(Zg̃k+1 - xk+1)

3. SLoG-Net架构

将ADMM迭代展开为K层神经网络,每层包含三个子层:

滤波器子层G_k

g̃[k+1] = (Z^T Z + ρ_2^(k) M^(k)M^(k)T)^(-1)[Z^T(x[k] - ρ_1^(k)λ[k]) + M^(k)(ρ_2^(k)m^(k) - ρ_1^(k)μ[k])]

源信号子层X_k

x[k+1] = S_{τ^(k)}(α_1^(k)Zg̃[k+1] + α_2^(k)λ[k])

乘子子层M_k

λ[k+1] = β_1^(k)λ[k] + β_2^(k)Zg̃[k+1] + β_3^(k)x[k+1]
μ[k+1] = γ^(k)μ[k] + M^(k)T g̃[k+1] + m^(k)

技术创新点

  1. 可学习约束:用参数化矩阵M^(k)和向量m^(k)替代固定约束1^T g̃ = 1
  2. 层级解耦:每层使用不同参数而非参数共享,提高表达能力
  3. 高效矩阵求逆:利用Z^T Z的对角结构和矩阵求逆引理实现O(N^2)复杂度
  4. 残差连接:类似ResNet的数据流设计,Z输入到所有层

实验设置

数据集

  1. 合成数据
    • 图类型:Erdős-Rényi、随机块模型(SBM)、Barabási-Albert、随机几何图
    • 节点数:N = 20-100
    • 稀疏度:θ = 0.15
    • 滤波器阶数:L = 5
  2. 真实数据
    • 海豚社交网络(N=62)
    • Zachary空手道俱乐部(N=34)
    • Digg 2009数据集的子图(N=20)

评价指标

  1. 相对误差(RE):||X̂ - X_test||_F / ||X_test||_F
  2. 支撑集准确率(ACC):正确识别源位置的比例
  3. 推理时间:前向传播耗时

对比方法

  1. ADMM基线:迭代ADMM算法
  2. GNN方法:卷积图神经网络
  3. IVGD:可逆有效性感知图扩散神经网络

实现细节

  • 网络层数:K = 5
  • 训练集大小:|T| = 200k
  • 批大小:P = 400
  • 优化器:Adam
  • 训练轮数:30 epochs
  • 约束参数维度:d = 2

实验结果

主要结果

1. 与ADMM的比较

  • 噪声鲁棒性:SLoG-Net在不同噪声水平下均优于ADMM
  • 推理速度:SLoG-Net推理时间约0.009s,ADMM需要1.99-7.42s
  • 参数数量影响:当观测信号数P<160时,SLoG-Net显著优于ADMM

2. 不同图类型的性能

图类型NMRE of X̂MRE of ĝACC
ER200.1490.1640.953
SBM200.2190.2150.914
RG200.3830.3770.869
BA200.5790.5370.772
karate340.4540.4520.958
dolphins620.7190.5780.841

3. 计算复杂度比较

NSLoG-NetADMM
200.95×10^-2s2.04s
401.09×10^-2s5.70s
601.27×10^-2s9.41s
801.42×10^-2s12.29s
1001.64×10^-2s14.62s

消融实验

  1. 训练集大小:性能在|T|≥160k时趋于稳定
  2. 网络层数:K=5为最优选择
  3. 约束参数维度:d=2相比d=1有显著提升

真实数据实验

在Digg 2009数据集上:

  • SLoG-Net平均AUC:0.56
  • IVGD基线AUC:0.51
  • 虽然绝对性能有限,但SLoG-Net在这个困难任务上仍优于对比方法

相关工作

图信号处理方法

  • 传统GSP方法使用矩阵提升和凸规划
  • 局限性:计算复杂度高,参数调优困难

概率模型

  • 最大似然估计方法
  • 仅在特定图结构上最优

深度学习方法

  • 图神经网络(GNN)
  • 算法展开技术在信号处理中的应用

结论与讨论

主要结论

  1. SLoG-Net成功将模型驱动的GSP方法与数据驱动的深度学习相结合
  2. 实现了与ADMM相当的性能,但推理速度提升2-3个数量级
  3. 通过端到端训练自动学习优化参数,无需手动调优
  4. 在噪声环境下表现出良好的鲁棒性

局限性

  1. 可扩展性:目前主要在小规模图(N≤100)上验证
  2. 训练数据需求:需要大量标记数据(200k样本)
  3. 图结构依赖:性能与图的谱特性密切相关
  4. 滤波器可逆性:依赖于较强的可逆性假设

未来方向

  1. 大规模图:开发适用于大规模网络的可扩展版本
  2. 迁移学习:研究模型在不同图结构间的泛化能力
  3. 理论分析:建立稳定性和可迁移性的理论保证
  4. 应用拓展:扩展到神经科学、地震学、流行病学等领域

深度评价

优点

  1. 理论基础扎实:基于GSP理论,数学推导严谨
  2. 方法创新性强:首次将ADMM展开应用于图源定位问题
  3. 实验充分:涵盖合成和真实数据,多种图类型和评价指标
  4. 工程实用性:显著的速度提升使其具有实际应用价值
  5. 可解释性好:网络架构与优化算法直接对应,便于理解

不足

  1. 规模限制:实验主要在小规模图上进行,大规模适用性未知
  2. 假设较强:滤波器可逆性假设在实际应用中可能不满足
  3. 对比不够全面:缺乏与更多最新深度学习方法的比较
  4. 理论分析不足:缺乏收敛性和泛化能力的理论保证

影响力

  1. 学术价值:为算法展开在图信号处理中的应用提供了新思路
  2. 实用价值:在网络监控、舆情分析等领域具有应用潜力
  3. 可复现性:作者提供了完整的代码实现

适用场景

  1. 小到中等规模网络的源定位任务
  2. 实时性要求高的应用场景
  3. 图结构已知且相对稳定的环境
  4. 可获得训练数据的监督学习场景

参考文献

论文引用了46篇相关文献,涵盖了图信号处理、优化理论、深度学习等多个领域的重要工作,为研究提供了坚实的理论基础。


总体评价:这是一篇高质量的学术论文,成功地将优化理论与深度学习相结合,解决了图上源定位这一重要问题。虽然在规模化和理论分析方面还有改进空间,但其创新性和实用价值使其成为该领域的重要贡献。