Distributionally robust approximation property of neural networks

基本信息

• 论文ID: 2510.09177
• 标题: Distributionally robust approximation property of neural networks
• 作者: Mihriban Ceylan, David J. Prömel
• 分类: stat.ML cs.LG math.FA math.PR
• 发表时间: October 13, 2025
• 论文链接: https://arxiv.org/abs/2510.09177

摘要

The universal approximation property uniformly with respect to weakly compact families of measures is established for several classes of neural networks. To that end, we prove that these neural networks are dense in Orlicz spaces, thereby extending classical universal approximation theorems even beyond the traditional $L^p$-setting. The covered classes of neural networks include widely used architectures like feedforward neural networks with non-polynomial activation functions, deep narrow networks with ReLU activation functions and functional input neural networks.

研究背景与动机

问题定义

该研究要解决的核心问题是建立神经网络的分布鲁棒近似性质（distributionally robust approximation property）。具体而言，传统的通用近似定理（Universal Approximation Theorems, UATs）只考虑单一固定分布μ下的$L^p(μ)$空间中的近似，而本文要证明神经网络能够在弱紧测度族$\mathcal{M}$上一致地近似函数，即对于给定函数$f$和任意$ε > 0$，存在神经网络$η$使得： $\sup_{ν \in \mathcal{M}} \|f - η\|_{L^1(ν)} < ε$

研究重要性

1. 理论意义：扩展了经典的通用近似定理，从单一分布设定推广到分布族的一致近似
2. 实际需求：在机器学习实践中，数据分布的不确定性是普遍存在的挑战，被称为分布不确定性（distributional uncertainty）
3. 应用价值：为分布鲁棒学习、对抗训练、噪声数据处理等领域提供理论基础

现有方法局限性

经典的通用近似定理存在以下局限：

1. 单分布限制：仅针对固定的单一测度μ在$L^p(μ)$空间中建立近似性质
2. 空间限制：主要局限在$L^p$空间框架内，缺乏更一般的函数空间理论
3. 鲁棒性缺失：无法处理分布漂移或分布不确定性场景

研究动机

本文的研究动机源于：

1. 现实应用中分布不确定性的普遍存在（如Knightian不确定性、对抗样本等）
2. 需要理论支撑分布鲁棒优化和统计学习的发展
3. 将神经网络理论从$L^p$空间扩展到更一般的Orlicz空间的理论需求

核心贡献

1. Orlicz空间中的通用近似定理：首次证明了多类神经网络在Orlicz空间中关于Luxemburg范数的稠密性，这是对经典$L^p$空间结果的重要推广
2. 分布鲁棒近似性质：建立了神经网络相对于弱紧测度族的分布鲁棒通用近似定理，提供了处理分布不确定性的理论基础
3. 广泛的网络架构覆盖：涵盖了多种重要的神经网络架构：
   • 有界非多项式激活函数的前馈网络
   • ReLU激活的深窄网络
   • 函数输入神经网络
4. 理论框架创新：通过Orlicz空间理论，提供了统一处理不同损失函数（如交叉熵、KL散度）的数学框架

方法详解

任务定义

给定弱紧测度族$\mathcal{M}$和合适的函数$f: \mathbb{R}^{N_0} \to \mathbb{R}^{N_L}$，对于任意$ε > 0$，寻找神经网络$η$使得： $\sup_{ν \in \mathcal{M}} \|f - η\|_{L^1(ν)} < ε$

理论架构

Orlicz空间框架

论文基于Orlicz空间理论构建数学框架。对于Young函数φ，Orlicz空间定义为： $L^φ(μ; \mathbb{R}^{N_L}) := \{f: \mathbb{R}^{N_0} \to \mathbb{R}^{N_L} : \int_{\mathbb{R}^{N_0}} φ(α\|f\|) dμ < ∞ \text{ for some } α > 0\}$

配备gauge范数： $N_{φ,μ}(f) := \inf\{k > 0: \int_{\mathbb{R}^{N_0}} φ(\|f\|/k) dμ ≤ 1\}$

神经网络定义

1. 前馈神经网络：$η = w_L ∘ ϱ ∘ w_{L-1} ∘ \cdots ∘ ϱ ∘ w_1$
2. 函数输入神经网络：$η(x) = \sum_{n=1}^N y_n ϱ(h_n(x))$，其中$h_n \in \mathcal{H}$为加性族

核心定理

定理2.3（Orlicz空间中的通用近似定理）

对于N-函数φ和局部有限Borel测度μ，神经网络在Orlicz心$M^φ(μ)$中关于gauge范数稠密，涵盖：

1. 有界非常数激活函数（有限测度）
2. ReLU激活函数（局部有限测度）
3. 连续非多项式激活函数（紧支撑测度）
4. 函数输入神经网络（满足特定条件）

定理3.1（分布鲁棒通用近似定理）

对于弱紧测度族$\mathcal{M}$及其关联Young对$(φ_\mathcal{M}, ψ_\mathcal{M})$，对任意$f \in M^{φ_\mathcal{M}}(μ; \mathbb{R}^{N_L})$和$ε > 0$，存在相应类别的神经网络η使得： $\sup_{ν \in \mathcal{M}} \|f - η\|_{L^1(ν; \mathbb{R}^{N_L})} < ε$

技术创新点

1. Young对构造：利用弱紧测度族的一致可积性，通过De la Vallée Poussin定理构造关联的Young对
2. Hölder不等式推广：使用推广的Hölder不等式建立Orlicz空间与$L^1$空间之间的连接
3. 密度论证：通过Hahn-Banach定理和Riesz表示定理的推广版本证明神经网络的稠密性

实验设置

本文为纯理论研究，不包含数值实验。所有结果均通过严格的数学证明建立。

证明策略

1. 反证法：假设神经网络不稠密，利用Hahn-Banach定理得出矛盾
2. 构造性证明：对ReLU网络，通过显式构造逼近网络
3. 逼近论技术：利用经典逼近理论结果结合测度理论

实验结果

主要理论结果

命题2.4（有界激活函数）

对于有界非常数激活函数ϱ和L ≥ 2，$\mathcal{NN}^ϱ_{N_0,N_L,L,∞}$在任意有限Borel测度上的$M^φ(μ)$中稠密。

命题2.6（ReLU激活函数）

对于ReLU激活函数，$\mathcal{NN}^ϱ_{N_0,N_L,∞,N_0+N_L+1}$在任意局部有限Borel测度上的$M^φ(μ)$中稠密。

命题2.8（非多项式激活函数）

对于连续非多项式激活函数，$\mathcal{NN}^ϱ_{N_0,N_L,L,∞}$在紧支撑有限Borel测度上的$M^φ(μ)$中稠密。

命题2.10（函数输入神经网络）

在适当条件下，函数输入神经网络$\mathcal{NN}^{\mathcal{H},ϱ}_{\mathbb{R}^{N_0},\mathbb{R}^{N_2}}$在有限Borel测度上的$M^φ(μ)$中稠密。

理论发现

1. 空间扩展：成功将经典$L^p$结果推广到Orlicz空间，为处理非标准增长条件提供框架
2. 测度一般化：从Lebesgue测度推广到一般的局部有限Borel测度
3. 架构统一：在统一的理论框架下处理多种神经网络架构

相关工作

经典通用近似理论

• Cybenko (1989)：建立了sigmoid激活函数前馈网络的通用近似性质
• Hornik (1991)：扩展到更一般的激活函数和Sobolev空间
• Leshno等 (1993)：非多项式激活函数的结果

现代发展

• Kidger & Lyons (2020)：深窄ReLU网络的通用近似性质
• Cuchiero等 (2025)：函数输入神经网络的全局通用近似
• Costarelli & Vinti (2019)：Orlicz空间中的Kantorovich算子

分布鲁棒优化

• Ben-Tal等 (2013)：不确定概率下的鲁棒优化
• Gao & Kleywegt (2016)：Wasserstein距离下的分布鲁棒随机优化

结论与讨论

主要结论

1. 建立了神经网络在Orlicz空间中的通用近似性质，显著扩展了经典理论
2. 证明了神经网络的分布鲁棒近似能力，为处理分布不确定性提供理论基础
3. 涵盖了广泛使用的神经网络架构，具有良好的实用价值

局限性

1. 测度条件：不同网络架构需要不同的测度条件（有限性、紧支撑等）
2. 构造性：虽然证明了存在性，但缺乏显式的网络构造方法
3. 计算复杂性：未分析所需网络规模与逼近精度的定量关系

未来方向

1. 定量分析：建立逼近误差与网络复杂度的定量关系
2. 算法实现：开发基于理论结果的实际算法
3. 应用拓展：将理论应用到具体的机器学习任务中

深度评价

优点

1. 理论深度：在数学上严格且深刻，将神经网络理论推进到新高度
2. 统一框架：Orlicz空间框架提供了处理多种问题的统一视角
3. 实际意义：为分布鲁棒学习提供了坚实的理论基础
4. 技术创新：巧妙结合了泛函分析、测度论和逼近理论的技术

不足

1. 实用性差距：纯理论结果，与实际应用存在较大距离
2. 条件限制：不同结果需要不同的技术条件，统一性有限
3. 构造缺失：缺乏具体的网络构造和训练算法

影响力

1. 理论贡献：为神经网络理论奠定了新的数学基础
2. 跨学科价值：连接了机器学习、泛函分析和测度论
3. 长远意义：为未来的分布鲁棒学习研究提供理论指导

适用场景

1. 理论研究：为神经网络理论研究者提供新工具
2. 鲁棒学习：指导分布鲁棒优化和对抗训练的理论发展
3. 非标准损失：处理交叉熵、KL散度等非$L^p$型损失函数的理论分析

参考文献

论文包含了丰富的参考文献，涵盖了逼近理论、泛函分析、神经网络理论和分布鲁棒优化等多个领域的重要工作，为读者提供了全面的背景知识。

总体评价：这是一篇在理论上非常严谨和深刻的论文，成功地将神经网络的通用近似理论从经典的$L^p$空间推广到Orlicz空间，并建立了分布鲁棒的近似性质。虽然距离实际应用还有距离，但为神经网络理论和分布鲁棒学习提供了重要的数学基础。