2025-11-17T00:37:13.163900

Phase Transitions of the Additive Uniform Noise Channel with Peak Amplitude and Cost Constraint

Stapmanns, Dias, Eilers et al.

Under which condition is quantization optimal? We address this question in the context of the additive uniform noise channel under peak amplitude and cost constraints. We compute analytically the capacity-achieving input distribution as a function of the noise level, the average cost constraint, and the curvature of the cost function. We find that when the cost function is concave, the capacity-achieving input distribution is discrete, whereas when the cost function is convex and the cost constraint is active, the support of the capacity-achieving input distribution spans the entire interval. For the cases of a discrete capacity-achieving input distribution, we derive the analytical expressions for the capacity of the channel.

academic

Phase Transitions of the Additive Uniform Noise Channel with Peak Amplitude and Cost Constraint

基本信息

论文ID: 2510.12427
标题: Phase Transitions of the Additive Uniform Noise Channel with Peak Amplitude and Cost Constraint
作者: Jonas Stapmanns, Luke Eilers, Catarina Dias, Tobias Kühn, Jean-Pascal Pfister
分类: cs.IT math.IT
发表时间/会议: IEEE International Symposium on Information Theory (ISIT) 2025 (部分内容)
论文链接: https://arxiv.org/abs/2510.12427

摘要

在什么条件下量化是最优的？本文在具有峰值幅度和成本约束的加性均匀噪声信道背景下解决这一问题。我们解析计算了达到容量的输入分布，作为噪声水平、平均成本约束和成本函数曲率的函数。研究发现，当成本函数为凹函数时，达到容量的输入分布是离散的；而当成本函数为凸函数且成本约束激活时，达到容量的输入分布的支撑集跨越整个区间。对于离散容量达到输入分布的情况，我们推导出了信道容量的解析表达式。

研究背景与动机

核心问题

本文研究的核心问题是：在什么条件下量化输入是信息论上的最优选择？这是一个基础性的信息论问题，涉及离散输入分布与连续输入分布的效率比较。

问题重要性

理论意义：自Shannon引入信道容量概念以来，容量达到输入分布一直是信息论研究的核心问题
实际应用：在许多实际系统中，特别是在峰值幅度约束下，容量达到输入分布往往是离散的
生物学应用：在生物神经网络中，信号通常是离散的（如动作电位），理解离散性的最优条件具有重要意义

现有方法局限性

现有研究主要通过非构造性方法分析离散性条件，如Das、Tchamkerten和Fahs等人的工作，但这些方法不易于详细分析可能的相变现象。

研究动机

本文选择加性均匀噪声信道作为研究对象，因为它允许完全解析的处理，从而能够详细研究容量达到输入分布从离散到连续支撑集的相变现象。

核心贡献

完整的相变分析：首次完整描述了容量达到输入分布从离散到连续支撑集的相变条件
解析解：提供了加性均匀噪声信道在峰值幅度和成本约束下的完整解析解
相变机制识别：识别出两种导致相变的机制：
- 成本函数从凹函数变为凸函数
- 在凸成本函数下，成本预算低于临界值
容量公式：推导出离散情况下的精确容量表达式
构造性证明：提供了构造性的证明方法，能够明确分析相变现象

方法详解

任务定义

考虑加性均匀噪声信道： $Y = X + N, \quad N \sim \text{Uniform}(-b, b)$

约束条件：

峰值幅度约束： $P(X < 0) = P(X > 1) = 0$
成本约束： $\langle c_\alpha(x) \rangle \leq \bar{c}$

其中成本函数 $c_\alpha(x) = x^\alpha$ 满足：

$0 < \alpha < 1$ ：严格凹函数
$\alpha = 1$ ：线性函数
$\alpha > 1$ ：严格凸函数

优化框架

使用拉格朗日乘数法构造优化问题： $\mathcal{L}[p_X, \nu, \lambda] = \mathcal{L}_0[p_X, \nu] - \lambda\left(\int_0^1 p_X(x)c(x)dx - \bar{c}\right)$

其中 $\mathcal{L}_0$ 包含互信息项和归一化约束。

Smith最优性条件

容量达到输入分布 $p_X^*$ 必须满足：

不等式约束： $i(x; p_X^*) \leq I(p_X^*) + \lambda(c(x) - \bar{c})$ 对所有 $x \in [0,1]$
等式约束： $i(x; p_X^*) = I(p_X^*) + \lambda(c(x) - \bar{c})$ 对所有 $x \in S$ （支撑集）

其中 $i(x; p_X)$ 是边际信息密度。

技术创新点

1. 分类讨论策略

根据噪声参数 $r = 1/(2b)$ 是否为整数，分别处理：

$r \in \mathbb{N}$ ：噪声输出不重叠
$r \notin \mathbb{N}$ ：噪声输出重叠，需要更复杂的分析

2. 构造性证明方法

采用"猜测-验证"的构造性方法：

猜测支撑集 $S$
求解等式约束得到质量分布
验证不等式约束
证明唯一性

3. 边际信息密度的分段线性性

引理13证明了边际信息密度在相邻支撑点间是线性的，这是验证不等式约束的关键。

实验设置

理论验证

本文主要是理论工作，通过解析推导验证结果。数值验证使用Blahut-Arimoto算法进行对比。

参数设置

噪声参数： $r \in \{2, 2.4, 3.9, 4, 4.4, 6.2\}$
成本函数指数： $\alpha \in \{0.5, 0.7, 1, 1.5\}$
成本预算： $\bar{c} \in (0, \bar{c}^*]$

实验结果

主要结果

情况I：成本约束不激活( $\bar{c} \geq \bar{c}^*$ )

容量达到输入分布为离散分布，质量点数目： $N_r = \begin{cases} n & \text{if } r \in \mathbb{N} \\ 2n & \text{if } r \notin \mathbb{N} \end{cases}$

其中 $n = \lfloor r \rfloor + 1$ 。

情况IIa：成本约束激活且 $\alpha \leq 1$ ， $r \in \mathbb{N}$

质量分布为： $m_j = \frac{1}{z}e^{-\lambda^* c_j}, \quad z = \sum_{j=1}^{N_r} e^{-\lambda^* c_j}$

情况IIb：成本约束激活且 $\alpha \leq 1$ ， $r \notin \mathbb{N}$

存在 $n-1$ 个阈值 $0 < \theta_{n-2} < \ldots < \theta_0 < \bar{c}^*$ ，支撑集根据成本预算分段确定。

情况III： $\alpha > 1$ 且成本约束激活

容量达到输入分布的支撑集包含成本函数严格凸的区间，特别地，若 $c(x)$ 在 $[0,1]$ 上严格凸，则支撑集为整个区间 $[0,1]$ 。

容量公式

对于离散情况，容量为：

$r \in \mathbb{N}$ ： $C = \log(n)$ （无约束）或 $C = H(m)$ （有约束）
$r \notin \mathbb{N}$ ： $C = \rho\log(n+1) + (1-\rho)\log(n)$ （无约束）或 $C = \rho H(\hat{m}) + (1-\rho)H(\bar{m})$ （有约束）