2025-11-17T00:37:13.163900

Phase Transitions of the Additive Uniform Noise Channel with Peak Amplitude and Cost Constraint

Stapmanns, Dias, Eilers et al.

Under which condition is quantization optimal? We address this question in the context of the additive uniform noise channel under peak amplitude and cost constraints. We compute analytically the capacity-achieving input distribution as a function of the noise level, the average cost constraint, and the curvature of the cost function. We find that when the cost function is concave, the capacity-achieving input distribution is discrete, whereas when the cost function is convex and the cost constraint is active, the support of the capacity-achieving input distribution spans the entire interval. For the cases of a discrete capacity-achieving input distribution, we derive the analytical expressions for the capacity of the channel.

academic

Transiciones de Fase del Canal de Ruido Uniforme Aditivo con Restricción de Amplitud Máxima y Costo

Información Básica

ID del Artículo: 2510.12427
Título: Phase Transitions of the Additive Uniform Noise Channel with Peak Amplitude and Cost Constraint
Autores: Jonas Stapmanns, Luke Eilers, Catarina Dias, Tobias Kühn, Jean-Pascal Pfister
Clasificación: cs.IT math.IT
Fecha de Publicación/Conferencia: IEEE International Symposium on Information Theory (ISIT) 2025 (contenido parcial)
Enlace del Artículo: https://arxiv.org/abs/2510.12427

Resumen

¿Bajo qué condiciones es óptima la cuantificación? Este artículo aborda esta cuestión en el contexto del canal de ruido uniforme aditivo con restricciones de amplitud máxima y costo. Se calcula analíticamente la distribución de entrada que alcanza la capacidad, en función del nivel de ruido, la restricción de costo promedio y la curvatura de la función de costo. Se encuentra que cuando la función de costo es cóncava, la distribución de entrada que alcanza la capacidad es discreta; mientras que cuando la función de costo es convexa y la restricción de costo está activa, el soporte de la distribución de entrada que alcanza la capacidad abarca todo el intervalo. Para el caso de distribuciones de entrada discretas que alcanzan la capacidad, se derivan expresiones analíticas para la capacidad del canal.

Antecedentes de Investigación y Motivación

Problema Central

El problema central investigado en este artículo es: ¿bajo qué condiciones es la cuantificación de entrada óptima desde la perspectiva de la teoría de la información? Esta es una cuestión fundamental en teoría de la información que implica la comparación de eficiencia entre distribuciones de entrada discretas y continuas.

Importancia del Problema

Significado Teórico: Desde que Shannon introdujo el concepto de capacidad del canal, la distribución de entrada que alcanza la capacidad ha sido un problema central en la investigación de teoría de la información
Aplicaciones Prácticas: En muchos sistemas reales, particularmente bajo restricciones de amplitud máxima, la distribución de entrada que alcanza la capacidad es frecuentemente discreta
Aplicaciones Biológicas: En redes neuronales biológicas, las señales típicamente son discretas (como potenciales de acción), por lo que comprender las condiciones óptimas de discreción tiene importancia significativa

Limitaciones de Métodos Existentes

La investigación existente analiza principalmente las condiciones de discreción mediante métodos no constructivos, como los trabajos de Das, Tchamkerten y Fahs, pero estos métodos no facilitan el análisis detallado de posibles fenómenos de transición de fase.

Motivación de la Investigación

Este artículo elige el canal de ruido uniforme aditivo como objeto de estudio porque permite un tratamiento completamente analítico, lo que permite investigar en detalle los fenómenos de transición de fase de la distribución de entrada que alcanza la capacidad, desde soportes discretos hasta continuos.

Contribuciones Principales

Análisis Completo de Transiciones de Fase: Primera descripción completa de las condiciones de transición de fase de la distribución de entrada que alcanza la capacidad, desde soportes discretos hasta continuos
Soluciones Analíticas: Proporciona soluciones analíticas completas para el canal de ruido uniforme aditivo bajo restricciones de amplitud máxima y costo
Identificación de Mecanismos de Transición de Fase: Identifica dos mecanismos que causan transiciones de fase:
- Cambio de la función de costo de cóncava a convexa
- Bajo función de costo convexa, presupuesto de costo por debajo de un valor crítico
Fórmulas de Capacidad: Derivación de expresiones de capacidad exactas para el caso discreto
Pruebas Constructivas: Proporciona métodos de prueba constructivos que permiten analizar explícitamente los fenómenos de transición de fase

Explicación Detallada de Métodos

Definición de la Tarea

Considérese el canal de ruido uniforme aditivo: $Y = X + N, \quad N \sim \text{Uniform}(-b, b)$

Restricciones:

Restricción de Amplitud Máxima: $P(X < 0) = P(X > 1) = 0$
Restricción de Costo: $\langle c_\alpha(x) \rangle \leq \bar{c}$

donde la función de costo $c_\alpha(x) = x^\alpha$ satisface:

$0 < \alpha < 1$ : función estrictamente cóncava
$\alpha = 1$ : función lineal
$\alpha > 1$ : función estrictamente convexa

Marco de Optimización

Se utiliza el método de multiplicadores de Lagrange para construir el problema de optimización: $\mathcal{L}[p_X, \nu, \lambda] = \mathcal{L}_0[p_X, \nu] - \lambda\left(\int_0^1 p_X(x)c(x)dx - \bar{c}\right)$

donde $\mathcal{L}_0$ contiene el término de información mutua y las restricciones de normalización.

Condiciones de Optimalidad de Smith

La distribución de entrada que alcanza la capacidad $p_X^*$ debe satisfacer:

Restricciones de Desigualdad: $i(x; p_X^*) \leq I(p_X^*) + \lambda(c(x) - \bar{c})$ para todo $x \in [0,1]$
Restricciones de Igualdad: $i(x; p_X^*) = I(p_X^*) + \lambda(c(x) - \bar{c})$ para todo $x \in S$ (soporte)

donde $i(x; p_X)$ es la densidad de información marginal.

Puntos de Innovación Técnica

1. Estrategia de Discusión por Casos

Según si el parámetro de ruido $r = 1/(2b)$ es un número entero, se tratan por separado:

$r \in \mathbb{N}$ : salidas de ruido no superpuestas
$r \notin \mathbb{N}$ : salidas de ruido superpuestas, requiere análisis más complejo

2. Método de Prueba Constructiva

Se adopta un método constructivo de "conjetura-verificación":

Conjeturar el soporte $S$
Resolver las restricciones de igualdad para obtener la distribución de masa
Verificar las restricciones de desigualdad
Demostrar la unicidad

Parámetro de ruido: $r \in \{2, 2.4, 3.9, 4, 4.4, 6.2\}$
Exponente de función de costo: $\alpha \in \{0.5, 0.7, 1, 1.5\}$
Presupuesto de costo: $\bar{c} \in (0, \bar{c}^*]$

undefined