2025-11-19T02:19:13.103879

A projection-free dynamics for nonsmooth composite optimization

Ni, Qiu, Xiao
This paper proposes a projection-free primal-dual dynamics for the nonsmooth composite optimization problems with equality and inequality constraints. To deal with optimization constraints, this paper departs from the use of gradient projection method, but resorts to the idea of mirror descent to design a continuous-time smooth optimization dynamics which advantageously leads to easier convergence analysis and more efficient numerical simulation. Also, the strategy of proximal augmented Lagrangian (PAL$^†$) is extended to incorporate general convex equality-inequality constraints and the strong convexity-concavity of the primal-dual variables is achieved, ensuring exponential convergence of the resulting algorithm. Furthermore, the convergence result in this paper extends existing exponential convergence which either takes no account of constraints or considers only affine linear constraints, and it also enhances existing asymptotic convergence under convex constraints which unfortunately depends on the complex gradient projection scheme.
academic

Una dinámica sin proyección para optimización compuesta no suave

Información Básica

  • ID del Artículo: 2510.22173
  • Título: A projection-free dynamics for nonsmooth composite optimization
  • Autores: Wei Ni, Yangfan Qiu, and Yanyan Xiao
  • Clasificación: math.OC (Optimización y Control)
  • Fecha de Presentación: Presentado a arXiv el 25 de octubre de 2025
  • Enlace del Artículo: https://arxiv.org/abs/2510.22173v1

Resumen

Este artículo propone un método de dinámica primal-dual sin proyección para resolver problemas de optimización compuesta no suave con restricciones de igualdad y desigualdad. Para manejar las restricciones de optimización, el artículo abandona los métodos de proyección de gradientes y, en su lugar, utiliza la idea del descenso espejo (mirror descent) para diseñar una dinámica de optimización suave en tiempo continuo, lo que facilita el análisis de convergencia y mejora la eficiencia de la simulación numérica. Además, el artículo extiende la estrategia de Lagrangiano aumentado proximal (PAL) para incorporar restricciones generales convexas de igualdad-desigualdad e implementa la fuerte convexidad-concavidad de las variables primal-dual, garantizando la convergencia exponencial del algoritmo. Este resultado de convergencia extiende la teoría de convergencia exponencial existente (que solo considera casos sin restricciones o con restricciones lineales afines) y mejora los resultados de convergencia asintótica bajo restricciones convexas que dependen de esquemas complejos de proyección de gradientes.

Antecedentes y Motivación de la Investigación

Problema a Resolver

Este artículo estudia problemas de optimización compuesta con términos de regularización no suave: min⁡x∈Rnf(x)+ϕ(Tx),sujeto a g(x)⪯0,h(x)=0\min_{x \in \mathbb{R}^n} f(x) + \phi(Tx), \quad \text{sujeto a } g(x) \preceq 0, h(x) = 0

donde f(x)f(x) es una función diferenciable, ϕ(Tx)\phi(Tx) es una función compuesta no suave, g(x)g(x) y h(x)h(x) representan restricciones generales convexas de desigualdad y restricciones de igualdad afines, respectivamente.

Importancia del Problema

Esta clase de problemas tiene aplicaciones importantes en múltiples campos:

  1. Aprendizaje Profundo: Minimización del riesgo empírico con regularización no suave
  2. Procesamiento de Señales: Problemas Lasso y recuperación de señales continuas
  3. Problemas Inversos, Estimación Estadística, Teoría de Control, etc.

Limitaciones de los Métodos Existentes

Desafíos en el Manejo de la No Suavidad:

  • Los métodos de subgradiente convergen lentamente
  • Los métodos de suavización se vuelven complejos cuando el parámetro tiende a cero
  • Los métodos de operador proximal son difíciles de calcular directamente para funciones compuestas ϕ∘T\phi \circ T

Dilemas en el Manejo de Restricciones:

  1. Métodos de Proyección: Conducen a sistemas dinámicos discontinuos, análisis de convergencia complejo, requieren herramientas de análisis no suave (como inclusiones diferenciales)
  2. Métodos de Operador Máximo: Aunque evitan proyecciones explícitas, aún producen dinámicas no suaves
  3. Marco IQC: Solo aplicable a restricciones de igualdad o restricciones de desigualdad afines, incapaz de manejar restricciones convexas no lineales generales
  4. Métodos de Sistemas Híbridos: Solo pueden garantizar convergencia asintótica, incapaces de obtener tasas de convergencia exponencial

Motivación de la Investigación

Diseñar un sistema dinámico de optimización completamente suave que pueda:

  1. Manejar restricciones convexas de desigualdad generales (no solo restricciones afines)
  2. Lograr convergencia exponencial (no solo convergencia asintótica)
  3. Simplificar el análisis de convergencia e implementación numérica

Contribuciones Principales

  1. Propone una dinámica de optimización suave sin proyección: Mediante el ascenso espejo para manejar las variables duales de restricciones de desigualdad, evita operaciones de proyección y obtiene un sistema dinámico de tiempo continuo completamente suave
  2. Extiende el método PAL para manejar restricciones generales: Extiende el método de Lagrangiano aumentado proximal a casos con restricciones generales convexas de igualdad-desigualdad, demostrando que PAL posee fuerte concavidad en las variables duales
  3. Logra convergencia exponencial: Demuestra estabilidad exponencial bajo restricciones convexas no lineales generales, superando los resultados de convergencia asintótica o convergencia exponencial semi-global de los métodos existentes
  4. Evita las limitaciones del marco IQC: No depende del análisis IQC, demuestra convergencia exponencial directamente mediante funciones de Lyapunov y análisis convexo, rompiendo las limitaciones del método IQC que solo es aplicable a restricciones afines

Explicación Detallada del Método

Definición de la Tarea

Problema de Optimización Primal (P):

undefined