A Novel Block-Alternating Iterative Algorithm for Retrieving Top-$k$ Elements from Factorized Tensors
Xiao, Zeng
Tensors, especially higher-order tensors, are typically represented in low-rank formats to preserve the main information of the high-dimensional data while saving memory space. In practice, only a small fraction elements in high-dimensional data are of interest, such as the $k$ largest or smallest elements. Thus, retrieving the $k$ largest/smallest elements from a low-rank tensor is a fundamental and important task in a wide variety of applications. In this paper, we first model the top-$k$ elements retrieval problem to a continuous constrained optimization problem. To address the equivalent optimization problem, we develop a block-alternating iterative algorithm that decomposes the original problem into a sequence of small-scale subproblems. Leveraging the separable summation structure of the objective function, a heuristic algorithm is proposed to solve these subproblems in an alternating manner. Numerical experiments with tensors from synthetic and real-world applications demonstrate that the proposed algorithm outperforms existing methods in terms of accuracy and stability.
academic
Un Algoritmo Iterativo Novedoso de Bloques Alternantes para Recuperar los Elementos Top-k de Tensores Factorizados
Título: A Novel Block-Alternating Iterative Algorithm for Retrieving Top-k Elements from Factorized Tensors
Autores: Chuanfu Xiao, Jiaxin Zeng (Escuela de Matemáticas y Ciencias Computacionales, Universidad de Xiangtan; Departamento de Comunicaciones de Banda Ancha, Laboratorio Pengcheng)
Los tensores de orden superior se representan típicamente en formato de bajo rango para conservar la información principal de datos de alta dimensión mientras se ahorra memoria. En aplicaciones prácticas, frecuentemente solo se requiere acceder a una pequeña porción de elementos, tales como los k elementos máximos o mínimos. Este artículo aborda el problema fundamental de recuperar elementos top-k de tensores de bajo rango, modelándolo primero como un problema de optimización continua con restricciones, y luego desarrollando un algoritmo iterativo de bloques alternantes que descompone el problema original en una serie de subproblemas de menor escala. Aprovechando la estructura de suma separable de la función objetivo, se propone un algoritmo heurístico para resolver estos subproblemas de manera alternante. Los experimentos numéricos en datos sintéticos y tensores de aplicaciones reales demuestran que el algoritmo supera a los métodos existentes en precisión y estabilidad.
Recuperar de manera eficiente y precisa los k elementos máximos o mínimos y sus ubicaciones de tensores factorizados (factorized tensors). Los tensores factorizados se refieren a datos de alta dimensión representados en formatos de descomposición de bajo rango como CP, Tucker, TT, etc.
Sistemas de Recomendación: Los k elementos máximos corresponden a las recomendaciones personalizadas más significativas
Simulación Cuántica: Los estados cuánticos se representan típicamente mediante descomposición de tensores para reducir el uso de memoria; la estimación de máxima verosimilitud es equivalente a recuperar elementos de amplitud máxima en tensores factorizados
Computación Científica: Extracción de información clave de datos de alta dimensión como datos simulados, imágenes hiperespectrales y vídeos
Problemas de Optimización: Muchas tareas prácticas pueden modelarse como problemas de recuperación de elementos top-k
La precisión depende altamente del tamaño y calidad de la muestra
El rendimiento es inestable, afectado por la estructura subyacente del tensor factorizado
Solo es aplicable para k>1, no se generaliza directamente a la recuperación de elementos mínimos
Métodos de Optimización Continua:
Iteración de Potencia/Iteración Inversa: El producto de Hadamard causa un crecimiento rápido del rango del tensor, requiriendo operaciones de recompresión, y los errores acumulados pueden conducir a fallos en la localización
Descenso de Gradiente Proyectado (PGD): Altamente sensible a la selección de hiperparámetros (como el tamaño de paso), con rendimiento inestable en diferentes tareas
Los algoritmos existentes no pueden aplicarse directamente a casos con k>1
Basándose en el modelo de valores propios simétricos (Espig et al. 2013, 2020), los autores observan que los tensores correspondientes a vectores propios tienen estructura de rango uno, lo que motiva una nueva reconstrucción de optimización continua equivalente con restricciones y el diseño de un algoritmo iterativo de bloques alternantes para resolverla eficientemente.
Contribución de Modelado: Basándose en la estructura de rango uno de los tensores correspondientes a vectores propios, se modela el problema de recuperación de elementos top-k como un problema de optimización continua con restricciones (Teorema 1)
Contribución de Algoritmo: Se propone un algoritmo iterativo novedoso de bloques alternantes para resolver el problema de optimización equivalente, diseñando un método heurístico que aprovecha la estructura de suma separable de la función objetivo
Contribución de Aplicación: Se aplica el algoritmo a la fase de medición de simulación de circuitos cuánticos, con resultados numéricos que demuestran superioridad sobre algoritmos existentes
Ventajas de Rendimiento:
Universalidad: Puede recuperar los k elementos máximos/mínimos y sus ubicaciones
Estabilidad: Mejora significativa en precisión en tensores factorizados con diferentes distribuciones
Entrada: Tensor CP de orden dA∈Rn1×n2×⋯×nd, representado como:
A:=∑r=1RU1(:,r)∘U2(:,r)∘⋯∘Ud(:,r)
donde ∘ denota el producto exterior de tensores, {Up∈Rnp×R:p=1,…,d} son los factores CP, y R es el rango CP.
Salida: Los valores de los k elementos máximos (o mínimos) y sus correspondientes ubicaciones de índices multidimensionales.
Objetivo: Recuperar eficientemente directamente de la representación factorizada sin reconstruir completamente el tensor.
Se transforma el problema de recuperación top-k en un problema de valores propios simétricos. La observación clave es que los vectores propios de la matriz diagonal A (constituida por todos los elementos del tensor) tienen estructura de rango uno.
Problema de Optimización 2.5 (Modelado Principal):
maxXp∈Rnp×k∑j=1k∑r=1R∏p=1d⟨Xp(:,j),Up(:,r)∗Xp(:,j)⟩
Restricciones:
∥Xp(:,j)∥2=1 para todo p=1,…,d;j=1,…,k
∏p=1d⟨Xp(:,i),Xp(:,j)⟩={1,0,i=ji=j
donde ∗ denota el producto de Hadamard y ⟨⋅,⋅⟩ denota el producto interior.
Análisis de Escala: La escala del problema es ∑p=1dnpk, y el cálculo de la función objetivo solo involucra productos de Hadamard de vectores de dimensión np, evitando la reconstrucción completa del tensor.
Idea Principal: Inspirado en la iteración de Gauss-Seidel no lineal, se actualizan solo s variables objetivo {Xp1,…,Xps} en cada iteración, descomponiendo el problema de gran escala en subproblemas de menor escala.
Forma del Subproblema (Teorema 2):
max{Xq:q∈{p1,…,ps}}∑j,r=1k,Rαrt∏q∈{p1,…,ps}⟨Xq(:,j),Uq(:,r)∗Xq(:,j)⟩
donde los coeficientes son:
αr,jt=∏q∈/{p1,…,ps}⟨Xqt(:,j),Uq(:,r)∗Xqt(:,j)⟩
La escala del subproblema se reduce a ∑q∈{p1,…,ps}nqk.
Observación Clave: La función objetivo tiene estructura de suma separable:
f1(Xp1(:,1),…,Xps(:,1))+⋯+fk(Xp1(:,k),…,Xps(:,k))
Estrategia de Resolución: Se determina la solución secuencialmente en el orden 1→2→⋯→k, satisfaciendo optimalidad local.
Para j=1:
(Xp1∗(:,1),…,Xps∗(:,1))=argmaxf1
es equivalente a recuperar el elemento máximo del tensor CP de orden s∑r=1Rαr,1tUp1(:,r)∘⋯∘Ups(:,r).
Para j>1: Se debe satisfacer la restricción βr,i,jt∏q∈{p1,…,ps}⟨Xq(:,i),Xq(:,j)⟩=0 (para todo i<j).
Dos Casos:
Si βr,i,jt=0: La restricción es inefectiva, se recupera directamente el elemento máximo
En caso contrario: Se encuentra el elemento máximo que satisface la condición de ortogonalidad
Utilización de Estructura de Rango Uno: Primera utilización explícita de la estructura de rango uno de los tensores correspondientes a vectores propios para simplificar el problema de optimización, evitando el manejo directo de tensores de alta dimensión
Estrategia de Descomposición en Bloques: Control de la escala del subproblema y el tamaño del espacio de búsqueda mediante el parámetro de bloque s, equilibrando eficiencia y precisión
Utilización de Suma Separable: Aprovechamiento ingenioso de la separabilidad de la función objetivo, transformando la optimización conjunta de k soluciones en optimización secuencial
Manejo de Restricciones: Determinación eficiente de la validez de restricciones mediante el coeficiente βr,i,jt, evitando complejidad exponencial
Diseño Universal:
La recuperación de elementos máximos/mínimos solo requiere cambiar la dirección de optimización
Soporta recuperación de partes reales/imaginarias de tensores complejos
Aplicable a otros formatos de tensor como Tucker, TT, etc.
Precisión (Accuracy):
Precisioˊn=S#aciertos
donde #aciertos es el número de veces que se identifican correctamente los elementos máximos/mínimos, y S=100 es el número de tensores de prueba
Valor del Elemento: El valor de los elementos top-k recuperados o su suma, utilizado para evaluar la proximidad al valor real
Estabilidad: Se muestra la distribución de valores bajo diferentes distribuciones y puntos atípicos mediante diagramas de caja
Sensibilidad a Distribución de Datos: Todos los métodos son sensibles a la distribución de datos, pero el algoritmo propuesto es relativamente el más estable
Robustez de Escala: Los métodos de referencia muestran degradación de rendimiento en problemas de gran escala, mientras que el algoritmo propuesto mantiene estabilidad
Verificación de Universalidad: Aplicación exitosa a recuperación de elementos máximos/mínimos, diferentes valores de k, tensores complejos
Importancia de Ajuste de Parámetros: La configuración apropiada de s y K es crucial para la precisión
Espig et al. (2013, 2020): Trabajo fundamental en modelo de valores propios simétricos
Lu et al. (2017): Método de star sampling
Sidiropoulos et al. (2023): Método MinCPD de descenso de gradiente proyectado
Oseledets (2011): Descomposición de cadena de tensores (TT)
Kolda & Bader (2009): Revisión de descomposición de tensores
Ma & Yang (2022): Aproximación de bajo rango en simulación cuántica
Evaluación General: Este es un artículo sólido de análisis numérico que aborda el importante problema de recuperación de elementos top-k de tensores, proponiendo modelado innovador y algoritmo. La verificación experimental es suficiente y el valor práctico es alto. Las principales insuficiencias están en análisis teórico y evaluación de eficiencia computacional. Para investigadores e ingenieros en campos de computación de tensores y simulación cuántica, este es un trabajo que merece atención. Se recomienda que los autores complementen análisis teórico, publiquen código y verifiquen en problemas de mayor escala en futuro.