A Novel Block-Alternating Iterative Algorithm for Retrieving Top-$k$ Elements from Factorized Tensors
Xiao, Zeng
Tensors, especially higher-order tensors, are typically represented in low-rank formats to preserve the main information of the high-dimensional data while saving memory space. In practice, only a small fraction elements in high-dimensional data are of interest, such as the $k$ largest or smallest elements. Thus, retrieving the $k$ largest/smallest elements from a low-rank tensor is a fundamental and important task in a wide variety of applications. In this paper, we first model the top-$k$ elements retrieval problem to a continuous constrained optimization problem. To address the equivalent optimization problem, we develop a block-alternating iterative algorithm that decomposes the original problem into a sequence of small-scale subproblems. Leveraging the separable summation structure of the objective function, a heuristic algorithm is proposed to solve these subproblems in an alternating manner. Numerical experiments with tensors from synthetic and real-world applications demonstrate that the proposed algorithm outperforms existing methods in terms of accuracy and stability.
academic
Un Nuovo Algoritmo Iterativo Block-Alternating per il Recupero dei Top-k Elementi da Tensori Fattorizzati
Titolo: A Novel Block-Alternating Iterative Algorithm for Retrieving Top-k Elements from Factorized Tensors
Autori: Chuanfu Xiao, Jiaxin Zeng (Scuola di Matematica e Scienze Computazionali, Università di Xiangtan; Dipartimento di Comunicazioni a Banda Larga, Laboratorio Pengcheng)
I tensori di ordine elevato sono comunemente rappresentati in formato a basso rango per conservare la memoria mantenendo le informazioni principali dei dati ad alta dimensionalità. Nelle applicazioni pratiche, spesso si è interessati solo a una piccola frazione di elementi, come i k elementi massimi o minimi. Questo articolo affronta il problema fondamentale del recupero dei top-k elementi da tensori a basso rango, modellando innanzitutto il problema come un'ottimizzazione vincolata continua, quindi sviluppando un algoritmo iterativo block-alternating che decompone il problema originale in una serie di sottoproblemi di piccole dimensioni. Sfruttando la struttura di somma separabile della funzione obiettivo, viene proposto un algoritmo euristico per risolvere questi sottoproblemi in modo alternato. Gli esperimenti numerici su dati sintetici e tensori da applicazioni reali dimostrano che l'algoritmo supera i metodi esistenti in termini di accuratezza e stabilità.
Recuperare in modo efficiente e accurato i top-k elementi massimi o minimi e le loro posizioni da tensori fattorizzati (factorized tensor). I tensori fattorizzati si riferiscono a dati ad alta dimensionalità rappresentati in formati di decomposizione a basso rango come CP, Tucker, TT, ecc.
Sistemi di Raccomandazione: I k elementi massimi corrispondono alle raccomandazioni personalizzate più significative
Simulazione Quantistica: Gli stati quantici sono tipicamente rappresentati mediante decomposizione tensoriale per ridurre l'uso di memoria; la stima di massima verosimiglianza equivale al recupero degli elementi di ampiezza massima da tensori fattorizzati
Calcolo Scientifico: Estrazione di informazioni critiche da dati ad alta dimensionalità come dati di simulazione, immagini iperspettrali e video
Problemi di Ottimizzazione: Molti compiti pratici possono essere modellati come problemi di recupero dei top-k elementi
L'accuratezza dipende fortemente dalla dimensione e dalla qualità del campione
Prestazioni instabili, influenzate dalla struttura sottostante del tensore fattorizzato
Applicabili solo per k>1, non generalizzabili direttamente al recupero di elementi minimi
Metodi di Ottimizzazione Continua:
Iterazione di Potenza/Iterazione Inversa: Il prodotto di Hadamard causa una rapida crescita del rango tensoriale, richiedendo operazioni di ricompressione; gli errori accumulati possono portare a fallimenti di localizzazione
Discesa Gradiente Proiettata (PGD): Altamente sensibile alla scelta di iperparametri (come la dimensione del passo), prestazioni instabili su diversi compiti
Gli algoritmi esistenti non possono essere applicati direttamente al caso k>1
Basandosi sul modello di autovalori simmetrici (Espig et al. 2013, 2020), gli autori osservano che i tensori corrispondenti agli autovettori hanno una struttura di rango uno, da cui propongono una nuova ricostruzione di ottimizzazione vincolata continua equivalente e progettano un algoritmo iterativo block-alternating per risolverla efficientemente.
Contributo di Modellazione: Basato sulla struttura di rango uno dei tensori corrispondenti agli autovettori, il problema di recupero dei top-k elementi viene modellato come un problema di ottimizzazione vincolata continua (Teorema 1)
Contributo Algoritmico: Viene proposto un nuovo algoritmo iterativo block-alternating per risolvere il problema di ottimizzazione equivalente, con un metodo euristico progettato sfruttando la struttura di somma separabile della funzione obiettivo
Contributo Applicativo: L'algoritmo viene applicato alla fase di misurazione della simulazione di circuiti quantici, con risultati numerici che dimostrano superiorità rispetto agli algoritmi esistenti
Vantaggi di Prestazione:
Universalità: Può recuperare i k elementi massimi/minimi e le loro posizioni
Stabilità: Accuratezza significativamente migliorata su tensori fattorizzati con distribuzioni diverse
Input: Tensore CP di ordine dA∈Rn1×n2×⋯×nd, rappresentato come:
A:=∑r=1RU1(:,r)∘U2(:,r)∘⋯∘Ud(:,r)
dove ∘ denota il prodotto esterno tensoriale, {Up∈Rnp×R:p=1,…,d} sono i fattori CP, e R è il rango CP.
Output: I valori dei k elementi massimi (o minimi) e le corrispondenti posizioni di indici multidimensionali.
Obiettivo: Recuperare efficientemente direttamente dalla rappresentazione fattorizzata senza ricostruire completamente il tensore.
Il problema di recupero dei top-k viene trasformato in un problema di autovalori simmetrici. L'osservazione chiave è che gli autovettori della matrice diagonale A (costituita da tutti gli elementi del tensore) hanno una struttura di rango uno.
Problema di Ottimizzazione 2.5 (Modellazione Centrale):
maxXp∈Rnp×k∑j=1k∑r=1R∏p=1d⟨Xp(:,j),Up(:,r)∗Xp(:,j)⟩
Vincoli:
∥Xp(:,j)∥2=1 per tutti p=1,…,d;j=1,…,k
∏p=1d⟨Xp(:,i),Xp(:,j)⟩={1,0,i=ji=j
dove ∗ denota il prodotto di Hadamard e ⟨⋅,⋅⟩ denota il prodotto interno.
Analisi della Scala: La dimensione del problema è ∑p=1dnpk, e il calcolo della funzione obiettivo coinvolge solo prodotti di Hadamard di vettori np-dimensionali, evitando la ricostruzione del tensore completo.
Idea Centrale: Ispirato dall'iterazione di Gauss-Seidel non lineare, ad ogni iterazione vengono aggiornate solo s variabili obiettivo {Xp1,…,Xps}, decomponendo il problema su larga scala in sottoproblemi di piccole dimensioni.
Forma del Sottoproblema (Teorema 2):
max{Xq:q∈{p1,…,ps}}∑j,r=1k,Rαrt∏q∈{p1,…,ps}⟨Xq(:,j),Uq(:,r)∗Xq(:,j)⟩
dove i coefficienti sono:
αr,jt=∏q∈/{p1,…,ps}⟨Xqt(:,j),Uq(:,r)∗Xqt(:,j)⟩
La dimensione del sottoproblema si riduce a ∑q∈{p1,…,ps}nqk.
Osservazione Chiave: La funzione obiettivo ha una struttura di somma separabile:
f1(Xp1(:,1),…,Xps(:,1))+⋯+fk(Xp1(:,k),…,Xps(:,k))
Strategia di Risoluzione: Le soluzioni vengono determinate sequenzialmente nell'ordine 1→2→⋯→k, soddisfacendo l'ottimalità locale.
Per j=1:
(Xp1∗(:,1),…,Xps∗(:,1))=argmaxf1
è equivalente al recupero dell'elemento massimo del tensore CP di ordine s∑r=1Rαr,1tUp1(:,r)∘⋯∘Ups(:,r).
Per j>1: deve essere soddisfatto il vincolo βr,i,jt∏q∈{p1,…,ps}⟨Xq(:,i),Xq(:,j)⟩=0 (per tutti i<j).
Due Casi:
Se βr,i,jt=0: il vincolo è inattivo, si recupera direttamente l'elemento massimo
Altrimenti: si trova l'elemento massimo che soddisfa la condizione di ortogonalità
Sfruttamento della Struttura di Rango Uno: Utilizzo esplicito della struttura di rango uno dei tensori corrispondenti agli autovettori per semplificare il problema di ottimizzazione, evitando il trattamento diretto del tensore ad alta dimensionalità
Strategia di Decomposizione Block: Controllo della dimensione del sottoproblema e dello spazio di ricerca attraverso il parametro block s, bilanciando efficienza e accuratezza
Sfruttamento della Somma Separabile: Utilizzo intelligente della separabilità della funzione obiettivo, trasformando l'ottimizzazione congiunta di k soluzioni in ottimizzazione sequenziale
Gestione dei Vincoli: Giudizio efficiente della validità dei vincoli attraverso il coefficiente βr,i,jt, evitando complessità esponenziale
Progettazione Universale:
Il recupero di elementi massimi/minimi richiede solo il cambio della direzione di ottimizzazione
Supporta il recupero di parti reali/immaginarie di tensori complessi
Applicabile ad altri formati tensoriali come Tucker, TT, ecc.
Numero di Qubit: d∈{9,16,25,36,49} (d=l2, l∈{3,4,5,6,7})
Modello CP di Sottospazio: Lo stato quantico viene riorganizzato come tensore di ordine p (d=pq, p=q=l)
Stato Iniziale: Tensore di rango uno generato casualmente, gli elementi dei fattori CP sono numeri complessi con parte reale e immaginaria che seguono U(0,1)
Accuratezza (Accuracy):
Accuracy=S#hit
dove #hit è il numero di volte in cui l'elemento massimo/minimo è stato identificato con successo, S=100 è il numero di tensori di test
Valore dell'Elemento (Value): Il valore dei top-k elementi recuperati o la loro somma, utilizzato per valutare la vicinanza al valore reale
Stabilità: Visualizzazione della distribuzione dei valori e dei punti anomali sotto diverse distribuzioni mediante diagrammi a scatola
Sebbene l'articolo non etichetti esplicitamente gli esperimenti di ablazione, i contributi dei componenti vengono dimostrati attraverso variazioni di parametri:
Impatto del Parametro Block s:
s=1→s=2: miglioramento dell'accuratezza, specialmente nella distribuzione U(−1,1)
Costo: aumento dell'overhead computazionale e di memoria
Impatto del Parametro di Espansione K:
K=1→K=5: miglioramento significativo dell'accuratezza per distribuzioni difficili (U(−1,1))
Miglioramento limitato per distribuzioni semplici (U(0,1))
Sensibilità alla Distribuzione dei Dati: Tutti i metodi sono sensibili alla distribuzione dei dati, ma l'algoritmo proposto è relativamente il più stabile
Robustezza alla Scala: I metodi di base mostrano degradazione delle prestazioni su problemi su larga scala, mentre l'algoritmo proposto rimane stabile
Verifica dell'Universalità: Applicazione riuscita al recupero di elementi massimi/minimi, diversi valori di k, tensori complessi
Importanza dell'Ottimizzazione dei Parametri: L'impostazione ragionevole di s e K è critica per l'accuratezza
Kolda & Bader (2009): Rassegna sulla decomposizione tensoriale
Ma & Yang (2022): Approssimazione a basso rango nella simulazione quantistica
Valutazione Complessiva: Questo è un articolo solido di analisi numerica che affronta il problema importante del recupero dei top-k elementi da tensori con modellazione e algoritmi innovativi. La verifica sperimentale è completa e il valore pratico è elevato. Le principali carenze risiedono nella mancanza di analisi teorica e nella valutazione insufficiente dell'efficienza computazionale. Per i ricercatori e gli ingegneri nei campi del calcolo tensoriale e della simulazione quantistica, questo è un lavoro degno di attenzione. Si consiglia agli autori di integrare in futuro l'analisi teorica, rendere pubblico il codice e verificare ulteriormente su problemi su scala più grande.