A Novel Block-Alternating Iterative Algorithm for Retrieving Top-$k$ Elements from Factorized Tensors
Xiao, Zeng
Tensors, especially higher-order tensors, are typically represented in low-rank formats to preserve the main information of the high-dimensional data while saving memory space. In practice, only a small fraction elements in high-dimensional data are of interest, such as the $k$ largest or smallest elements. Thus, retrieving the $k$ largest/smallest elements from a low-rank tensor is a fundamental and important task in a wide variety of applications. In this paper, we first model the top-$k$ elements retrieval problem to a continuous constrained optimization problem. To address the equivalent optimization problem, we develop a block-alternating iterative algorithm that decomposes the original problem into a sequence of small-scale subproblems. Leveraging the separable summation structure of the objective function, a heuristic algorithm is proposed to solve these subproblems in an alternating manner. Numerical experiments with tensors from synthetic and real-world applications demonstrate that the proposed algorithm outperforms existing methods in terms of accuracy and stability.
academic
Ein neuartiger Block-alternierender iterativer Algorithmus zum Abrufen der Top-k-Elemente aus faktorisierten Tensoren
Hochordnige Tensoren werden typischerweise in niedrigrangigen Formaten dargestellt, um Speicher zu sparen und gleichzeitig die Hauptinformationen hochdimensionaler Daten zu bewahren. In praktischen Anwendungen interessiert man sich oft nur für einen kleinen Teil der Elemente, wie die k größten oder kleinsten Elemente. Dieses Papier befasst sich mit dem grundlegenden Problem des Abrufens von Top-k-Elementen aus niedrigrangigen Tensoren, indem es das Problem zunächst als kontinuierliches Optimierungsproblem mit Nebenbedingungen modelliert und dann einen Block-alternierenden iterativen Algorithmus entwickelt, der das ursprüngliche Problem in eine Reihe kleinerer Teilprobleme zerlegt. Unter Ausnutzung der separierbaren Summenstruktur der Zielfunktion wird ein heuristischer Algorithmus zur abwechselnden Lösung dieser Teilprobleme vorgeschlagen. Numerische Experimente mit synthetischen Daten und realen Anwendungstensoren zeigen, dass der Algorithmus bestehende Methoden in Bezug auf Genauigkeit und Stabilität übertrifft.
Effizientes und genaues Abrufen der Top-k größten oder kleinsten Elemente und ihrer Positionen aus faktorisierten Tensoren (factorized tensors). Dabei handelt es sich um hochdimensionale Daten, die in niedrigrangigen Zerlegungsformaten wie CP, Tucker oder TT dargestellt sind.
Empfehlungssysteme: Die k größten Elemente entsprechen den aussagekräftigsten personalisierten Empfehlungen
Quantensimulation: Quantenzustände werden typischerweise als Tensorzerleguungen dargestellt, um den Speicherverbrauch zu reduzieren; die Maximum-Likelihood-Schätzung ist äquivalent zum Abrufen der Elemente mit maximaler Amplitude aus faktorisierten Tensoren
Wissenschaftliches Rechnen: Extraktion von Schlüsselinformationen aus hochdimensionalen Daten wie Simulationsdaten, hyperspektralen Bildern und Videos
Optimierungsprobleme: Viele praktische Aufgaben können als Top-k-Elementabruf-Probleme modelliert werden
Die Genauigkeit hängt stark von Stichprobengröße und -qualität ab
Die Leistung ist instabil und wird durch die zugrunde liegende Struktur des faktorisierten Tensors beeinflusst
Anwendbar nur für k>1; keine direkte Verallgemeinerung auf den Abruf minimaler Elemente
Kontinuierliche Optimierungsmethoden:
Potenziteration/Inverse Iteration: Das Hadamard-Produkt führt zu schnellem Rangwachstum, erfordert Neukompression und akkumulierte Fehler können zu Lokalisierungsfehlern führen
Projizierter Gradientenabstieg (PGD): Hochgradig empfindlich gegenüber Hyperparameter-Auswahl (z. B. Schrittweite), instabile Leistung über verschiedene Aufgaben hinweg
Bestehende Algorithmen können nicht direkt auf k>1 angewendet werden
Basierend auf dem symmetrischen Eigenwertmodell (Espig et al. 2013, 2020) beobachten die Autoren, dass Tensoren, die Eigenvektoren entsprechen, eine Rangein-Struktur aufweisen. Dies führt zu einer neuen äquivalenten kontinuierlichen Optimierungsformulierung mit Nebenbedingungen und einem Block-alternierenden iterativen Algorithmus zu ihrer effizienten Lösung.
Modellierungsbeitrag: Basierend auf der Rangein-Struktur von Eigenvektortensoren wird das Top-k-Elementabruf-Problem als kontinuierliches Optimierungsproblem mit Nebenbedingungen modelliert (Satz 1)
Algorithmusbeitrag: Ein neuartiger Block-alternierender iterativer Algorithmus zur Lösung des äquivalenten Optimierungsproblems wird vorgeschlagen, wobei die separierbare Summenstruktur der Zielfunktion zur Gestaltung einer heuristischen Methode genutzt wird
Anwendungsbeitrag: Der Algorithmus wird auf die Mesungsphase der Quantenschaltkreissimulation angewendet, wobei numerische Ergebnisse eine Überlegenheit gegenüber bestehenden Algorithmen zeigen
Leistungsvorteile:
Universalität: Kann die k größten/kleinsten Elemente und ihre Positionen abrufen
Stabilität: Signifikante Verbesserung der Genauigkeit über verschiedene Verteilungen faktorisierter Tensoren hinweg
Eingabe: d-ter Ordnung CP-Tensor A∈Rn1×n2×⋯×nd, dargestellt als:
A:=∑r=1RU1(:,r)∘U2(:,r)∘⋯∘Ud(:,r)
wobei ∘ das äußere Tensorprodukt bezeichnet, {Up∈Rnp×R:p=1,…,d} die CP-Faktoren sind und R der CP-Rang ist.
Ausgabe: Die Werte der k größten (oder kleinsten) Elemente und ihre entsprechenden mehrdimensionalen Indexpositionen.
Ziel: Direkter Abruf aus der faktorisierten Darstellung ohne vollständige Tensorrekonstruktion.
Das Top-k-Abruf-Problem wird in ein symmetrisches Eigenwertproblem umgewandelt. Schlüsselbeobachtung: Eigenvektoren der Diagonalmatrix A (bestehend aus allen Tensorelementen) weisen eine Rangein-Struktur auf.
wobei ∗ das Hadamard-Produkt und ⟨⋅,⋅⟩ das innere Produkt bezeichnet.
Größenanalyse: Die Problemgröße beträgt ∑p=1dnpk; die Berechnung der Zielfunktion beinhaltet nur das Hadamard-Produkt von np-dimensionalen Vektoren und vermeidet damit die vollständige Tensorrekonstruktion.
Kernidee: Inspiriert durch nichtlineare Gauss-Seidel-Iteration werden bei jeder Iteration nur s Zielvariablen {Xp1,…,Xps} aktualisiert, wodurch das großskalige Problem in kleinere Teilprobleme zerlegt wird.
Schlüsselbeobachtung: Die Zielfunktion weist eine separierbare Summenstruktur auf:
f1(Xp1(:,1),…,Xps(:,1))+⋯+fk(Xp1(:,k),…,Xps(:,k))
Lösungsstrategie: Die Lösungen werden sequenziell in der Reihenfolge 1→2→⋯→k bestimmt, um lokale Optimalität zu erfüllen.
Für j=1:
(Xp1∗(:,1),…,Xps∗(:,1))=argmaxf1
ist äquivalent zum Abrufen des maximalen Elements des s-ter Ordnung CP-Tensors ∑r=1Rαr,1tUp1(:,r)∘⋯∘Ups(:,r).
Für j>1: Muss die Nebenbedingung βr,i,jt∏q∈{p1,…,ps}⟨Xq(:,i),Xq(:,j)⟩=0 (für alle i<j) erfüllen.
Zwei Fälle:
Falls βr,i,jt=0: Nebenbedingung ist unwirksam, direkter Abruf des maximalen Elements
Andernfalls: Abruf des maximalen Elements, das die Orthogonalitätsbedingung erfüllt
Ausnutzung der Rangein-Struktur: Erstmalige explizite Nutzung der Rangein-Struktur von Eigenvektortensoren zur Vereinfachung des Optimierungsproblems, Vermeidung direkter hochdimensionaler Tensorbehandlung
Block-Zerlegungsstrategie: Kontrolle der Teilproblemgröße und des Suchraums durch Block-Parameter s, Ausgleich zwischen Effizienz und Genauigkeit
Ausnutzung separierbarer Summen: Geschickte Nutzung der Separabilität der Zielfunktion zur Umwandlung der gemeinsamen Optimierung von k Lösungen in sequenzielle Optimierung
Nebenbedingungsbehandlung: Effiziente Bestimmung der Nebenbedingungswirksamkeit durch βr,i,jt-Koeffizienten, Vermeidung exponentieller Komplexität
Universelles Design:
Abruf größter/kleinster Elemente erfordert nur Änderung der Optimierungsrichtung
Unterstützt Abruf von Real- und Imaginärteil komplexer Tensoren
Anwendbar auf Tucker-, TT- und andere Tensorformate
Genauigkeit (Accuracy):
Accuracy=S#hit
wobei #hit die Anzahl erfolgreicher Identifikationen des maximalen/minimalen Elements ist und S=100 die Anzahl der Test-Tensoren ist
Elementwert (Value): Der Wert der abgerufenen Top-k-Elemente oder deren Summe, zur Bewertung der Nähe zu echten Werten
Stabilität: Darstellung der Wertverteilung und Ausreißer über verschiedene Verteilungen hinweg mittels Boxplots
Espig et al. (2013, 2020): Grundlegende Arbeiten zum symmetrischen Eigenwertmodell
Lu et al. (2017): Star-Sampling-Methode
Sidiropoulos et al. (2023): MinCPD-Methode mit projiziertem Gradientenabstieg
Oseledets (2011): Tensorketten-Zerlegung (TT)
Kolda & Bader (2009): Übersichtsartikel zu Tensorzerleguungen
Ma & Yang (2022): Niedrigrangige Approximation in Quantensimulation
Gesamtbewertung: Dies ist ein solides Papier der numerischen Analyse, das ein innovatives Modellierungs- und Algorithmusdesign für das wichtige Problem des Tensor-Top-k-Abrufes vorschlägt. Die experimentelle Verifizierung ist umfassend und der praktische Wert hoch. Hauptmängel sind fehlende theoretische Analyse und unzureichende Effizienzbeurteilung. Für Forscher und Ingenieure in Tensorrechnung und Quantensimulation ist dies eine beachtenswerte Arbeit. Es wird empfohlen, dass die Autoren nachfolgend theoretische Analyse hinzufügen, Code veröffentlichen und auf größerskaligen Problemen weiter verifizieren.