A Novel Block-Alternating Iterative Algorithm for Retrieving Top-$k$ Elements from Factorized Tensors
Xiao, Zeng
Tensors, especially higher-order tensors, are typically represented in low-rank formats to preserve the main information of the high-dimensional data while saving memory space. In practice, only a small fraction elements in high-dimensional data are of interest, such as the $k$ largest or smallest elements. Thus, retrieving the $k$ largest/smallest elements from a low-rank tensor is a fundamental and important task in a wide variety of applications. In this paper, we first model the top-$k$ elements retrieval problem to a continuous constrained optimization problem. To address the equivalent optimization problem, we develop a block-alternating iterative algorithm that decomposes the original problem into a sequence of small-scale subproblems. Leveraging the separable summation structure of the objective function, a heuristic algorithm is proposed to solve these subproblems in an alternating manner. Numerical experiments with tensors from synthetic and real-world applications demonstrate that the proposed algorithm outperforms existing methods in terms of accuracy and stability.
academic
Новый блочно-чередующийся итеративный алгоритм для извлечения топ-k элементов из факторизованных тензоров
Высокоразмерные тензоры обычно представляются в низкорангом формате для сохранения памяти при сохранении основной информации многомерных данных. В практических приложениях часто требуется внимание только к небольшой части элементов, таких как k максимальных или минимальных элементов. В данной работе для решения фундаментальной задачи извлечения топ-k элементов из низкорангового тензора сначала формулируется задача непрерывной оптимизации с ограничениями, а затем разрабатывается блочно-чередующийся итеративный алгоритм, который разлагает исходную задачу на серию подзадач меньшего размера. Используя структуру разделяемой суммы целевой функции, предлагается эвристический алгоритм для чередующегося решения этих подзадач. Численные эксперименты на синтетических и реальных данных тензоров показывают, что предложенный алгоритм превосходит существующие методы по точности и стабильности.
Эффективное и точное извлечение топ-k максимальных или минимальных элементов и их позиций из факторизованного тензора (factorized tensor). Здесь факторизованный тензор обозначает многомерные данные, представленные в низкорангом формате разложения, таком как CP, Tucker, TT и т.д.
Рекомендательные системы: k максимальных элементов соответствуют наиболее значимым персонализированным рекомендациям
Квантовое моделирование: квантовые состояния обычно представляются тензорным разложением для снижения использования памяти; оценка максимального правдоподобия эквивалентна извлечению элементов с максимальной амплитудой из факторизованного тензора
Научные вычисления: извлечение ключевой информации из многомерных данных, таких как смоделированные данные, гиперспектральные изображения, видео
Задачи оптимизации: многие практические задачи могут быть смоделированы как задачи извлечения топ-k элементов
Точность сильно зависит от размера и качества выборки
Нестабильная производительность, зависящая от базовой структуры факторизованного тензора
Применимы только для k>1, не могут быть прямо распространены на извлечение минимальных элементов
Методы непрерывной оптимизации:
Степенная итерация/обратная итерация: произведение Адамара приводит к быстрому росту ранга тензора, требуя переупаковки, накопленные ошибки могут привести к отказу локализации
Проективный градиентный спуск (PGD): высокая чувствительность к выбору гиперпараметров (например, размер шага), нестабильная производительность на разных задачах
Существующие алгоритмы не могут быть прямо применены к случаю k>1
На основе модели симметричных собственных значений (Espig et al. 2013, 2020) авторы наблюдают, что тензоры, соответствующие собственным векторам, имеют ранг-один структуру, и на этой основе предлагают новую эквивалентную переформулировку задачи непрерывной оптимизации с ограничениями, а также разрабатывают блочно-чередующийся итеративный алгоритм для её эффективного решения.
Вклад в моделирование: на основе ранг-один структуры тензоров, соответствующих собственным векторам, задача извлечения топ-k элементов формулируется как задача непрерывной оптимизации с ограничениями (теорема 1)
Вклад в алгоритм: предлагается новый блочно-чередующийся итеративный алгоритм для решения эквивалентной задачи оптимизации, с использованием структуры разделяемой суммы целевой функции для разработки эвристического метода
Вклад в приложения: алгоритм применяется к этапу измерения в моделировании квантовых схем, численные результаты показывают превосходство над существующими алгоритмами
Преимущества производительности:
Универсальность: может извлекать максимальные/минимальные k элементов и их позиции
Стабильность: значительное повышение точности на факторизованных тензорах с различными распределениями
Задача извлечения топ-k преобразуется в задачу симметричных собственных значений. Ключевое наблюдение: собственные векторы диагональной матрицы A (составленной из всех элементов тензора) имеют ранг-один структуру.
Задача оптимизации 2.5 (основное моделирование):
maxXp∈Rnp×k∑j=1k∑r=1R∏p=1d⟨Xp(:,j),Up(:,r)∗Xp(:,j)⟩
Ограничения:
∥Xp(:,j)∥2=1 для всех p=1,…,d;j=1,…,k
∏p=1d⟨Xp(:,i),Xp(:,j)⟩={1,0,i=ji=j
где ∗ обозначает произведение Адамара, ⟨⋅,⋅⟩ — скалярное произведение.
Анализ масштаба: размер задачи составляет ∑p=1dnpk, вычисление целевой функции включает только произведение Адамара np-мерных векторов, избегая восстановления полного тензора.
Основная идея: вдохновленная нелинейной итерацией Гаусса-Зейделя, на каждой итерации обновляются только s целевых переменных {Xp1,…,Xps}, разлагая крупномасштабную задачу на подзадачи меньшего размера.
Форма подзадачи (теорема 2):
max{Xq:q∈{p1,…,ps}}∑j,r=1k,Rαrt∏q∈{p1,…,ps}⟨Xq(:,j),Uq(:,r)∗Xq(:,j)⟩
где коэффициенты:
αr,jt=∏q∈/{p1,…,ps}⟨Xqt(:,j),Uq(:,r)∗Xqt(:,j)⟩
Размер подзадачи снижается до ∑q∈{p1,…,ps}nqk.
Использование ранг-один структуры: впервые явно используется ранг-один структура тензоров, соответствующих собственным векторам, для упрощения задачи оптимизации, избегая прямой работы с многомерными тензорами
Стратегия блочного разложения: параметр блока s контролирует размер подзадачи и размер пространства поиска, балансируя эффективность и точность
Использование разделяемой суммы: умелое использование разделяемости целевой функции преобразует совместную оптимизацию k решений в последовательную оптимизацию
Обработка ограничений: через коэффициент βr,i,jt эффективно определяется действенность ограничения, избегая экспоненциальной сложности
Универсальный дизайн:
Извлечение максимальных/минимальных элементов требует только изменения направления оптимизации
Поддерживает извлечение вещественной/мнимой части комплексных тензоров
Может быть применен к другим форматам тензоров (Tucker, TT и т.д.)
Точность (Accuracy):
Accuracy=S#hit
где #hit — количество успешно идентифицированных максимальных/минимальных элементов, S=100 — количество тестовых тензоров
Значение элемента (Value): значение извлеченных топ-k элементов или их сумма для оценки близости к истинному значению
Стабильность: демонстрируется через диаграммы размаха распределения значений и выбросов при различных распределениях
Чувствительность к распределению данных: все методы чувствительны к распределению данных, но предложенный алгоритм относительно наиболее стабилен
Робастность к масштабу: базовые методы показывают деградацию производительности на крупномасштабных задачах, предложенный алгоритм сохраняет стабильность
Проверка универсальности: успешное применение к извлечению максимальных/минимальных элементов, различным значениям k, комплексным тензорам
Важность настройки параметров: надлежащая установка s и K критична для точности
Espig et al. (2013, 2020): основополагающие работы по модели симметричных собственных значений
Lu et al. (2017): метод star sampling
Sidiropoulos et al. (2023): метод MinCPD проективного градиентного спуска
Oseledets (2011): разложение тензорной цепи (TT)
Kolda & Bader (2009): обзор тензорного разложения
Ma & Yang (2022): низкоранговое приближение в квантовом моделировании
Общая оценка: это солидная работа по численному анализу, предлагающая инновационное моделирование и алгоритм для важной задачи извлечения топ-k из тензоров. Экспериментальная проверка достаточна, практическая ценность высока. Основные недостатки заключаются в отсутствии теоретического анализа и недостаточной оценке вычислительной эффективности. Для исследователей и инженеров в области тензорных вычислений и квантового моделирования это работа, достойная внимания. Рекомендуется авторам дополнить теоретический анализ, опубликовать код и провести дальнейшую проверку на задачах большего масштаба.