Many algorithms in scientific computing and data science take advantage of low-rank approximation of matrices and kernels, and understanding why nearly-low-rank structure occurs is essential for their analysis and further development. This paper provides a framework for bounding the best low-rank approximation error of matrices arising from samples of a kernel that is analytically continuable in one of its variables to an open region of the complex plane. Elegantly, the low-rank approximations used in the proof are computable by rational interpolation using the roots and poles of Zolotarev rational functions, leading to a fast algorithm for their construction.
Многие алгоритмы в научных вычислениях и науке о данных используют низкоранговые аппроксимации матриц и функций ядра. Понимание причин возникновения приближённых низкоранговых структур имеет решающее значение для их анализа и дальнейшего развития. В данной работе предложена система оценок ошибок низкоранговой аппроксимации матриц, полученных из выборок функций ядра, которые допускают аналитическое продолжение в открытую область комплексной плоскости по одной из переменных. Элегантно то, что низкоранговая аппроксимация, используемая в доказательстве, может быть вычислена посредством рациональной интерполяции с использованием корней и полюсов рациональных функций Золотарёва, что приводит к быстрому конструктивному алгоритму.
Основная проблема: Многие матрицы и функции ядра в научных вычислениях и науке о данных демонстрируют приближённую низкоранговую структуру, однако отсутствует единая теоретическая база для понимания и количественной оценки этого явления. Существующие методы в основном основаны на теории полиномиальной аппроксимации гладких функций, но для функций ядра с аналитическими свойствами такой подход часто оказывается чрезмерно консервативным.
Значимость проблемы: Низкоранговая аппроксимация является ключевой технологией современных численных алгоритмов, широко применяемой в идентификации систем, моделировании частиц, сжатии изображений, системах рекомендаций и других областях. Понимание фундаментальных причин низкоранговой структуры критично для анализа алгоритмов и оптимизации производительности.
Ограничения существующих методов:
Методы, основанные на интерполяции полиномами Чебышёва (теория Литтла-Рида), чрезмерно пессимистичны
Теория структур смещения Бекермана-Таунсенда игнорирует аналитичность функций ядра
Отсутствует единая схема для обработки непрерывных функций ядра и дискретных матриц
Исследовательская мотивация: Автор заметил, что многие аналитические функции ядра обладают потенциальной структурой смещения через интегральную формулу Коши, что открывает новую перспективу для построения более точной теории низкоранговой аппроксимации.
Теоретическая база: Предложена новая теоретическая схема, основанная на числах Коши-Золотарёва, для оценки ошибок низкоранговой аппроксимации аналитических функций ядра
Унифицированный подход: Установлена единая схема для обработки непрерывных функций ядра и дискретных матриц/тензоров
Вычислимые аппроксимации: Доказано, что оптимальная низкоранговая аппроксимация может быть построена посредством рациональной интерполяции рациональных функций Золотарёва
Двойственная теория Гротендика: Введена двойственная теория Гротендика из функционального анализа в область численного анализа
Практический алгоритм: Предоставлен быстрый алгоритм, основанный на рациональной интерполяции, достигающий или приближающийся к оптимальной производительности во многих примерах
Дана функция ядра K∈C(D×E), где D и E — компактные метрические пространства. Цель — найти функцию ядра ранга n такую, что Kn минимизирует норму оператора ∥K−Kn∥Lμ2(E)→Lλ2(D).
Основная теорема 1.1: Пусть K∈C(D×E) допускает аналитическое продолжение такое, что K∈C(D×F′) и для каждого x∈D функция K(x,⋅) аналитична в F′. Тогда для n=1,2,3,… существует функция ядра ранга n такая, что Kn∈C(D×E) удовлетворяет:
Числа Коши-Золотарёва: Новое понятие, объединяющее классические числа Золотарёва и преобразование Коши, обеспечивающее гарантии экспоненциального затухания.
Низкоранговая структура аналитических функций ядра может быть точно количественно определена через интегральную формулу Коши и рациональные функции Золотарёва
Числа Коши-Золотарёва обеспечивают более тесные оценки ошибок, чем существующие методы
Оптимальная низкоранговая аппроксимация может быть эффективно вычислена посредством рациональной интерполяции
Двойственная теория Гротендика предоставляет новые теоретические инструменты для численного анализа
Статья цитирует 35 важных работ, охватывающих классические результаты в комплексном анализе, функциональном анализе, численном анализе и научных вычислениях, в частности литературу по теории рациональной аппроксимации Золотарёва, теории структур смещения и двойственной теории Гротендика.
Данная статья вносит значительный вклад как на теоретическом, так и на практическом уровнях, предоставляя мощные инструменты для понимания и использования низкоранговых структур аналитических функций ядра. Несмотря на некоторые ограничения, её инновационность и практическая ценность делают её важным прогрессом в данной области.