Переосмысление моделей PSF: унифицированная структура и высокопроизводительная реализация

Основная информация

• ID статьи: 2502.03170
• Название: Revisiting PSF models: unifying framework and high-performance implementation
• Авторы: Ян Лю, Василики Стергиопулу, Джонатан Чуа, Эрик Беззам, Герт-Ян Бот, Майкл Унсер, Даниэль Саж, Джонатан Донг
• Учреждения: Швейцарский федеральный политехнический институт Лозанны (EPFL), Научный кампус HHMI Janelia
• Классификация: physics.optics
• Дата публикации: 28 октября 2025 г. (arXiv v2)
• Ссылка на статью: https://arxiv.org/abs/2502.03170

Аннотация

Функция рассеяния точки (PSF) является основным инструментом локализационной микроскопии. В данной работе предложена унифицированная теоретическая структура для моделирования распространения света в системах визуализации с высокой числовой апертурой (NA), доказана эквивалентность методов, основанных на двумерном преобразовании Фурье и одномерных интегралах Бесселя. Разработана высокопроизводительная библиотека с открытым исходным кодом на основе PyTorch, впервые реализована систематическая сравнительная оценка различных моделей. Экспериментальные результаты показывают, что стратегия Бесселя оптимальна для осесимметричных пучков, а метод Фурье применим к более общим сценариям. Данная работа поддерживает эффективные вычисления на CPU/GPU и может беспрепятственно интегрироваться в глубокое обучение и процессы оптимизации.

Исследовательский контекст и мотивация

1. Основная проблема

Функция рассеяния точки (PSF) является фундаментальной концепцией оптической микроскопии, описывающей импульсный отклик системы визуализации. В системах визуализации с высокой числовой апертурой (NA) точная модель PSF критична для следующих приложений:

• Микроскопия локализации одиночных молекул (SMLM): требует точного PSF для локализации молекул
• Микроскопия деконволюции: требует точной модели PSF для восстановления изображения
• Инженерия PSF: достижение сверхразрешающей визуализации посредством проектирования специальных PSF

2. Важность проблемы

• Моделирование PSF является ядром вычислительной визуализации, напрямую влияя на производительность сверхразрешающей микроскопии (таких как STED, MINFLUX)
• Системы с высокой NA требуют учета сложных физических эффектов: свойства векторного поля, сферическая аберрация, несоответствие показателя преломления
• Точная модель PSF может повысить точность трехмерной локализации, достигая пространственного разрешения, превышающего оптический дифракционный предел

3. Ограничения существующих методов

• Теоретический уровень: существуют два основных метода (метод преобразования Фурье и метод функций Бесселя), но их взаимосвязь неясна, отсутствует систематическое сравнение
• Уровень реализации: существующие библиотеки в основном написаны на Java или MATLAB (например, предыдущий PSF Generator авторов), что затрудняет интеграцию в современные фреймворки глубокого обучения
• Уровень приложения: отсутствует систематическая сравнительная оценка точности и скорости вычислений, пользователям сложно выбрать подходящую модель

4. Исследовательская мотивация

• Систематическое переосмысление двух методов, исходя из интеграла Ричардса-Вольфа
• Установление унифицированной структуры, доказательство эквивалентности двух методов
• Предоставление высокопроизводительной реализации на основе PyTorch, поддерживающей автоматическое дифференцирование и ускорение GPU
• Первая комплексная сравнительная оценка точности и скорости

Основные вклады

1. Унифицированная теоретическая структура: исходя из интеграла Ричардса-Вольфа, доказано, что методы Фурье (декартовы) и Бесселя (сферические) являются по сути различными параметризациями одного и того же интеграла распространения
2. Универсальные корректирующие коэффициенты: систематически выведены различные физические корректирующие коэффициенты (сферическая аберрация Гибсона-Ланни, коэффициент экстинкции, коэффициент передачи Френеля, произвольные фазовые искажения и т.д.), унифицированно применены к обоим методам
3. Высокопроизводительная реализация PyTorch: разработана библиотека с открытым исходным кодом psf-generator, реализованы четыре распространителя (скалярный/векторный × декартовы/сферические), поддерживающие вычисления на CPU/GPU и автоматическое дифференцирование
4. Систематическая сравнительная оценка: впервые проведено комплексное сравнение точности и скорости вычислений различных моделей PSF, предоставлены рекомендации по выбору для практических приложений
5. Интеграция экосистемы: предоставлены графический интерфейс napari и интеграция с фреймворком chromatix для оптического моделирования, способствуя принятию открытым сообществом

Подробное описание методов

Определение задачи

Входные данные:

• Физические параметры: числовая апертура (NA), длина волны (λ), показатель преломления (n), фокусное расстояние (f)
• Падающее поле (функция зрачка): einc(s), определенная в плоскости зрачка
• Пространственное положение: трехмерные координаты ρ = (x, y, z) вблизи фокуса

Выходные данные:

• Распределение электрического поля E(ρ) в области фокуса, то есть PSF

Ограничения:

• Применимо к системам с высокой NA (требуется учет эффектов векторного поля)
• Должны быть включены различные физические корректировки (сферическая аберрация, экстинкция, передача и т.д.)

Теоретическая структура

1. Основы модели Ричардса-Вольфа

Отправной точкой всех точных моделей PSF является интеграл Ричардса-Вольфа (векторное расширение интеграла Дебая):

$E(\rho) = -\frac{ifk}{2\pi} \int\int_{\Omega} e_{\infty}(s) \exp(iks \cdot \rho) d\Omega$

где:

• s = (sx, sy, sz): единичный вектор направления падающего луча
• k = 2πn/λ: волновое число
• f: фокусное расстояние линзы
• Ω: телесный угол, определяемый NA

2. Два метода параметризации

Декартова параметризация (метод Фурье): Использование координат (sx, sy), dΩ = dsxdsy/sz

$E(\rho) = -\frac{ifk}{2\pi} \int\int_{s_x^2+s_y^2 \leq s_{max}^2} \frac{e_{\infty}(s_x,s_y)}{s_z} \exp(iks_z z) \exp(ik(s_x x + s_y y)) ds_x ds_y$

По сути это двумерное обратное преобразование Фурье, которое может быть эффективно вычислено с использованием БПФ.

Сферическая параметризация (метод Бесселя): Использование сферических координат (θ, φ), dΩ = sinθdθdφ

$E(\rho) = -\frac{ifk}{2\pi} \int_0^{\theta_{max}} d\theta \int_0^{2\pi} d\phi \, e_{\infty}(\theta,\phi) \exp(ik\rho\sin\theta\cos(\phi-\varphi)) \exp(ikz\cos\theta) \sin\theta$

Для осесимметричного падающего поля интеграл по φ может быть явно вычислен с использованием функции Бесселя J0:

$E(\rho) = -ifk \int_0^{\theta_{max}} e_{\infty}(\theta) J_0(k\rho\sin\theta) \exp(ikz\cos\theta) \sin\theta \, d\theta$

3. Скалярная vs векторная модель

Скалярная модель: приближение низкой NA, e∞(s) = einc(s)

Векторная модель: учет векторной природы электрического поля, требует преобразования базиса из цилиндрических в сферические координаты:

$e_{\infty}(\theta,\phi) = \text{[сложное матричное преобразование 3×2]} \cdot [e_{inc}^x, e_{inc}^y]^T$

Включает коэффициенты передачи Френеля qs и qp, описывающие поляризационно-зависимую передачу на границе раздела.

Векторная сферическая параметризация может быть упрощена до:

$E(\rho) = -\frac{ifk}{2} \begin{bmatrix} I_0^x - I_2^x\cos2\varphi - I_2^y\sin2\varphi \\ -I_2^x\sin2\varphi + I_0^y + I_2^y\cos2\varphi \\ -2iI_1^x\cos\varphi - 2iI_1^y\sin\varphi \end{bmatrix}$

где Ina(ρ,z) — одномерные интегралы, содержащие функции Бесселя n-го порядка Jn.

Корректирующие коэффициенты

1. Сферическая аберрация Гибсона-Ланни

Описывает сферическую аберрацию, вызванную несоответствием показателя преломления в слоистых средах:

$W(s) = \frac{2\pi}{\lambda}\left(t_s\sqrt{n_s^2-n_i^2\sin^2\theta} + t_i\sqrt{n_i^2-n_i^2\sin^2\theta} - t_i^*\sqrt{n_i^{*2}-n_i^2\sin^2\theta} + ...\right)$

где ts, tg, ti — толщины образца, стеклянного покровного стекла и иммерсионной среды соответственно.

2. Коэффициент экстинции (апертура)

Обеспечивает сохранение энергии при преобразовании из цилиндрических в сферические координаты:

$A(s) = \sqrt{\cos\theta}$

3. Гауссова оболочка

Описывает неидеальное плоское волновое освещение:

$A(s) = \exp\left(-\frac{\sin^2\theta}{s_{env}^2}\right)$

4. Произвольные фазовые искажения

Параметризованы полиномами Цернике:

$W(s) = \sum_{k=0}^{K-1} c_k Z_k(s) + W_0(s)$

Все корректирующие коэффициенты унифицированно представлены как:

$E(\rho) = -\frac{ifk}{2\pi} \int\int_{\Omega} a(s) \exp(iW(s)) e_{\infty}(s) \exp(iks \cdot \rho) d\Omega$

Технические инновации

1. Доказательство эквивалентности: впервые строго доказано, что декартова и сферическая параметризация являются различными представлениями одного интеграла, устраняя давнюю теоретическую неясность в области
2. Универсализация корректирующих коэффициентов: распространены корректирующие коэффициенты, ранее применявшиеся только к методу Бесселя (такие как Гибсон-Ланни, коэффициент экстинции), на метод Фурье
3. Пользовательская реализация БПФ: реализовано двумерное БПФ произвольного размера пикселя на основе преобразования Чирпа Z, решена проблема выборки при экстремально малых размерах пикселя в локализационной микроскопии
4. Эффективное численное интегрирование: сферический метод использует правило Симпсона для достижения четвертого порядка точности, векторизация пакетной обработки через torch.vmap
5. Дифференцируемые функции Бесселя: расширена функциональность автоматического дифференцирования для функций Бесселя, не поддерживаемых нативно PyTorch

Экспериментальная установка

Набор данных

Данное исследование в основном проводит теоретическую верификацию и сравнительную оценку алгоритмов, не использует реальные наборы данных. Тестовые сценарии включают:

• Верификация аналитических решений: использование диска Эйри (аналитическое решение преобразования Фурье круглой апертуры)
• Параметры установки: длина волны 632 нм, диапазон NA 0,5-1,3, показатели преломления ns=1,3, ni=1,5, ng=1,5

Метрики оценки

1. Оценка точности

• Ошибка L2: δ = ||E - FAD||2, где FAD — аналитический диск Эйри
• Порядок сходимости: анализ теоретической скорости сходимости численного метода

2. Вычислительная эффективность

• Время выполнения: время генерации одного изображения PSF размером 201×201
• Сканирование параметров: размер зрачка от 32 до 1024 пикселей
• Аппаратные платформы: процессор Intel i9-10900X и графический процессор NVIDIA RTX 3090

Методы сравнения

Систематическое сравнение четырех распространителей:

1. ScalarCartesianPropagator: скалярный декартов метод
2. ScalarSphericalPropagator: скалярный сферический метод
3. VectorialCartesianPropagator: векторный декартов метод
4. VectorialSphericalPropagator: векторный сферический метод

Детали реализации

• Фреймворк программирования: PyTorch 2.3+
• Численное интегрирование: сферический метод использует составное правило Симпсона
• Реализация БПФ: пользовательское двумерное БПФ на основе преобразования Чирпа Z
• Параллелизация: использование встроенных возможностей параллелизма PyTorch и torch.vmap
• Формат данных: форма тензора (z, channel, x, y), channel=1 (скалярный) или 3 (векторный)

Экспериментальные результаты

Основные результаты

1. Сравнительная оценка точности (рис. 7)

Сравнение с аналитическим диском Эйри показывает:

• Сферический метод (правило Римана): скорость сходимости первого порядка (O(h))
• Сферический метод (правило Симпсона): скорость сходимости четвертого порядка (O(h⁴))
• Декартов метод: скорость сходимости между первым и вторым порядком
• Вывод: сферический метод с использованием правила Симпсона обладает наивысшей точностью

2. Сравнительная оценка скорости вычислений (рис. 6)

Производительность CPU:

• Малые размеры (<512 пикселей): декартов метод быстрее
• Большие размеры (>512 пикселей): сферический метод быстрее
• Скалярный vs векторный: скалярный быстрее в 1,5 раза (декартов) или в 3 раза (сферический)

Производительность GPU:

• Декартов метод: умеренное ускорение по сравнению с CPU
• Сферический метод: плоская кривая, значительное преимущество от параллелизма GPU
• Скалярный vs векторный: незначительная разница в скорости, особенно для декартова метода

Ключевые находки:

• Повышение точности векторной модели значительно превосходит вычислительные затраты
• Масштабируемость сферического метода на GPU лучше всего
• Для изображений среднего и малого размера векторный декартов метод является универсальным выбором по умолчанию

Визуализация PSF (рис. 4-5)

Сравнение низкой NA vs высокой NA (рис. 4)

• NA=0,5: результаты скалярной и векторной моделей похожи, классическая морфология диска Эйри
• NA=1,3: векторная модель показывает явные различия, энергия распределяется между различными компонентами поля, кольцевая структура размыта

Эффекты фазовых искажений (рис. 5)

• Коррекция Гибсона-Ланни: несоответствие показателя преломления вызывает сферическую аберрацию, значительно снижает качество фокуса
• PSF в виде пончика: спиральная фазовая маска создает кольцевой PSF с нулевым центром (используется для STED)
• Полулунный PSF: скачок фазы π создает асимметричный PSF
• Астигматизм: астигматизм, введенный полиномом Цернике, проявляется в виде эллиптического вращения в различных плоскостях z

Экспериментальные находки

1. Руководство по выбору метода:
   • Осесимметричная функция зрачка → сферический метод (высокая точность + масштабируемость GPU)
   • Асимметричные искажения/инженерия PSF → декартов метод (большая универсальность)
   • Рекомендация по умолчанию: векторный декартов метод (универсальность + разумные затраты)
2. Важность векторных эффектов: в системах с высокой NA векторная модель необходима, скалярное приближение дает значительные ошибки
3. Влияние корректирующих коэффициентов: корректирующие коэффициенты, такие как сферическая аберрация Гибсона-Ланни, критичны для точного моделирования
4. Вычислительная сложность:
   • Декартов: O(n log n), где n — размер поперечной плоскости
   • Сферический: O(n), где n — количество шагов интегрирования

Связанные работы

1. Теория моделирования PSF

• Классическая теория: интеграл Ричардса-Вольфа (1959), интеграл Дебая
• Модели сферической аберрации: модель Гибсона-Ланни (1991), расширение Торока (1997)
• Векторные модели: Aguet (2009), Novotny & Hecht (2012)

2. Существующие программные реализации

• Коммерческое ПО: Huygens PSF (широко используется, но закрытый исходный код)
• Реализация на Java: предыдущий плагин PSF Generator авторов (2013)
• Реализация на MATLAB: Nasse & Woehl (2010), Miora и др. (2024)
• Реализация на Python: PyFocus (2022), SPITFIR(e) (2023)

3. Относительные преимущества данной работы

• Теоретический уровень: впервые доказана эквивалентность двух методов, установлена унифицированная структура
• Уровень реализации: встроенная поддержка PyTorch, беспрепятственная интеграция с глубоким обучением
• Уровень производительности: первая систематическая сравнительная оценка, значительное ускорение GPU
• Экосистема: плагин napari, интеграция chromatix, способствование принятию открытым сообществом

4. Приложения глубокого обучения

Связанные работы уже применили модели PSF для:

• Обучения сетей: DeepSTORM (2020), DECODE (2021)
• Обучения с физическими ограничениями: Li и др. (2022) объединяют процесс визуализации
• Самоконтролируемого обучения: Kobayashi и др. (2020) для деконволюции
• Генеративных моделей: FluoGAN (2023) для деконволюции флуоресцентных изображений

Реализация PyTorch в данной работе предоставляет эффективный, дифференцируемый инструмент генерации PSF для этих приложений.

Заключение и обсуждение

Основные выводы

1. Теоретическое объединение: исходя из интеграла Ричардса-Вольфа, доказано, что методы Фурье (декартовы) и Бесселя (сферические) являются различными параметризациями одного интеграла распространения, устраняя давнюю теоретическую неясность
2. Выбор метода:
   • Осесимметричный зрачок: сферический метод (высокая точность, масштабируемость GPU)
   • Асимметричные искажения: декартов метод (сильная универсальность)
   • Универсальная рекомендация: векторный декартов метод (баланс производительности и применимости)
3. Преимущества производительности: повышение точности векторной модели значительно превосходит вычислительные затраты, в системах с высокой NA следует отдавать приоритет использованию
4. Вклад в открытый исходный код: предоставлена полная библиотека PyTorch, плагин napari и интеграция chromatix, поддерживающие вычисления на CPU/GPU и автоматическое дифференцирование

Ограничения

1. Теоретические предположения:
   • Интеграл Ричардса-Вольфа имеет условия применимости (обсуждены Wolf & Li, 1981)
   • Не охватывает все модели распространения света (например, полное решение уравнений Максвелла)
2. Численная точность:
   • Декартов метод основан на БПФ, скорость сходимости ниже, чем у сферического метода Симпсона
   • Преобразование Чирпа Z увеличивает вычислительные затраты (3-кратный вызов БПФ)
3. Область применения:
   • Главным образом ориентирован на флуоресцентную микроскопию, другие режимы визуализации могут требовать корректировок
   • Не учитывает рассеяние в сложных образцах и другие сложные характеристики
4. Ограничения верификации:
   • Верификация точности в основном основана на аналитическом диске Эйри
   • Отсутствует систематическое сравнение с экспериментально измеренными PSF

Направления будущих исследований

1. Интеграция глубокого обучения:
   • Использование для генерации крупномасштабных наборов данных обучения
   • Встраивание в виде дифференцируемого слоя в нейронные сети
   • Поддержка оптимизации инженерии PSF от конца к концу
2. Расширение приложений:
   • Моделирование виртуальной микроскопии SMLM
   • Разработка алгоритмов отслеживания одиночных частиц
   • Проектирование систем адаптивной оптики
3. Оптимизация производительности:
   • Дальнейшая оптимизация стратегий параллелизма GPU
   • Исследование вычислений смешанной точности
   • Разработка специализированного аппаратного ускорения
4. Расширение модели:
   • Включение эффектов рассеяния
   • Поддержка распространения импульсов во временной области
   • Моделирование многоцветного PSF

Глубокая оценка

Преимущества

1. Значительный теоретический вклад:
   • Впервые строго доказана эквивалентность двух основных методов моделирования PSF, заполнена пробел в области
   • Унифицированная структура делает применение корректирующих коэффициентов более систематичным и ясным
   • Математические выводы строги, логика от интеграла Ричардса-Вольфа до конкретной реализации ясна
2. Высокое качество реализации:
   • Встроенная реализация PyTorch, поддержка автоматического дифференцирования и ускорения GPU
   • Элегантный дизайн кода, унифицированная структура четырех распространителей
   • Пользовательское БПФ и дифференцируемые функции Бесселя отражают глубокие инженерные навыки
3. Комплексные эксперименты:
   • Впервые проведена систематическая сравнительная оценка точности и скорости
   • Охватывает множество условий NA, поляризации и искажений
   • Предоставляет четкое руководство по выбору метода
4. Полная экосистема открытого исходного кода:
   • Полная документация и примеры
   • Плагин napari снижает барьер использования
   • Интеграция chromatix способствует кроссплатформенному применению
   • Соответствие принципам FAIR, подчеркивание воспроизводимости
5. Ясное изложение:
   • Разумная структура, четкие уровни от фона к теории к реализации
   • Богатые рисунки (визуализация PSF, кривые сравнительной оценки)
   • Достаточные технические детали без избыточности

Недостатки

1. Ограниченная экспериментальная верификация:
   • Верификация точности в основном зависит от аналитического диска Эйри, отсутствует сравнение с реальными экспериментальными PSF
   • Отсутствует прямое сравнение с другим ПО (например, Huygens, Java версия PSF Generator)
   • Отсутствуют практические примеры применения на реальных данных SMLM
2. Расширяемая теоретическая глубина:
   • Доказательство эквивалентности относительно интуитивно (преобразование координат), отсутствуют более глубокие математические инсайты
   • Отсутствует обсуждение численной стабильности и распространения ошибок
   • Недостаточное обсуждение граничных условий применимости интеграла Ричардса-Вольфа
3. Недостаточно детальный анализ производительности:
   • Отсутствует анализ потребления памяти
   • Отсутствует систематическое тестирование на различных аппаратных платформах
   • Отсутствует сравнение производительности с другими фреймворками (JAX, TensorFlow)
4. Единственный сценарий приложения:
   • Главным образом сосредоточен на флуоресцентной микроскопии
   • Не исследуется применение в других режимах визуализации (голография, количественная фазовая визуализация)
   • Отсутствуют полные примеры практической оптимизации инженерии PSF
5. Требуемые дополнительные технические детали:
   • Стратегия выбора длины шага для интеграции Симпсона не описана подробно
   • Недостаточное обсуждение условий удовлетворения теоремы выборки БПФ
   • Численная стабильность автоматического дифференцирования не верифицирована

Влияние

1. Академическая ценность:
   • Унифицированная структура станет стандартной ссылкой для моделирования PSF
   • Предоставляет теоретическую основу для кроссдисциплинарных исследований оптической физики и вычислительной визуализации
   • Ожидается широкое цитирование в области сверхразрешающей микроскопии
2. Практическая ценность:
   • Прямое обслуживание передовых микроскопических технологий (SMLM, STED, MINFLUX)
   • Снижение барьера применения глубокого обучения в микроскопической визуализации
   • Плагин napari позволяет неспециалистам генерировать высокачественные PSF
3. Воспроизводимость:
   • Открытый исходный код, подробная документация, графический интерфейс — трехсторонний подход
   • Широкая совместимость экосистемы PyTorch гарантирует долгосрочную поддерживаемость
   • Соответствие принципам FAIR, способствование научной прозрачности
4. Продвижение области:
   • Прокладывает путь для применения физически информированных нейронных сетей (PINN) в оптике
   • Может催生 новые алгоритмы оптимизации инженерии PSF
   • Способствует развитию экосистемы программного обеспечения открытой микроскопии

Применимые сценарии

1. Прямое применение:
   • Моделирование PSF в микроскопии локализации одиночных молекул (SMLM)
   • Проектирование систем микроскопии деконволюции 3D
   • Инженерия PSF (проектирование двойной спирали PSF, пончика PSF и т.д.)
2. Исследовательские инструменты:
   • Генерация данных обучения для методов глубокого обучения
   • Разработка платформы виртуального моделирования микроскопии
   • Оценка производительности оптических систем
3. Образовательное применение:
   • Инструмент визуализации для курсов оптической визуализации
   • Демонстрация эффектов оптики высокой NA
   • Примеры преподавания сравнения численных методов
4. Расширенные сценарии:
   • Датчик волнового фронта адаптивной оптики
   • Оптимизация от конца к концу вычислительной оптики
   • Совместное моделирование многомодальной визуализации

Ключевые ссылки

1. Richards & Wolf (1959): исходный интеграл Ричардса-Вольфа, основание теории векторной дифракции
2. Gibson & Lanni (1991): модель сферической аберрации Гибсона-Ланни, моделирование слоистых сред
3. Leutenegger et al. (2006): быстрое вычисление фокусного поля, современная реализация декартова метода
4. Aguet (2009): систематическая статья о векторной модели PSF (докторская диссертация)
5. Kirshner et al. (2013): предыдущая Java версия PSF Generator авторов
6. Miora et al. (2024): последний обзор методов вычисления PSF и реализация на MATLAB

Общая оценка: это превосходная статья, тесно сочетающая теорию и практику. Теоретически впервые доказана эквивалентность двух основных методов моделирования PSF, установлена унифицированная структура; практически предоставлена высококачественная реализация PyTorch и систематическая сравнительная оценка. Дух открытого исходного кода и интеграция экосистемы (napari, chromatix) отражают значительный вклад в научное сообщество. Основной недостаток заключается в отсутствии прямого сравнения с экспериментальными данными и существующим программным обеспечением. Данная работа станет важным инструментом в области вычислительной микроскопии, особенно с широкими перспективами в приложениях, сочетающих глубокое обучение и физические модели.