Localization microscopy often relies on detailed models of point spread functions. For applications such as deconvolution or PSF engineering, accurate models for light propagation in imaging systems with high numerical aperture are required. Different models have been proposed based on 2D Fourier transforms or 1D Bessel integrals. The most precise ones combine a vectorial description of the electric field and precise aberration models. However, it may be unclear which model to choose, as there is no comprehensive comparison between the Fourier and Bessel approaches yet. Moreover, many existing libraries are written in Java (e.g. our previous PSF generator software) or MATLAB, which hinders the integration into deep learning algorithms. In this work, we start from the original Richards-Wolf integral and revisit both approaches in a systematic way. We present a unifying framework in which we prove the equivalence between the Fourier and Bessel strategies and detail a variety of correction factors applicable to both of them. Then, we provide a high-performance implementation of our theoretical framework in the form of an open-source library that is built on top of PyTorch, a popular library for deep learning. It enables us to benchmark the accuracy and computational speed of different models, thus allowing for an in-depth comparison of the existing models for the first time. We show that the Bessel strategy is optimal for axisymmetric beams while the Fourier approach can be applied to more general scenarios. Our work enables efficient PSF computation on CPU or GPU, which can then be included in simulation and optimization pipelines.
論文ID : 2502.03170タイトル : Revisiting PSF models: unifying framework and high-performance implementation著者 : Yan Liu, Vasiliki Stergiopoulou, Jonathan Chuah, Eric Bezzam, Gert-Jan Both, Michael Unser, Daniel Sage, Jonathan Dong所属機関 : École Polytechnique Fédérale de Lausanne (EPFL), HHMI Janelia Research Campus分類 : physics.optics発表日時 : 2025年10月28日 (arXiv v2)論文リンク : https://arxiv.org/abs/2502.03170 点広がり関数(PSF)モデルは定位顕微鏡の中核ツールである。本論文は高開口数(NA)撮像システムにおける光伝播モデリング問題に対して、統一された理論フレームワークを提案し、2次元フーリエ変換ベースの方法と1次元ベッセル積分ベースの方法の等価性を証明した。PyTorchベースの高性能オープンソースライブラリを開発し、異なるモデルの体系的ベンチマークテストを初めて実施した。実験結果から、ベッセル戦略は軸対称ビームに最適であり、フーリエ法はより一般的なシナリオに適していることが示された。本研究はCPU/GPU効率的計算をサポートし、深層学習と最適化プロセスにシームレスに統合できる。
点広がり関数(PSF)は光学顕微鏡の基礎概念であり、撮像システムのインパルス応答を記述する。高開口数(NA)撮像システムにおいて、正確なPSFモデルは以下の応用に極めて重要である:
単一分子定位顕微鏡(SMLM) :分子定位のための正確なPSFが必要デコンボリューション顕微鏡 :画像復元のための正確なPSFモデルが必要PSF工学 :特殊PSF設計による超解像撮像の実現PSFモデリングは計算撮像の中核であり、超解像顕微鏡(STED、MINFLUXなど)の性能に直接影響する 高NAシステムではベクトル場特性、球面収差、屈折率不整合などの複雑な物理効果を考慮する必要がある 正確なPSFモデルにより3D定位精度が向上し、光学回折限界を超える空間分解能が実現される 理論レベル :主流の2つの方法(フーリエ変換法とベッセル関数法)が存在するが、それらの関係が不明確であり、体系的な比較が欠けている実装レベル :既存ライブラリはJavaやMATLABで記述されることが多く(著者の以前のPSF Generatorなど)、最新の深層学習フレームワークへの統合が困難である応用レベル :精度と計算速度の体系的ベンチマークテストが欠けており、ユーザーが適切なモデルを選択することが困難であるRichards-Wolf積分から出発し、体系的に2つの方法を再検討する 統一フレームワークを確立し、2つの方法の等価性を証明する PyTorchベースの高性能実装を提供し、自動微分とGPU加速をサポートする 初めて包括的な精度と速度のベンチマークテストを実施する 理論統一フレームワーク :Richards-Wolf積分から出発し、フーリエ(直交座標)法とベッセル(球面座標)法が本質的に同一の伝播積分の異なるパラメータ化形式であることを証明した汎用補正係数 :複数の物理補正係数(Gibson-Lanni球面収差、消光係数、フレネル透射係数、任意位相歪みなど)を体系的に導出し、両方法に統一的に適用した高性能PyTorch実装 :オープンソースライブラリpsf-generatorを開発し、4種類の伝播器(スカラー/ベクトル × 直交座標/球面座標)を実装し、CPU/GPU計算と自動微分をサポートした体系的ベンチマークテスト :異なるPSFモデルの精度と計算速度について初めて包括的な比較を実施し、実際の応用のための選択指針を提供したエコシステム統合 :napariグラフィカルインターフェースプラグインとchromatix光学シミュレーションフレームワーク統合を提供し、オープンソースコミュニティの採用を促進した入力 :
物理パラメータ:開口数(NA)、波長(λ)、屈折率(n)、焦点距離(f) 入射場(瞳孔関数):einc(s)、瞳孔平面で定義 空間位置:焦点近傍の3次元座標ρ = (x, y, z) 出力 :
制約条件 :
高NAシステムに適用可能(ベクトル場効果を考慮する必要がある) 各種物理補正(球面収差、消光、透射など)を含める必要がある すべての正確なPSFモデルの出発点はRichards-Wolf積分(Debye積分のベクトル拡張)である:
E ( ρ ) = − i f k 2 π ∫ ∫ Ω e ∞ ( s ) exp ( i k s ⋅ ρ ) d Ω E(\rho) = -\frac{ifk}{2\pi} \int\int_{\Omega} e_{\infty}(s) \exp(iks \cdot \rho) d\Omega E ( ρ ) = − 2 π i f k ∫ ∫ Ω e ∞ ( s ) exp ( ik s ⋅ ρ ) d Ω
ここで:
s = (sx, sy, sz):入射光線方向の単位ベクトル k = 2πn/λ:波数 f:レンズ焦点距離 Ω:NAで決定される立体角領域 直交座標パラメータ化(フーリエ法) :
(sx, sy)座標を使用、dΩ = dsxdsy/sz
E ( ρ ) = − i f k 2 π ∫ ∫ s x 2 + s y 2 ≤ s m a x 2 e ∞ ( s x , s y ) s z exp ( i k s z z ) exp ( i k ( s x x + s y y ) ) d s x d s y E(\rho) = -\frac{ifk}{2\pi} \int\int_{s_x^2+s_y^2 \leq s_{max}^2} \frac{e_{\infty}(s_x,s_y)}{s_z} \exp(iks_z z) \exp(ik(s_x x + s_y y)) ds_x ds_y E ( ρ ) = − 2 π i f k ∫ ∫ s x 2 + s y 2 ≤ s ma x 2 s z e ∞ ( s x , s y ) exp ( ik s z z ) exp ( ik ( s x x + s y y )) d s x d s y
これは本質的に2次元逆フーリエ変換であり、FFTを利用した効率的な計算が可能である。
球面座標パラメータ化(ベッセル法) :
球面座標(θ, φ)を使用、dΩ = sinθdθdφ
E ( ρ ) = − i f k 2 π ∫ 0 θ m a x d θ ∫ 0 2 π d ϕ e ∞ ( θ , ϕ ) exp ( i k ρ sin θ cos ( ϕ − φ ) ) exp ( i k z cos θ ) sin θ E(\rho) = -\frac{ifk}{2\pi} \int_0^{\theta_{max}} d\theta \int_0^{2\pi} d\phi \, e_{\infty}(\theta,\phi) \exp(ik\rho\sin\theta\cos(\phi-\varphi)) \exp(ikz\cos\theta) \sin\theta E ( ρ ) = − 2 π i f k ∫ 0 θ ma x d θ ∫ 0 2 π d ϕ e ∞ ( θ , ϕ ) exp ( ik ρ sin θ cos ( ϕ − φ )) exp ( ik z cos θ ) sin θ
軸対称入射場の場合、φ積分はベッセル関数J0を用いて明示的に計算できる:
E ( ρ ) = − i f k ∫ 0 θ m a x e ∞ ( θ ) J 0 ( k ρ sin θ ) exp ( i k z cos θ ) sin θ d θ E(\rho) = -ifk \int_0^{\theta_{max}} e_{\infty}(\theta) J_0(k\rho\sin\theta) \exp(ikz\cos\theta) \sin\theta \, d\theta E ( ρ ) = − i f k ∫ 0 θ ma x e ∞ ( θ ) J 0 ( k ρ sin θ ) exp ( ik z cos θ ) sin θ d θ
スカラーモデル :低NA近似、e∞(s) = einc(s)
ベクトルモデル :電場のベクトル性を考慮し、円筒座標から球面座標への基底変換が必要:
e ∞ ( θ , ϕ ) = [複雑な3×2行列変換] ⋅ [ e i n c x , e i n c y ] T e_{\infty}(\theta,\phi) = \text{[複雑な3×2行列変換]} \cdot [e_{inc}^x, e_{inc}^y]^T e ∞ ( θ , ϕ ) = [ 複雑な 3×2 行列変換 ] ⋅ [ e in c x , e in c y ] T
フレネル透射係数qsとqpを含み、界面での偏光依存透射を記述する。
ベクトル球面パラメータ化は以下のように簡略化できる:
E ( ρ ) = − i f k 2 [ I 0 x − I 2 x cos 2 φ − I 2 y sin 2 φ − I 2 x sin 2 φ + I 0 y + I 2 y cos 2 φ − 2 i I 1 x cos φ − 2 i I 1 y sin φ ] E(\rho) = -\frac{ifk}{2} \begin{bmatrix} I_0^x - I_2^x\cos2\varphi - I_2^y\sin2\varphi \\ -I_2^x\sin2\varphi + I_0^y + I_2^y\cos2\varphi \\ -2iI_1^x\cos\varphi - 2iI_1^y\sin\varphi \end{bmatrix} E ( ρ ) = − 2 i f k I 0 x − I 2 x cos 2 φ − I 2 y sin 2 φ − I 2 x sin 2 φ + I 0 y + I 2 y cos 2 φ − 2 i I 1 x cos φ − 2 i I 1 y sin φ
ここでIna(ρ,z)はn次ベッセル関数Jnを含む1次元積分である。
層状介質における屈折率不整合による球面収差を記述する:
W ( s ) = 2 π λ ( t s n s 2 − n i 2 sin 2 θ + t i n i 2 − n i 2 sin 2 θ − t i ∗ n i ∗ 2 − n i 2 sin 2 θ + . . . ) W(s) = \frac{2\pi}{\lambda}\left(t_s\sqrt{n_s^2-n_i^2\sin^2\theta} + t_i\sqrt{n_i^2-n_i^2\sin^2\theta} - t_i^*\sqrt{n_i^{*2}-n_i^2\sin^2\theta} + ...\right) W ( s ) = λ 2 π ( t s n s 2 − n i 2 sin 2 θ + t i n i 2 − n i 2 sin 2 θ − t i ∗ n i ∗ 2 − n i 2 sin 2 θ + ... )
ここでts、tg、tiはそれぞれサンプル、ガラスカバースリップ、浸液媒体の厚さである。
円筒座標から球面座標への変換時のエネルギー保存を確保する:
A ( s ) = cos θ A(s) = \sqrt{\cos\theta} A ( s ) = cos θ
非理想平面波照明を記述する:
A ( s ) = exp ( − sin 2 θ s e n v 2 ) A(s) = \exp\left(-\frac{\sin^2\theta}{s_{env}^2}\right) A ( s ) = exp ( − s e n v 2 s i n 2 θ )
Zernike多項式でパラメータ化:
W ( s ) = ∑ k = 0 K − 1 c k Z k ( s ) + W 0 ( s ) W(s) = \sum_{k=0}^{K-1} c_k Z_k(s) + W_0(s) W ( s ) = ∑ k = 0 K − 1 c k Z k ( s ) + W 0 ( s )
すべての補正係数は統一的に以下のように表現される:
E ( ρ ) = − i f k 2 π ∫ ∫ Ω a ( s ) exp ( i W ( s ) ) e ∞ ( s ) exp ( i k s ⋅ ρ ) d Ω E(\rho) = -\frac{ifk}{2\pi} \int\int_{\Omega} a(s) \exp(iW(s)) e_{\infty}(s) \exp(iks \cdot \rho) d\Omega E ( ρ ) = − 2 π i f k ∫ ∫ Ω a ( s ) exp ( iW ( s )) e ∞ ( s ) exp ( ik s ⋅ ρ ) d Ω
等価性証明 :直交座標と球面座標パラメータ化が同一積分の異なる表現であることを初めて厳密に証明し、領域内に長く存在していた理論的曖昧性を解消した補正係数の汎用化 :従来ベッセル法にのみ適用されていた補正係数(Gibson-Lanni、消光係数など)をフーリエ法に拡張したカスタムFFT実装 :チャープZ変換に基づいて任意ピクセルサイズの2D FFTを実装し、定位顕微鏡における極小ピクセルサイズのサンプリング問題を解決した効率的数値積分 :球面法はSimpson則を用いて4次精度を実現し、torch.vmapによるベクトル化バッチ処理を通じて高速化した微分可能ベッセル関数 :PyTorchネイティブでサポートされていないベッセル関数の自動微分機能を拡張した本研究は主に理論検証とアルゴリズムベンチマークテストを実施し、実データセットは使用していない。テストシナリオは以下を含む:
解析解検証 :Airyディスク(円形開口のフーリエ変換の解析解)を使用パラメータ設定 :波長632nm、NA範囲0.5-1.3、屈折率ns=1.3、ni=1.5、ng=1.5L2誤差 :δ = ||E - FAD||2、ここでFADは解析Airyディスク収束次数 :数値方法の理論的収束速度を分析実行時間 :単一201×201 PSF画像生成時間パラメータスキャン :瞳孔サイズ32~1024ピクセルハードウェアプラットフォーム :Intel i9-10900X CPU、NVIDIA RTX 3090 GPU4種類の伝播器の体系的比較:
ScalarCartesianPropagator :スカラー直交座標法ScalarSphericalPropagator :スカラー球面座標法VectorialCartesianPropagator :ベクトル直交座標法VectorialSphericalPropagator :ベクトル球面座標法プログラミングフレームワーク :PyTorch 2.3以上数値積分 :球面法は複合Simpson則を使用FFT実装 :チャープZ変換ベースのカスタム2D FFT並列化 :PyTorchのネイティブ並列機能とtorch.vmapを活用データ形式 :テンソル形状(z, channel, x, y)、channel=1(スカラー)または3(ベクトル)解析Airyディスクとの比較結果:
球面法(Riemann則) :1次収束率(O(h))球面法(Simpson則) :4次収束率(O(h⁴))直交座標法 :1~2次の間の収束率結論 :Simpson則を用いた球面法が最高精度を有するCPU性能 :
小サイズ(<512ピクセル):直交座標法がより高速 大サイズ(>512ピクセル):球面法がより高速 スカラーとベクトル:スカラーが1.5倍(直交座標)または3倍(球面)高速 GPU性能 :
直交座標法:CPUと比較して適度な加速 球面法:平坦な曲線を示し、GPU並列化から大きな恩恵を受ける スカラーとベクトル:速度差は小さく、特に直交座標法では顕著 重要な発見 :
ベクトルモデルの精度向上は計算オーバーヘッドをはるかに上回る GPU上の球面法の拡張性が最良 中小サイズ画像の場合、ベクトル直交座標法が汎用デフォルト選択肢である NA=0.5 :スカラーとベクトルモデルの結果が類似し、古典的なAiryディスク形態NA=1.3 :ベクトルモデルが明らかな差異を示し、エネルギーが異なる場成分に分散し、環状構造がぼやけるGibson-Lanni補正 :屈折率不整合による球面収差が焦点品質を著しく低下させるドーナツPSF :渦巻き位相マスクが中心がゼロの環状PSFを生成(STED用)三日月PSF :π位相ジャンプが非対称PSFを生成乱視 :Zernike多項式で導入された乱視が異なるz平面で楕円回転を呈示方法選択ガイド :軸対称瞳孔関数→球面法(高精度+GPU拡張性) 非対称歪み/PSF工学→直交座標法(汎用性) デフォルト推奨:ベクトル直交座標法(汎用性+合理的オーバーヘッド) ベクトル効果の重要性 :高NAシステムではベクトルモデルが必須であり、スカラー近似は著しい誤差を生じる補正係数の影響 :Gibson-Lanni球面収差などの補正が正確なモデリングに重要である計算複雑度 :直交座標法:O(n log n)、nは横方向平面サイズ 球面法:O(n)、nは積分ステップ数 古典理論 :Richards-Wolf積分(1959)、Debye積分球面収差モデル :Gibson-Lanniモデル(1991)、Török拡張(1997)ベクトルモデル :Aguet(2009)、Novotny & Hecht(2012)商用ソフトウェア :Huygens PSF(広く使用されているがクローズドソース)Java実装 :著者の以前のPSF Generatorプラグイン(2013)MATLAB実装 :Nasse & Woehl(2010)、Mioraら(2024)Python実装 :PyFocus(2022)、SPITFIR(e)(2023)理論レベル :2つの方法の等価性を初めて証明し、統一フレームワークを確立実装レベル :PyTorchネイティブサポート、深層学習へのシームレス統合性能レベル :初めての体系的ベンチマークテスト、GPU加速が顕著エコシステム :napariプラグイン、chromatix統合、オープンソース採用を促進関連研究はPSFモデルを以下に適用している:
ネットワーク訓練 :DeepSTORM(2020)、DECODE(2021)物理制約学習 :Li等(2022)の撮像プロセス結合自己教師あり学習 :Kobayashiら(2020)のデコンボリューション生成モデル :FluoGAN(2023)の蛍光画像デコンボリューション本論文のPyTorch実装は、これらの応用に効率的で微分可能なPSF生成ツールを提供する。
理論統一 :Richards-Wolf積分から出発し、フーリエ(直交座標)法とベッセル(球面座標)法が同一伝播積分の異なるパラメータ化であることを証明し、長く存在していた理論的曖昧性を解消した方法選択 :軸対称瞳孔:球面法(高精度、GPU拡張性) 非対称歪み:直交座標法(汎用性) 汎用推奨:ベクトル直交座標法(性能と適用性のバランス) 性能優位性 :ベクトルモデルの精度向上は計算オーバーヘッドをはるかに上回り、高NAシステムでは優先的に使用すべきオープンソース貢献 :完全なPyTorchライブラリ、napariプラグイン、chromatix統合を提供し、CPU/GPU計算と自動微分をサポート理論的仮定 :Richards-Wolf積分には適用条件がある(Wolf & Li, 1981で有効性条件を議論) すべての光伝播モデルをカバーしていない(完全なMaxwell方程式求解など) 数値精度 :直交座標法はFFTベースで、球面Simpson法より低い収束率 チャープZ変換は計算オーバーヘッドを増加させる(3倍のFFT呼び出し) 応用範囲 :主に蛍光顕微鏡を対象とし、他の撮像モダリティでは調整が必要 散乱介質などの複雑なサンプル特性を考慮していない 検証の制限 :精度検証は主に解析Airyディスクに基づく 実験測定PSFとの体系的比較が欠けている 深層学習統合 :大規模訓練データセット生成 ニューラルネットワークへの微分可能層としての組み込み エンドツーエンドPSF工学最適化のサポート 応用拡張 :仮想SMLM顕微鏡シミュレーション 単一粒子追跡アルゴリズム開発 適応光学システム設計 性能最適化 :GPU並列戦略のさらなる最適化 混合精度計算の探索 専用ハードウェア加速の開発 モデル拡張 :散乱効果の組み込み 時間領域パルス伝播のサポート 多色PSFモデリング 理論的貢献が顕著 :2つの主流PSFモデリング方法の等価性を初めて厳密に証明し、領域内の空白を埋めた 統一フレームワークにより補正係数の適用がより体系的かつ明確になった 数学的導出が厳密で、Richards-Wolf積分から具体的実装まで論理が明確 実装品質が高い :PyTorchネイティブ実装で自動微分とGPU加速をサポート コード設計が優雅で、4種類の伝播器構造が統一されている カスタムFFTと微分可能ベッセル関数は深い工学能力を示している 実験が包括的 :初めての体系的ベンチマークテストで精度と速度を比較 複数のNA、偏光、歪み条件をカバー 明確な方法選択ガイドを提供 オープンソースエコシステムが充実 :完全なドキュメントと例 napariプラグインで使用敷居を低下させる chromatix統合でクロスプラットフォーム応用を促進 FAIR原則に従い、再現性を強調 文章が明確 :構成が合理的で、背景から理論から実装まで階層が明確 図表が豊富(PSF可視化、ベンチマーク曲線) 技術詳細が充分だが冗長でない 実験検証が限定的 :精度検証は主に解析Airyディスクに依存し、実験PSFとの対比が欠けている 他のソフトウェア(Huygens、PSF Generator Java版)との直接比較がない 実SMLMデータでの応用事例が欠けている 理論的深さが拡張可能 :等価性証明は比較的直感的(座標変換)で、より深い数学的洞察が欠けている 数値安定性と誤差伝播の議論がない Richards-Wolf積分の適用境界についての議論が不足 性能分析が不十分 :メモリ使用量の分析がない 異なるハードウェアプラットフォームの体系的テストが欠けている JAX、TensorFlowなど他フレームワークとの性能比較がない 応用シナリオが単一 :主に蛍光顕微鏡に焦点 他の撮像モダリティ(ホログラフィ、定量位相撮像)への応用を探索していない 実際のPSF工学最適化の完全な事例が欠けている 技術詳細が補充を要する :Simpson積分のステップサイズ選択戦略が詳細に説明されていない FFTサンプリング定理の満足条件の議論が不足 自動微分の数値安定性が検証されていない 学術的価値 :統一フレームワークはPSFモデリングの標準参考資料となる 光学物理と計算撮像の学際研究に理論基礎を提供 超解像顕微鏡領域で広く引用されると予想される 実用的価値 :SMLM、STED、MINFLUXなど先進顕微技術に直接サービス 深層学習の顕微撮像応用の敷居を低下させる napariプラグインで非専門家も高品質PSFを生成可能 再現性 :オープンソースコード、詳細ドキュメント、グラフィカルインターフェースが一体 PyTorchエコシステムの広範性が長期保守性を保証 FAIR原則に従い、科学的透明性を促進 領域推進 :光学における物理情報ニューラルネットワーク(PINN)応用への道を開く 新しいPSF工学最適化アルゴリズムを触発する可能性 オープンソース顕微鏡ソフトウェアエコシステムの発展を促進 直接応用 :単一分子定位顕微鏡(SMLM)のPSFモデリング 3Dデコンボリューション顕微鏡のシステム設計 PSF工学(双螺旋PSF、ドーナツPSF設計など) 研究ツール :深層学習方法の訓練データ生成 仮想顕微鏡シミュレーションプラットフォーム開発 光学システム性能評価 教育用途 :光学撮像コースの可視化ツール 高NA光学効果のデモンストレーション 数値方法比較の教学事例 拡張シナリオ :適応光学の波面センシング 計算光学のエンドツーエンド最適化 マルチモーダル撮像の統合モデリング Richards & Wolf (1959) :元のRichards-Wolf積分、ベクトル回折理論の基礎Gibson & Lanni (1991) :Gibson-Lanni球面収差モデル、層状介質モデリングLeutenegger et al. (2006) :高速焦場計算、直交座標法の最新実装Aguet (2009) :ベクトルPSFモデルの体系的論文(博士論文)Kirshner et al. (2013) :著者の以前のPSF Generator Java版Miora et al. (2024) :最新のPSF計算方法総説とMATLAB実装総合評価 :これは理論と実践が緊密に結合した優秀な論文である。理論上は2つの主流PSFモデリング方法の等価性を初めて証明し、統一フレームワークを確立した。実践上は高品質なPyTorch実装と体系的ベンチマークテストを提供した。論文のオープンソース精神とエコシステム統合(napari、chromatix)は研究コミュニティへの重要な貢献を体現している。主な不足は実験データと既存ソフトウェアとの直接比較が欠けていることである。本研究は計算顕微撮像領域の重要なツールとなり、特に深層学習と物理モデルの結合応用において広大な前景を有する。