We introduce NeuroPINNs, a neuroscience-inspired extension of Physics-Informed Neural Networks (PINNs) that incorporates biologically motivated spiking neuron models to achieve energy-efficient PDE solving. Unlike conventional PINNs, which rely on continuously firing activations and therefore incur high computational and energy costs, NeuroPINNs leverage Variable Spiking Neurons (VSNs) to enable sparse, event-driven communication. This makes them particularly well-suited for deployment on neuromorphic hardware and for scenarios with constrained computational resources, such as embedded and edge devices. A central challenge, however, lies in reconciling the discontinuous dynamics of spiking neurons with the smooth residual-based loss formulation required in PINNs. Direct smoothing introduces systematic biases, leading to inaccurate PDE learning. To overcome this, we employ a novel stochastic projection method inspired from upscaled theory that faithfully captures spiking behavior while maintaining compatibility with gradient-based optimization. Standard surrogate backpropagation is used for parameter updates, ensuring computational tractability. We demonstrate the effectiveness of NeuroPINNs on four representative PDE problems across both regular and irregular domains. Furthermore, application of NeuroPINN for linear elastic micromechnics in three dimensions was also explored. Results show that NeuroPINNs achieve high accuracy while substantially reducing communication and energy demands, marking a step toward scalable, neuromorphic-ready scientific machine learning.
- 論文ID: 2511.06081
- タイトル: NeuroPINNs: Neuroscience Inspired Physics Informed Neural Networks
- 著者: Shailesh Garg, Souvik Chakraborty(インド工科大学デリー校)
- 分類: physics.comp-ph
- 発表日: 2025年11月11日(arXiv プレプリント)
- 論文リンク: https://arxiv.org/abs/2511.06081
本論文は、生物学的動機付けされたスパイキングニューロンモデルを導入することにより、エネルギー効率的な偏微分方程式(PDE)求解を実現するNeuroPINNsを提案する。従来の物理情報ニューラルネットワーク(PINNs)は連続活性化関数に依存しており、高い計算およびエネルギーコストが発生するのに対し、NeuroPINNsは可変スパイキングニューロン(VSN)を利用してスパース事象駆動通信を実現する。これにより、ニューロモルフィックハードウェアへのデプロイメント、および計算リソースが限定されたシナリオ(組み込みおよびエッジデバイスなど)に特に適している。しかし、中核的な課題はスパイキングニューロンの不連続ダイナミクスとPINNsが必要とする滑らかな残差損失関数の調整である。この問題を克服するため、著者らはアップスケーリング理論に着想を得た新規な確率投影法を採用し、勾配最適化との互換性を保ちながらスパイキング挙動を忠実に捉える。実験により、NeuroPINNsは高精度を維持しながら通信およびエネルギー要件を大幅に削減することが示された。
偏微分方程式(PDE)は科学および工学における物理空間のモデリングの中核ツールである。従来の数値手法(有限要素法、有限差分法など)は精密であるが、計算コストが高い。物理情報ニューラルネットワーク(PINNs)は新興の代替案として、PDE の物理法則をニューラルネットワークの学習プロセスに組み込むことで方程式を求解する。しかし、PINNsは深層学習の固有の欠陥を継承している:高エネルギー消費であり、これはエッジコンピューティングおよびリソース制約環境での拡張性を制限する。
- エネルギー危機:深層学習モデルの訓練と推論は大量のエネルギーを必要とし、モバイルデバイス、IoT、組み込みシステムでの応用を制限する
- リアルタイム計算の必要性:多くの科学計算シナリオでは、高速で低消費電力のPDE求解器が必要である
- ニューロモルフィックハードウェアの台頭:新型ニューロモルフィックチップ(Loihi 2など)は事象駆動型の低消費電力計算プラットフォームを提供するが、適応可能なアルゴリズムが必要である
- 従来のPINNs:連続活性化関数を使用し、すべてのニューロンが継続的に活性化され、高エネルギー消費をもたらす
- 変換戦略のスパイキングPINNs(CPINNs):従来のニューラルネットワークを訓練してからスパイキングネットワークに変換し、競争力のあるパフォーマンスを達成するために長いスパイク列が必要であり、変換プロセスが近似誤差を導入する
- Leaky Integrate-and-Fire (LIF)ニューロン:分類タスクでは良好に機能するが、回帰タスク(PDE求解の中核)ではパフォーマンスが低い
- 既存のスパイキングPINNs変種:残差損失計算における不連続性の問題を効果的に解決できていない
生物ニューロンのエネルギー効率に着想を得て、著者らはスパイキングニューラルネットワークをPINNsフレームワークに導入し、スパース事象駆動通信メカニズムを通じてエネルギー消費を削減しながら求解精度を維持することを提案する。
- NeuroPINNsフレームワークの提案:可変スパイキングニューロン(VSN)をPINNsアーキテクチャにネイティブに統合し、エネルギー効率的なPDE求解を実現する初の試み
- 革新的な勾配計算戦略:
- PDE残差損失に必要な勾配を計算するための確率投影(SP)法を採用し、体系的バイアスの導入を回避
- パラメータ更新のための代理勾配逆伝播を使用し、計算可行性を確保
- 回帰タスク用VSN:二値でない段階的スパイク(graded spikes)を使用するVSNでLIFニューロンを置き換え、回帰タスクで優れたパフォーマンスを実現
- ネイティブ訓練パラダイム:変換プロセスなしでスパイク領域で直接訓練し、近似誤差を回避し、より短いスパイク列を必要とする
- 包括的な実験検証:4つの代表的なPDE問題(規則および不規則領域を含む)および3次元線弾性微視力学応用で有効性を検証
- エネルギー消費分析:スパイク活動が100%未満の場合、理論および実験により顕著なエネルギー節約(シナプス操作エネルギー消費の約50~70%)が可能であることを実証
一般形式の偏微分方程式を求解する:
N(x,t,u,∂tu,∂t2u,…,∂xu,∂tnu,…,∂xnu;αN)=0ここで:
- u:求解対象の場変数、空間領域Ωおよび時間区間(0,T]で定義
- N:非線形微分作用素(パラメータαNでパラメータ化)
- B:境界作用素(パラメータαBでパラメータ化)
- 初期条件:u(x,0)=fi(x)
- 境界条件:B(u(x,t);αB)=fb(x,t)
NeuroPINNは深層ニューラルネットワークを使用して場変数を近似する:
u≈U(x,t;w)ここでwは訓練可能なパラメータである。
VSNのダイナミクスは以下のように定義される:
Mtˉ=βlMtˉ−1+ztˉy~={1,0,Mtˉ≥ThMtˉ<Thif y~=1,Mtˉ←0ytˉ=σ(y~⋅ztˉ),given σ(0)=0主要特性:
- Mtˉ:累積膜電位
- Th:閾値(訓練可能)
- βl:漏洩係数(訓練可能)
- σ(⋅):連続活性化関数
- 段階的スパイク(二値でない)を生成し、スパース通信と連続活性化の利点を兼ね備える
総損失は3つの部分から構成される:
LPDE=∥N(U(⋅;w);αN)∥Ω×(0,T]2LBC=∥B(U(⋅;w);αB)−fb(⋅)∥∂Ω×(0,T]2LIC=∥U(⋅;w)−fi(⋅)∥Ω2LTotal=λPDELPDE+λBCLBC+λICLIC中核的課題:VSNの不連続ダイナミクスにより直接勾配計算が不可能である。損失計算に代理勾配を使用するとPDE求解が歪む。
解決策:アップスケーリング理論に着想を得た確率投影法を採用する:
理論的基礎:
- 点z=xにおける場変数の測定を以下のように表現する:
u(z)=u(x)+Δη
ここでΔηはゼロ平均ノイズであり、微視スケール変動を表す
- ベイズフィルタリングとKallianpur-Striebel公式を通じて、勾配の非局所推定を得る:
G(X=Xˉ)=∂X∂u=Nt1∑i=1Nt(Xi−Xˉ)(Xi−Xˉ)TNt1∑i=1Nt(u−uˉ)(Xi−Xˉ)T実際の計算:
配点xpにおいて、その近傍点{xi(n)}i=1Ntを使用して勾配を計算する:
G(x=xp)=∂x∂U(xp,w)=∑i=1Nt(xi(n)−xp)(xi(n)−xp)T∑i=1Nt(U(xi(n),w)−U(xp,w))(xi(n)−xp)T利点:
- 逆伝播に依存しない
- ネットワーク挙動の完全性を維持
- スパイキングダイナミクスを忠実に捉える
- SP法:残差損失内のPDE勾配(∂u/∂xなど)を計算するために使用
- 代理勾配逆伝播:パラメータ更新のための損失に対する勾配(∂L/∂w)を計算するために使用
この分離により、物理的正確性と計算可行性のバランスが確保される。
SpiNNaker2に基づくエネルギー推定により、シナプス操作のエネルギー消費は:
従来のANN(100%活性化):
EANN=12E⋅n1⋅n2
VSN層:
EVSN−Syn=12E⋅n1⋅n2⋅Navg_spikes
ここでEは単一加算操作のエネルギーである。平均スパイク数Navg_spikes<1の場合、エネルギー節約が実現される。
アルゴリズム1:
- 配点、境界点、初期点をサンプリング
- ネットワーク予測を取得
- SP法(式13)を使用して1階および高階導関数を計算
- 総損失LTotalを計算
- 代理勾配逆伝播を使用して∂L/∂wを計算
- Adam最適化器を使用してパラメータを更新
- E-I: Burgers方程式(1次元時間依存)
- 領域:x∈[0,1],t∈(0,1]
- 初期条件:u(x,0)=sin(πx/l)
- 境界条件:u(0,t)=u(1,t)=0
- 配点:2601個、境界+初期点:400個
- テストグリッド:201×201
- E-II: 熱伝導方程式(1次元時間依存)
- 領域:x∈[0,1],t∈(0,1]
- ソース項:100sin(πx/l)
- 配点:2601個、境界+初期点:400個
- E-III: Poisson方程式(L字領域)
- 領域:x,y∈[−1,1](L字不規則領域)
- 配点:1935個、境界点:600個
- E-IV: Poisson方程式(星型領域)
- 領域:x,y∈[−1.5,1.5](星型不規則領域)
- 解析解:u(x,y)=exp(−(2x2+4y2))+0.5
- 配点:4595個、境界点:600個
- 合成多結晶微構造:
- 立方領域Ω⊂R3、ボクセル解像度:323
- Voronoi分割により約15個の結晶粒を生成
- 各結晶粒はランダムな結晶方位(SO(3)上の均一分布)
- 材料:四方晶TiAl
- 訓練セット:5000個の独立した微構造実装
- ネットワークアーキテクチャ:3次元残差畳み込みニューラルネットワーク(ResNet)
相対L2誤差(パーセンテージ):
Error=∥utrue∥2∥utrue−upred∥2×100%3次元応用:平均相対誤差(mean relative error)
エネルギー指標:
- スパイク活動パーセンテージ(Spiking Activity)
- エネルギー比Er(実際のエネルギー消費/100%活性化エネルギー消費)
- SP-PINN:SP法を使用した従来のPINN(ベースライン)
- SB-NeuroPINN:損失計算に代理勾配を使用するNeuroPINN
- CPINN:変換戦略のスパイキングPINN(256個のスパイク時間ステップを使用)
- ネットワーク構成(E-I, E-II):5層、2-40-80-40-1、活性化関数:tanh
- ネットワーク構成(E-III):5層、2-40-80-40-1、活性化関数:ELU
- ネットワーク構成(E-IV):5層、2-40-120-40-1、活性化関数:tanh
- VSN構成:最初の2つの活性化層をVSN層に置き換え
- 最適化器:Adam
- スパイク時間ステップ(STS):デフォルト1個(NeuroPINN)、256個(CPINN)
- 入力符号化:直接入力(速度または時間符号化不要)
| モデル | E-I (Burgers) | E-II (Heat) | E-III (L-shape) | E-IV (Star) |
|---|
| SP-PINN | 0.25 | 0.46 | 3.67 | 0.26 |
| NeuroPINN | 1.04 | 1.27 | 2.70 | 0.34 |
| SB-NeuroPINN | 6.70 | 1.96 | DNC* | 0.87 |
| CPINN | 11.87 | 13.75 | DNC* | 13.06 |
*DNC = Did Not Converge(収束しなかった)
主要な発見:
- NeuroPINN vs SP-PINN:誤差が接近している(E-I: 1.04% vs 0.25%)、E-IIIではSP-PINNを上回る(2.70% vs 3.67%)
- NeuroPINN vs SB-NeuroPINN:損失計算に代理勾配を使用するバージョンを大幅に上回り、SP法の必要性を検証
- NeuroPINN vs CPINN:変換戦略を大幅に上回る(E-I: 1.04% vs 11.87%)、CPINNは不規則領域で収束しない
- 不規則領域での性能:NeuroPINNはL字および星型領域の両方で正常に収束し、堅牢性を示す
各例における2つのVSN層のスパイク活動:
| 例 | Layer L1 | Layer L2 | エネルギー比Er |
|---|
| E-I | ~60% | ~55% | 0.58 |
| E-II | ~70% | ~45% | 0.52 |
| E-III | ~45% | ~35% | 0.42 |
| E-IV | ~35% | ~25% | 0.29 |
結論:
- すべての例においてスパイク活動は100%を大幅に下回る
- E-IVは約70%のエネルギー節約(シナプス操作)を実現
- ニューロモルフィックハードウェアへの実際のデプロイメント時にはさらに顕著な節約が期待される
| 例 | 誤差(%) | SA-L1累計 | SA-L2累計 |
|---|
| E-I | 0.49 | 0.50 | 0.72 |
| E-II | 1.06 | 0.70 | 0.55 |
| E-III | 2.67 | 0.38 | 0.27 |
| E-IV | 0.22 | 0.35 | 0.14 |
発見:
- 2つのSTSを使用することで誤差がさらに低下(E-I: 1.04%→0.49%)
- 累積スパイク活動は依然として100%を大幅に下回る
- 複数STSは精度と効率のバランスを保ちながら精度を向上させることができることを実証
| モデル | 平均相対誤差(%) | スパイク活動 |
|---|
| 従来のアーキテクチャ | 1.68 | - |
| NeuroPINN | 3.43 | <21%(10/12層) |
観察:
- NeuroPINNは複雑な3次元問題で合理的な精度を維持
- 12個のスパイク層中10個のスパイク活動が<21%
- 実際の科学計算での応用可能性を示す
SB-NeuroPINNとNeuroPINNの比較(表2)を通じて:
- E-Iでは、SB-NeuroPINNの誤差が6.70%に増加(NeuroPINN: 1.04%)
- E-IIIでは、SB-NeuroPINNは収束しない
- 結論:SP法は物理的正確性の維持に不可欠である
CPINN比較を通じて:
- CPINNは256個のSTS、NeuroPINNはわずか1~2個のSTS
- CPINNは不規則領域で失敗
- 結論:ネイティブ訓練はより効率的で堅牢である
図2~5は各手法の予測と絶対誤差を示す:
- NeuroPINN予測:真値と高度に一致、誤差分布が均一
- SB-NeuroPINN:複雑な領域で明らかな偏差が発生
- CPINN:誤差が大幅に大きく、空間分布が不均一
- オリジナルPINNs Raissi et al., 2019:物理法則を損失関数に組み込む
- 応用分野:熱伝達Cai et al., 2021、電力システムHuang & Wang, 2022、軟組織モデリングLiu et al., 2020、流体力学Cai et al., 2021
- LIFニューロン:分類タスクで良好に機能するが、回帰性能は限定的
- VSN Garg & Chakraborty, 2023-2025:段階的スパイク、回帰タスクに適している
- エネルギー効率研究:Davidson & Furber, 2021; Dampfhoffer et al., 2022
- Tandale & Stoffel, 2024:LIFおよび再帰的LIFを使用するが、残差損失計算の問題を解決していない
- Theilman et al., 2024 (CPINN):変換戦略、長いスパイク列と近似仮定が必要
- 本論文の利点:ネイティブ訓練+SP法、近似誤差なし
- 確率投影法 Nowruzpour et al., 2019; Navaneeth & Chakraborty, 2023:アップスケーリング理論の導関数フリー法
- 代理勾配学習:SNN訓練で広く使用されるが、物理情報を歪める
- 有効性の検証:NeuroPINNsは4つのPDEベンチマークおよび3次元実際の応用において良好に機能し、精度は従来のPINNsに近い
- エネルギー効率:スパース脈動通信を通じて約50~70%のシナプス操作エネルギー節約を実現
- 手法の優越性:
- 損失計算に代理勾配を使用するSB-NeuroPINNを上回る
- 変換戦略のCPINNを大幅に上回る
- 不規則領域での堅牢性を示す
- 複数STS利得:複数のスパイク時間ステップを使用することで精度をさらに向上させることができ、エネルギー効率を保ちながら
- ネイティブ訓練の利点:スパイク領域での直接訓練は変換戦略より信頼性が高い
- 精度の若干の低下:従来のSP-PINNと比較して、NeuroPINNsの誤差は若干高い(ただし差は小さい)
- 3次元応用の精度:複雑な3次元問題では、誤差が1.68%から3.43%に増加
- VSNエネルギー消費:段階的スパイクのエネルギー効率は二値LIFニューロンより低い(ただし従来のニューロンより優れている)
- 近傍点の必要性:SP法は勾配計算のための追加の近傍点を必要とし、サンプリング複雑度を増加させる
- 訓練アルゴリズム:パラメータ更新に代理勾配に依存しており、将来的にはSNNに適した訓練法の探索が可能
- ハードウェア検証の欠如:実際のニューロモルフィックハードウェア(Loihi 2など)でのテストが行われていない
- 訓練アルゴリズムの改善:代理勾配を完全に不要にする訓練法の開発
- ハードウェアデプロイメント:Loihi 2などのニューロモルフィックチップでの実装とテスト
- 応用の拡張:より複雑なPDEシステム(Navier-Stokes方程式など)の探索
- 適応的STS:精度と効率のバランスを取るためのスパイク時間ステップ数の動的調整
- 理論分析:収束性と誤差界の理論的保証の提供
- 初のネイティブ統合:VSNをPINNsにネイティブに統合する初の研究
- 巧妙な二重勾配戦略:SP法が物理的正確性を保証し、代理勾配が訓練可能性を保証
- 堅実な理論的基礎:SP法はアップスケーリング理論に由来し、数学的基礎が堅実
- 多様なテスト:時間依存、定常状態、規則領域、不規則領域を網羅
- 包括的な比較:複数のベースライン手法との比較、アブレーション実験を含む
- エネルギー分析:詳細なスパイク活動とエネルギー推定を提供
- 実際の応用:3次元微視力学ケースが実用価値を示す
- 一貫した優位性:すべてのテストでCPINNを上回る
- 堅牢性:不規則領域での成功(競争手法は失敗)
- 定量的なエネルギー節約:具体的なエネルギー比データを提供
- 視覚化:図2~5は結果を直感的に示す
- 構造の明確性:方法、実験、分析の論理が連貫
- 数学的厳密性:式の導出が詳細、記号定義が明確
- 可視化の質:グラフが直感的に結果を示す
- 精度の犠牲:エネルギー効率のために若干の精度を犠牲にしている(ただし小さい)
- 近傍依存性:SP法は追加の近傍点を必要とし、配点サンプリング複雑度を増加させる
- VSN選択の正当性:他の新型スパイキングニューロンと比較してVSNが優れている理由が十分に論証されていない
- ハードウェア検証の欠如:エネルギー節約は理論推定のみ、実際のニューロモルフィックハードウェアでのテストなし
- 超パラメータ感度分析:VSN閾値、漏洩係数などの超パラメータに対する感度分析がない
- スケーラビリティ:より大規模または高次元の問題でのテストがない
- CPINN調整不足:著者らはCPINNがより良い校正により性能向上の可能性があることを認めている
- 収束性分析:理論的収束保証がない
- 誤差源:誤差増加の具体的な原因の深い分析がない
- SP法オーバーヘッド:SP法の追加計算コストが定量化されていない
- LIF比較:LIFが失敗することは言及されているが、詳細な結果が示されていない
- コード非公開:論文でコードリンクが提供されていない
- 実装詳細:学習率スケジューリング、早期停止戦略などの訓練詳細が不明確
- ランダム性制御:ランダムシード設定について記載がない
- 開拓的研究:エネルギー効率的な科学機械学習の新方向を開く
- 方法論的貢献:SP法とスパイキングニューラルネットワークの組み合わせは普遍的適用性がある
- 橋渡し役:ニューロモルフィック計算と科学計算の2つの分野を結ぶ
- エッジコンピューティング:モバイルデバイスとIoTシナリオに適している
- リアルタイム応用:低遅延の事象駆動計算
- 持続可能なAI:エネルギー消費削減は緑色AI傾向に合致
- 後続研究の刺激:より多くのスパイキングPINNs変種を引き起こす可能性
- ハードウェア推進:ニューロモルフィックハードウェアに実際の応用シナリオを提供
- 学際的融合:神経科学と計算物理学の交差を促進
- リソース制約環境:組み込みシステム、エッジデバイス、モバイルプラットフォーム
- リアルタイムPDE求解:高速応答が必要な制御システム
- 大規模並列計算:ニューロモルフィックチップアレイへのデプロイメント
- 中程度の精度要件:1~3%の誤差を許容できる応用
- 極高精度要件:航空宇宙などの重要計算
- 従来ハードウェア充足:十分なGPU/CPUリソースがある場合、従来のPINNsがより単純
- 超大規模問題:スケーラビリティがまだ十分に検証されていない
- 非回帰タスク:手法はPDE求解専用に設計されている
- 二重勾配分離:物理勾配計算とパラメータ勾配計算を分離し、正確性と訓練可能性の両立
- 段階的スパイク機構:VSNの非二値出力はスパース性と表現能力のバランスを取る
- 変換なし訓練:変換戦略の近似誤差と長いスパイク列の必要性を回避
- 理論的支援:SP法は確率微分方程式理論の堅実な基礎を持つ
- Raissi et al., 2019: Physics-informed neural networks(オリジナルPINNs論文)
- Garg & Chakraborty, 2023: Variable spiking neurons for regression(VSN提案)
- Nowruzpour et al., 2019: Derivative-free upscaled theory(SP法理論的基礎)
- Navaneeth & Chakraborty, 2023: Stochastic projection for PINNs(SP-PINN)
- Theilman et al., 2024: Spiking PINNs on Loihi 2(CPINN)
- Davidson & Furber, 2021: Energy comparison of ANNs and SNNs(エネルギー分析)
これは革新性が強く、実験が堅実な研究であり、スパイキングニューラルネットワークを物理情報ニューラルネットワーク分野に成功裏に導入している。中核的貢献はネイティブ訓練パラダイムと二重勾配計算戦略の提案にあり、スパイキングニューロンの不連続性とPDE求解の平滑性要件の矛盾を効果的に解決している。実験結果は、合理的な精度を維持しながら顕著なエネルギー節約を実現する可能性を示している。
主な強みは方法論の厳密性と実験の包括性であり、特に不規則領域での堅牢性の表現が優れている。主な不足は実際のハードウェア検証と理論的収束分析の欠如である。全体的には、これはエネルギー効率的な科学計算の発展を推進する可能性のある重要な研究であり、ニューロモルフィック計算の科学分野への応用に対して有力な実証を提供している。将来の研究ではハードウェアデプロイメントとスケーラビリティ検証に重点を置くことを推奨する。