2025-11-13T10:34:10.524110

Accelerating Molecular Dynamics Simulations with Foundation Neural Network Models using Multiple Time-Step and Distillation

Cattin, Plé, Adjoua et al.
We present a strategy to accelerate molecular dynamics simulations using foundation neural network models. To do so, we apply a dual-level neural network multi-time-step (MTS) strategy where the target accurate potential is coupled to a simpler but faster model obtained via a distillation process. Thus, the 3.5 Å-cutoff distilled model is sufficient to capture the fast varying forces, i.e. mainly bonded interactions, from the accurate potential allowing its use in a reversible reference system propagator algorithms (RESPA)-like formalism. The approach conserves accuracy, preserving both static and dynamical properties, while enabling to evaluate the costly model only every 3 to 6 fs depending on the system. Consequently, large simulation speedups over standard 1 fs integration are observed: 4-fold in homogeneous systems and 2.7-fold in large solvated proteins. Such a strategy is applicable to any neural network potential and reduces their performance gap with classical force fields.
academic

Accélération des Simulations de Dynamique Moléculaire avec des Modèles de Réseaux de Neurones Fondamentaux utilisant des Pas de Temps Multiples et la Distillation

Informations Fondamentales

  • ID de l'article: 2510.06562
  • Titre: Accelerating Molecular Dynamics Simulations with Foundation Neural Network Models using Multiple Time-Step and Distillation
  • Auteurs: Côme Cattin, Thomas Plé, Olivier Adjoua, Nicoläı Gouraud, Louis Lagardère, Jean-Philip Piquemal
  • Classification: physics.chem-ph
  • Date de publication: 14 octobre 2025 (arXiv v2)
  • Lien de l'article: https://arxiv.org/abs/2510.06562

Résumé

Cet article propose une stratégie d'accélération des simulations de dynamique moléculaire utilisant des modèles de réseaux de neurones fondamentaux. La méthode emploie une stratégie à pas de temps multiples (MTS) à deux niveaux de réseaux de neurones, couplant le potentiel énergétique cible précis avec un modèle plus simple mais plus rapide obtenu par distillation. Le modèle distillé avec une coupure de 3,5 Å est suffisant pour capturer les forces variant rapidement dans le potentiel précis (principalement les interactions de liaison), permettant son utilisation dans un schéma similaire à l'algorithme de propagation en système de référence réversible (RESPA). La méthode préserve la précision, conservant les propriétés statiques et dynamiques, tout en ne nécessitant d'évaluer le modèle coûteux que tous les 3 à 6 fs selon le système. Par conséquent, une accélération significative des simulations a été observée par rapport à l'intégration standard à 1 fs : 4 fois dans les systèmes homogènes, 2,7 fois dans les grandes protéines solvatées.

Contexte et Motivation de la Recherche

Définition du Problème

Bien que les potentiels énergétiques basés sur les réseaux de neurones (NNPs) offrent une précision proche de la mécanique quantique, leur coût computationnel est significativement plus élevé que celui des potentiels empiriques traditionnels, ce qui limite leur application aux grands systèmes et aux simulations sur de longues échelles de temps. Les principaux goulots d'étranglement sont :

  1. Exigences d'intégration temporelle pour les mouvements haute fréquence : la dynamique moléculaire doit utiliser des petits pas de temps (0,5-1 fs) pour résoudre les mouvements haute fréquence tels que les vibrations de liaison
  2. Évaluations de forces coûteuses : l'intensité computationnelle des modèles d'apprentissage automatique entraîne de nombreuses évaluations de forces onéreuses
  3. Écart de performance avec les champs de force classiques : le coût computationnel des NNPs entrave leur adoption généralisée

Motivation de la Recherche

Les intégrateurs à pas de temps multiples (MTS) se sont avérés efficaces dans les simulations moléculaires classiques, mais n'ont pas encore été adaptés au domaine des potentiels d'apprentissage automatique. Cette recherche vise à :

  • Développer le premier schéma MTS basé sur RESPA applicable aux potentiels d'apprentissage automatique
  • Mettre en œuvre un schéma MTS efficace utilisant plusieurs réseaux de neurones de complexité et de coût d'inférence différents
  • Réduire l'écart de performance entre les NNPs et les champs de force classiques

Contributions Principales

  1. Première implémentation d'un schéma MTS pour les potentiels d'apprentissage automatique : proposition du premier schéma d'intégration à pas de temps multiples basé sur RESPA pour les potentiels d'apprentissage automatique
  2. Stratégie de distillation de connaissances : développement de deux stratégies de distillation (modèles spécifiques au système et modèles universels) pour créer des modèles rapides à courte portée
  3. Accélération computationnelle significative : réalisation d'une accélération de 4 fois (systèmes homogènes) et 2,7 fois (complexes protéine-ligand) tout en maintenant la précision
  4. Applicabilité générale : la stratégie s'applique à tout potentiel énergétique basé sur les réseaux de neurones, avec une universalité
  5. Implémentation et validation complètes : implémentation dans la bibliothèque FeNNol et le package Tinker-HP, validée sur plusieurs systèmes

Détails de la Méthode

Définition de la Tâche

La tâche de cette recherche consiste à concevoir un schéma d'intégration à pas de temps multiples utilisant deux potentiels énergétiques de réseaux de neurones de complexité différente :

  • Entrées : coordonnées et vitesses du système moléculaire
  • Sorties : trajectoire MD accélérée, maintenant la même précision que le schéma à pas de temps unique
  • Contraintes : préserver la précision des propriétés statiques et dynamiques

Architecture du Modèle

Conception de Réseaux de Neurones à Deux Niveaux

  1. Modèle de référence : FeNNix-Bio1(M) - basé sur une architecture Transformer équivariante à séparation de portée
    • Champ réceptif : 11 Å (deux passages de messages)
    • Inclut des têtes d'attention à courte et longue portée
    • Haute précision mais computationnellement coûteux
  2. Modèle rapide : modèle léger distillé
    • Champ réceptif : 3,5 Å (un passage de messages)
    • Suppression des têtes d'attention à longue portée
    • Concentration sur les forces "de liaison" variant rapidement
    • Amélioration de la vitesse d'inférence d'environ 10 fois

Schéma d'Intégration BAOAB-RESPA

L'algorithme procède comme suit :

Algorithme 1 : Étape d'Intégration MTS avec Séparation de Forces FENNIX
1: si première étape alors
2:   Fsmall ← FENNIXsmall(x)
3:   F ← FENNIXlarge(x)
4: fin si
5: v ← v + Δt/(2m) · (F - Fsmall)
6: pour i = 1 à nslow faire
7:   v ← v + Δt/(2m·nslow) · Fsmall
8:   x ← x + Δt/(2·nslow) · v
9:   v ← thermo(v, Δt/nslow)  # Appliquer le thermostat
10:  x ← x + Δt/(2·nslow) · v
11:  Fsmall ← FENNIXsmall(x)
12:  v ← v + Δt/(2m·nslow) · Fsmall
13: fin pour
14: F ← FENNIXlarge(x)
15: v ← v + Δt/(2m) · (F - Fsmall)

Points d'Innovation Technique

Stratégie de Distillation de Connaissances

  1. Modèles spécifiques au système :
    • Génération d'ensembles de données de référence via simulations MD courtes
    • Utilisation d'une stratégie de fragmentation pour réduire la charge computationnelle des grands systèmes
    • Entraînement sur les données annotées par le modèle de référence
  2. Modèles universels :
    • Entraînement sur un sous-ensemble du dataset SPICE2
    • Réutilisable entre systèmes
    • Peut servir de point d'initialisation pour un affinage ultérieur

Mécanisme de Décomposition des Forces

  • Utilisation du modèle rapide pour capturer les interactions de liaison haute fréquence
  • Le modèle de référence fournit des corrections périodiques
  • Mise à jour efficace via la différence de forces (F - Fsmall)

Configuration Expérimentale

Systèmes Testés

  1. Eau en masse : boîte d'eau de 648 atomes, pour les tests de stabilité
  2. Petites molécules solvatées : éthanol, benzène, triméthylamine, diéthyl sulfure, acide acétique
  3. Complexes protéine-ligand : complexe lysozyme-phénol (ID PDB : 4I7L)

Métriques d'Évaluation

  • Propriétés dynamiques : coefficient de diffusion, spectres d'autocorrélation des vitesses
  • Propriétés thermodynamiques : fonction de distribution radiale, température, énergie potentielle
  • Énergie libre : énergie libre d'hydratation (HFE)
  • Propriétés structurales : RMSD de la chaîne principale de la protéine, mode de liaison du ligand

Détails d'Implémentation

  • Pas de temps interne : 1 fs (standard) ou 1,75 fs (systèmes protéiques)
  • Pas de temps externe : 2-6 fs, selon le système et l'utilisation ou non de la redistribution de masse d'hydrogène (HMR)
  • Thermostat : intégrateur BAOAB Langevin
  • Coupure de force : 150 kcal/mol/Å (pour améliorer la stabilité)

Résultats Expérimentaux

Résultats Principaux

Système d'Eau en Masse

  • Stabilité : stable avec des pas de temps externes de 2-3 fs, HMR extensible à 5-6 fs
  • Propriétés dynamiques : coefficient de diffusion maintenu de 2,1-2,6×10⁻⁵ cm²/s par rapport à 2,2×10⁻⁵ cm²/s pour STS
  • Propriétés structurales : fonction de distribution radiale en accord avec les résultats STS dans la marge d'erreur statistique
  • Ratio d'accélération : accélération 4 fois

Petites Molécules Solvatées

Résultats du calcul d'énergie libre d'hydratation :

  • Modèle spécifique au système : MAE = 0,091 kcal/mol, RMSE = 0,124 kcal/mol, R² = 0,996
  • Modèle universel : MAE = 0,103 kcal/mol, RMSE = 0,138 kcal/mol, R² = 0,995

Complexes Protéine-Ligand

  • Stabilité : simulation stable de 20 ns avec un pas de temps externe de 3,5 fs
  • Conservation de la structure : RMSD de la chaîne principale de la protéine < 2 Å, mode de liaison du ligand stable
  • Ratio d'accélération : accélération 2,7 fois
  • Performance : environ 7 ns/jour sur un GPU A100 unique

Études d'Ablation

Dépendance au Pas de Temps

L'analyse par spectres d'autocorrélation des vitesses révèle :

  • Les artefacts d'intégration MTS couplés aux harmoniques du mode d'étirement O-H
  • HMR réduit la fréquence de 7500 cm⁻¹ à 4000 cm⁻¹, permettant des pas de temps plus grands

Comparaison de Modèles

  • Les modèles spécifiques au système sont plus stables que les modèles universels
  • Les modèles universels nécessitent une réduction du pas de temps à 3 fs pour certains systèmes (comme le benzène)

Analyse de Stabilité

L'analyse de la distribution des différences de forces révèle :

  • La plupart des différences de forces proches de 0 kcal/mol/Å
  • Distribution à queue longue commençant à 150 kcal/mol/Å, correspondant aux "trous" de la surface d'énergie potentielle
  • La stratégie de coupure de force améliore efficacement la stabilité

Travaux Connexes

Méthodes à Pas de Temps Multiples

  • MTS classique : application réussie de l'algorithme RESPA aux champs de force classiques
  • Décomposition physique : les méthodes traditionnelles basées sur la décomposition naturelle des interactions physiques
  • Défis des potentiels d'apprentissage automatique : absence de décomposition naturelle des forces, nécessitant de nouvelles stratégies

Potentiels Énergétiques de Réseaux de Neurones

  • Évolution : de Behler-Parrinello aux modèles fondamentaux modernes
  • Défis computationnels : augmentation du coût computationnel accompagnant l'amélioration de la précision
  • Stratégies d'accélération : ce travail applique pour la première fois MTS aux NNPs

Conclusions et Discussion

Conclusions Principales

  1. Implémentation réussie du premier schéma MTS pour les potentiels d'apprentissage automatique
  2. Réalisation d'une accélération significative tout en maintenant la précision (4 fois et 2,7 fois)
  3. La méthode est universelle, applicable à tout potentiel énergétique basé sur les réseaux de neurones
  4. Ouverture d'une nouvelle voie pour les simulations MD haute précision à grande échelle et sur de longues durées

Limitations

  1. Limitations du pas de temps : limité par les effets de résonance, le pas de temps externe maximal étant d'environ 6 fs
  2. Trous de la surface d'énergie potentielle : l'imperfection du modèle distillé entraîne une instabilité occasionnelle
  3. Dépendance au système : les systèmes complexes nécessitent des paramètres de pas de temps plus conservateurs
  4. Optimisation du code : l'efficacité de la méthode à deux niveaux peut encore être améliorée

Directions Futures

  1. Pas de temps aléatoires : exploration de variantes stochastiques de RESPA telles que l'intégrateur JUMP
  2. Apprentissage actif : utilisation de stratégies d'apprentissage actif basées sur des fragments pour améliorer le petit modèle
  3. Pas de temps plus grands : réalisation de pas de temps plus grands en comblant les trous de la surface d'énergie potentielle
  4. Optimisation du code : optimisation supplémentaire de l'efficacité computationnelle de la méthode à deux niveaux

Évaluation Approfondie

Avantages

  1. Innovation forte : première application réussie de la méthode MTS au domaine des potentiels d'apprentissage automatique
  2. Valeur pratique élevée : le ratio d'accélération significatif rend possible les simulations longue durée haute précision
  3. Méthode complète : fourniture d'une implémentation complète et validation sur plusieurs systèmes
  4. Fondations théoriques solides : basée sur la théorie RESPA mature, combinée à la distillation de connaissances
  5. Bonne universalité : applicable à tout potentiel énergétique basé sur les réseaux de neurones

Insuffisances

  1. Problèmes de stabilité : instabilité occasionnelle persistant dans les systèmes complexes
  2. Limitation du pas de temps : les pas de temps disponibles restent plus petits que pour les champs de force classiques
  3. Surcharge d'entraînement du modèle : les modèles spécifiques au système nécessitent un temps d'entraînement supplémentaire
  4. Analyse théorique insuffisante : manque d'analyse rigoureuse de la convergence et de la propagation des erreurs

Impact

  1. Valeur académique : fourniture d'une voie technologique importante pour la praticabilité des potentiels d'apprentissage automatique
  2. Perspectives d'application : réalisation de simulations véritablement à grande échelle en combinaison avec des méthodes d'échantillonnage
  3. Signification en ingénierie : réduction de l'écart de performance entre les NNPs et les champs de force classiques
  4. Reproductibilité : fourniture d'une implémentation open-source complète

Scénarios d'Application

  1. Conception de médicaments : simulations longue durée des interactions protéine-ligand
  2. Science des matériaux : prédiction précise des propriétés de matériaux à grande échelle
  3. Biochimie : étude de processus biologiques complexes tels que la catalyse enzymatique
  4. Réactions chimiques : recherche cinétique nécessitant une précision de mécanique quantique

Références

Cet article cite 49 références importantes couvrant les domaines clés des potentiels énergétiques de réseaux de neurones, des méthodes à pas de temps multiples, de la distillation de connaissances et d'autres travaux classiques et récents, fournissant une base théorique solide pour la recherche.

Évaluation Globale : Il s'agit d'un article de recherche de haute qualité qui introduit avec succès les méthodes à pas de temps multiples dans le domaine des potentiels d'apprentissage automatique, fournissant une solution innovante et pratique pour résoudre le problème d'efficacité computationnelle des NNPs. Bien que présentant certaines limitations techniques, ses contributions pionnières et sa valeur pratique significative en font un progrès important dans ce domaine.