2025-11-18T16:04:13.800952

FRIREN: Beyond Trajectories -- A Spectral Lens on Time

Wang
Long-term time-series forecasting (LTSF) models are often presented as general-purpose solutions that can be applied across domains, implicitly assuming that all data is pointwise predictable. Using chaotic systems such as Lorenz-63 as a case study, we argue that geometric structure - not pointwise prediction - is the right abstraction for a dynamic-agnostic foundational model. Minimizing the Wasserstein-2 distance (W2), which captures geometric changes, and providing a spectral view of dynamics are essential for long-horizon forecasting. Our model, FRIREN (Flow-inspired Representations via Interpretable Eigen-networks), implements an augmented normalizing-flow block that embeds data into a normally distributed latent representation. It then generates a W2-efficient optimal path that can be decomposed into rotation, scaling, inverse rotation, and translation. This architecture yields locally generated, geometry-preserving predictions that are independent of the underlying dynamics, and a global spectral representation that functions as a finite Koopman operator with a small modification. This enables practitioners to identify which modes grow, decay, or oscillate, both locally and system-wide. FRIREN achieves an MSE of 11.4, MAE of 1.6, and SWD of 0.96 on Lorenz-63 in a 336-in, 336-out, dt=0.01 setting, surpassing TimeMixer (MSE 27.3, MAE 2.8, SWD 2.1). The model maintains effective prediction for 274 out of 336 steps, approximately 2.5 Lyapunov times. On Rossler (96-in, 336-out), FRIREN achieves an MSE of 0.0349, MAE of 0.0953, and SWD of 0.0170, outperforming TimeMixer's MSE of 4.3988, MAE of 0.886, and SWD of 3.2065. FRIREN is also competitive on standard LTSF datasets such as ETT and Weather. By connecting modern generative flows with classical spectral analysis, FRIREN makes long-term forecasting both accurate and interpretable, setting a new benchmark for LTSF model design.
academic

FRIREN/FERN : Au-delà des trajectoires -- Une perspective spectrale sur le temps

Informations fondamentales

  • ID de l'article: 2505.17370
  • Titre: Chaining Spectral Pearls: Ellipsoidal Forecasting Beyond Trajectories for Time Series
  • Auteur: Qilin Wang (Chercheur indépendant)
  • Classification: cs.LG
  • Date de publication: 14 octobre 2025 (préimpression arXiv v2)
  • Lien de l'article: https://arxiv.org/abs/2505.17370

Remarque: Selon le contenu du PDF, cet article s'intitule en réalité "FERN (Forecasting with Ellipsoidal RepresentatioN)", le terme "FRIREN" dans le résumé semblant être un nom de version antérieure.

Résumé

La pratique actuelle de la prévision de séries chronologiques à long terme (LTSF) se concentre principalement sur des métriques ponctuelles sur des données stochastiques, masquant les fragilités sous le chaos déterministe. Cet article propose des tests de stress sur des systèmes chaotiques classiques et prédit les structures géométriques futures plutôt que les trajectoires exactes. FERN est un prédicteur géométriquement conscient, utilisant un transport linéaire local par patch et des facteurs spectraux explicites (vecteurs propres/valeurs propres), produisant des prédictions préservant la structure et des diagnostics exploitables de stabilité, de motifs et de changements de régime. Au-delà du MSE/MAE, nous rapportons la distance de Wasserstein par tranche (fidélité de forme) et le temps de prévision effectif (stabilité horizontale). Sur les systèmes Lorenz63, Rössler et Chua, FERN fournit des erreurs significativement plus faibles et une stabilité améliorée par rapport aux bases de référence LTSF fortes, tout en restant compétitif sur ETT et Weather.

Contexte et motivation de la recherche

Définition du problème

  1. Problème central: Les modèles LTSF existants sont fragiles sous les systèmes chaotiques déterministes, accordant une importance excessive à la précision ponctuelle des prédictions tout en négligeant la préservation de la structure géométrique
  2. Points aveugles de l'évaluation: Les protocoles d'évaluation standard présentent deux points aveugles:
    • Récompense excessive des modèles sur les données périodiques/bruitées, négligeant la fragilité sous le chaos
    • Accent excessif sur les erreurs ponctuelles (MSE/MAE), négligeant la fidélité géométrique

Motivation de la recherche

  1. Besoins pratiques: La prévision à long terme échoue inévitablement, mais les modèles boîtes noires manquent d'outils pour diagnostiquer les modes de défaillance, affectant la confiance et l'adoption
  2. Fondement théorique: Basé sur le théorème d'encastrement de Takens, l'encastrement par délai temporel monocanal peut reconstruire un attracteur topologiquement équivalent du système dynamique
  3. Perspective géométrique: Propose une nouvelle philosophie de prédiction: "cibler la géométrie locale conditionnelle plutôt que la dynamique"

Contributions principales

  1. Nouveau protocole d'évaluation:
    • Tests de stress sur des systèmes chaotiques de faible dimension
    • Introduction de métriques supplémentaires géométriquement conscientes (Wasserstein/SWD)
    • Proposition du temps de prévision effectif (EPT) quantifiant les limites de prédiction fiables
  2. Nouvelle philosophie de prédiction:
    • Cibler la géométrie locale conditionnelle plutôt que la dynamique
    • Préserver la forme de l'attracteur via des chaînes ellipsoïdales ("colliers de perles")
    • Fournir une représentation d'incertitude géométrique
  3. Modèle FERN:
    • Fusion des techniques de Normalizing Flows, Transport Optimal et opérateurs de Koopman
    • Implémentation de mappages de type Brenier sous la forme UΛU⊤ + t
    • Fourniture d'une transparence spectrale complète pour l'analyse des modes de défaillance

Détails de la méthode

Définition de la tâche

La prévision de séries chronologiques à long terme vise à prédire une séquence multi-étapes y₁, ..., yₙ conditionnée à partir d'une séquence d'entrée x₁, ..., xₙ, généralement y₁ = xₙ₊₁ entre canaux.

Architecture du modèle

1. Couche de transport ellipsoïdal (ET)

L'idée centrale est de transformer la recherche de dynamiques non-linéaires complexes en un système linéaire connu et bien comporté, contenant trois actions géométriques:

Expression mathématique:

T(y) ≈ T(y₀) + J_T(y₀)(y - y₀) = UΛU⊤y + (T(y₀) - UΛU⊤y₀)

Où:

  • U: matrice de rotation orthogonale (vecteurs propres)
  • Λ: matrice de mise à l'échelle diagonale non-négative (valeurs propres)
  • Terme résiduel: translation

2. Amélioration de Koopman

U(z)Λ(z)U(z)⊤ → U(z)KΛ(z)K⊤U(z)⊤

Où K est une matrice bloc-diagonale 2×2 fixe et apprenante a -b; b a, simulant les valeurs propres complexes.

3. Structure macroscopique: Extension ANF

Adopte une architecture encodeur-transporteur:

Algorithme 1: Encodeur (X ↔ Z) et couche de transport ellipsoïdal

1. z ← N(0,I); y₀ ← N(0,I)
2. pour i=1 à K_enc=5:
   - z ← s*(x) ⊙ z + t(x)  # x→z changement d'échelle-décalage
   - x ← s*(z) ⊙ x + t(z)  # z→x changement d'échelle-décalage
3. y_rot ← KU(z)y₀         # rotation et mise à l'échelle de spin
4. y_scaled ← Λy_rot       # mise à l'échelle anisotrope non-négative
5. y_unrot ← U(z)⊤K⊤y_scaled # rotation inverse
6. y* ← y_unrot + t(z)     # translation

Points d'innovation technique

1. Conception préservant la géométrie

  • Assurance de la cohérence géométrique via contraintes jacobiennes SPSD
  • Chaînes ellipsoïdales préservant la forme de l'attracteur contre le chaos
  • Matérialisation en représentation d'incertitude géométrique

2. Connexion au transport optimal

Basé sur le théorème de Brenier, sous des conditions de régularité existe un mapping presque partout unique T = ∇φ dont le jacobien est SPSD. FERN recherche une approximation dans la classe de Brenier du vrai OT, guidée par l'erreur ponctuelle.

3. Transparence spectrale

Les mises à l'échelle et rotations apprises en tant que valeurs propres et vecteurs propres locaux, fournissant une transparence spectrale complète pour l'analyse des modes de défaillance.

Configuration expérimentale

Ensembles de données

Systèmes chaotiques

  1. Lorenz63: σ=10, ρ=28, β=8/3, dt=0.01, étapes=25000
  2. Rössler: a=b=0.2, c=5.7, dt=0.01, étapes=25000
  3. Circuit de Chua: α=15.6, β=28.0, dt=0.005, étapes=35000

Repères du monde réel

  1. ETT: Données de température du transformateur de puissance (ETTh1, ETTh2, ETTm1, ETTm2)
  2. Weather: 21 indicateurs météorologiques, intervalle de 10 minutes

Métriques d'évaluation

  1. Métriques traditionnelles: MSE, MAE
  2. Métriques géométriques: Distance de Wasserstein par tranche (SWD)
  3. Métriques de stabilité: Temps de prévision effectif (EPT)

Méthodes de comparaison

  • TimeMixer
  • PatchTST
  • DLinear

Détails d'implémentation

  • Optimiseur: AdamW (lr=3×10⁻⁴, sans décroissance de poids)
  • Taille de lot: 96
  • Nombre d'épochs: jusqu'à 50, patience=5
  • Période de grâce de 3 epochs pour éviter l'arrêt prématuré

Résultats expérimentaux

Résultats principaux

Performance sur systèmes chaotiques (longueur de séquence=336)

Lorenz63:

  • FERN: MSE=21.82±2.13, MAE=2.17, SWD=2.23
  • TimeMixer: MSE=30.94±5.62, MAE=3.19, SWD=11.11
  • PatchTST: MSE=30.11±2.92, MAE=3.28, SWD=9.60
  • DLinear: MSE=67.76±1.12, MAE=6.07, SWD=38.22

Rössler:

  • FERN: MSE=0.04±0.01, MAE=0.11, SWD=0.02
  • TimeMixer: MSE=6.01±0.26, MAE=1.09, SWD=5.20
  • Amélioration significative par rapport aux bases de référence, MSE de FERN représentant seulement 0.62% de celui de TimeMixer

Performance sur repères standards

Sur les ensembles de données ETT et Weather, FERN atteint le meilleur MSE sur ETTh1, ETTm1 et ETTm2, restant compétitif.

Études d'ablation

Le tableau 2 montre les résultats détaillés d'ablation:

  • La suppression de la rotation/Koopman détériore significativement le SWD sur Lorenz63
  • La suppression du patch est importante sur ETTh2
  • La configuration de transport seul s'effondre
  • La conception complète est la plus cohérente et robuste

Découvertes expérimentales

Importance des tests de stress sur systèmes chaotiques

Les modèles linéaires simples (comme DLinear) excellent sur les repères standards, mais sont significativement en retrait sur les données chaotiques:

  • DLinear est 24.00 fois pire que FERN
  • 11.20 fois pire que TimeMixer
  • 2.67 fois pire que PatchTST

Nécessité des métriques géométriques

Les métriques ponctuelles traditionnelles présentent des limitations:

  • Une prédiction pointue avec décalage de phase peut obtenir un score pire qu'une prédiction plate moyennée sur 24 heures
  • La distance de Wasserstein identifie mieux la similarité de forme, sans biais envers les prédictions plates

Travaux connexes

Évolution du LTSF

  1. Poursuite de la complexité: Architectures complexes multi-étapes directes basées sur Transformer
  2. Retour à la simplicité: Le succès de modèles linéaires simples comme DLinear remet en question la nécessité de la complexité
  3. Analyse en fréquence: Méthodes en domaine fréquentiel pour les signaux périodiques
  4. Théorie de Koopman: Linéarisation de la dynamique non-linéaire via élévation de l'espace d'état

Positionnement de cet article

Fusion des Normalizing Flows, du Transport Optimal et des opérateurs de Koopman, mais pas une implémentation complète, plutôt un emprunt du langage et des techniques pour la prédiction conditionnelle.

Conclusion et discussion

Conclusions principales

  1. Amélioration du protocole d'évaluation: Les tests de stress sur systèmes chaotiques et les métriques géométriquement conscientes sont nécessaires
  2. Philosophie de prédiction géométrique: Cibler la géométrie locale conditionnelle plutôt que la dynamique exacte est plus robuste
  3. Transparence spectrale: Les valeurs propres/vecteurs propres explicites fournissent des diagnostics exploitables des modes de défaillance

Limitations

  1. Portée d'application: Principalement orienté vers les systèmes chaotiques déterministes, effet sur les processus purement stochastiques inconnu
  2. Complexité computationnelle: Surcharge computationnelle plus importante comparée aux modèles linéaires simples
  3. Sensibilité aux paramètres: Plusieurs hyperparamètres nécessitant un ajustement minutieux

Directions futures

  1. Extension à des systèmes chaotiques plus complexes
  2. Analyse théorique des propriétés de préservation géométrique
  3. Vérification de la stabilité à long terme dans les applications pratiques

Évaluation approfondie

Points forts

  1. Innovation forte: Introduction d'une perspective géométrique dans la prévision de séries chronologiques, connectant plusieurs cadres théoriques
  2. Expériences complètes: Évaluation exhaustive sur données chaotiques et repères standards
  3. Fondement théorique: Basé sur des théorèmes solides (théorème d'encastrement de Takens, théorème de Brenier, etc.)
  4. Valeur pratique: Fourniture de transparence spectrale et diagnostic des modes de défaillance

Insuffisances

  1. Complexité: Architecture de modèle relativement complexe, les affirmations de l'interprétabilité nécessitent plus de vérification
  2. Choix des bases de référence: Manque de comparaisons avec davantage de bases de référence spécialisées pour les systèmes chaotiques
  3. Analyse théorique: Absence d'analyse théorique de la convergence et de la stabilité

Impact

  1. Contribution académique: Fournit une nouvelle perspective pour l'évaluation et la conception du LTSF
  2. Valeur pratique: Montre des avantages évidents dans la prévision de systèmes chaotiques
  3. Reproductibilité: Fournit des détails d'implémentation détaillés et du code

Scénarios d'application

  1. Systèmes chaotiques: Météorologie, écologie, finance et autres systèmes présentant des caractéristiques chaotiques
  2. Prévision à long terme: Applications nécessitant la préservation de la structure géométrique
  3. Besoins diagnostiques: Applications critiques nécessitant l'analyse des modes de défaillance

Références

L'article cite de nombreux travaux connexes, incluant:

  • Travaux relatifs au théorème d'encastrement de Takens
  • Théorie des opérateurs de Koopman
  • Théorie du transport optimal
  • Méthodes de repère en prévision de séries chronologiques

Évaluation générale: Cet article est une contribution innovante qui réexamine le problème de la prévision de séries chronologiques à long terme sous un angle géométrique, réalisant des améliorations significatives sur les systèmes chaotiques. Bien que la complexité du modèle soit relativement élevée, ses fondements théoriques sont solides, ses résultats expérimentaux convaincants, et il fournit une nouvelle perspective précieuse pour ce domaine.