2025-11-18T16:04:13.800952

FRIREN: Beyond Trajectories -- A Spectral Lens on Time

Wang

Long-term time-series forecasting (LTSF) models are often presented as general-purpose solutions that can be applied across domains, implicitly assuming that all data is pointwise predictable. Using chaotic systems such as Lorenz-63 as a case study, we argue that geometric structure - not pointwise prediction - is the right abstraction for a dynamic-agnostic foundational model. Minimizing the Wasserstein-2 distance (W2), which captures geometric changes, and providing a spectral view of dynamics are essential for long-horizon forecasting. Our model, FRIREN (Flow-inspired Representations via Interpretable Eigen-networks), implements an augmented normalizing-flow block that embeds data into a normally distributed latent representation. It then generates a W2-efficient optimal path that can be decomposed into rotation, scaling, inverse rotation, and translation. This architecture yields locally generated, geometry-preserving predictions that are independent of the underlying dynamics, and a global spectral representation that functions as a finite Koopman operator with a small modification. This enables practitioners to identify which modes grow, decay, or oscillate, both locally and system-wide. FRIREN achieves an MSE of 11.4, MAE of 1.6, and SWD of 0.96 on Lorenz-63 in a 336-in, 336-out, dt=0.01 setting, surpassing TimeMixer (MSE 27.3, MAE 2.8, SWD 2.1). The model maintains effective prediction for 274 out of 336 steps, approximately 2.5 Lyapunov times. On Rossler (96-in, 336-out), FRIREN achieves an MSE of 0.0349, MAE of 0.0953, and SWD of 0.0170, outperforming TimeMixer's MSE of 4.3988, MAE of 0.886, and SWD of 3.2065. FRIREN is also competitive on standard LTSF datasets such as ETT and Weather. By connecting modern generative flows with classical spectral analysis, FRIREN makes long-term forecasting both accurate and interpretable, setting a new benchmark for LTSF model design.

academic

FRIREN/FERN: प्रक्षेपवक्र से परे -- समय पर एक वर्णक्रमीय दृष्टिकोण

मूल जानकारी

पेपर ID: 2505.17370
शीर्षक: Chaining Spectral Pearls: Ellipsoidal Forecasting Beyond Trajectories for Time Series
लेखक: Qilin Wang (स्वतंत्र शोधकर्ता)
वर्गीकरण: cs.LG
प्रकाशन तिथि: 14 अक्टूबर, 2025 (arXiv preprint v2)
पेपर लिंक: https://arxiv.org/abs/2505.17370

नोट: PDF सामग्री के अनुसार, इस पेपर का वास्तविक नाम "FERN (Forecasting with Ellipsoidal RepresentatioN)" है, सारांश में "FRIREN" प्रारंभिक संस्करण का नाम प्रतीत होता है।

सारांश

वर्तमान दीर्घकालीन समय श्रृंखला पूर्वानुमान (LTSF) अभ्यास मुख्य रूप से यादृच्छिक डेटा पर बिंदु-दर-बिंदु मेट्रिक्स पर ध्यान केंद्रित करते हैं, जो नियतात्मक अराजकता के तहत कमजोरियों को छुपाते हैं। यह पेपर शास्त्रीय अराजक प्रणालियों पर तनाव परीक्षण का प्रस्ताव करता है और सटीक प्रक्षेपवक्र के बजाय भविष्य की ज्यामितीय संरचना की भविष्यवाणी करता है। FERN एक ज्यामितीय-जागरूक भविष्यवक्ता है जो प्रत्येक पैच के स्थानीय रैखिक परिवहन और स्पष्ट वर्णक्रमीय कारकों (आइजेनवेक्टर/आइजेनमान) का उपयोग करता है, जो संरचना-संरक्षण पूर्वानुमान और स्थिरता, पैटर्न, शासन परिवर्तन के कार्यशील निदान प्रदान करता है। MSE/MAE के अलावा, स्लाइस Wasserstein दूरी (आकार निष्ठा) और प्रभावी पूर्वानुमान समय (क्षितिज स्थिरता) की रिपोर्ट भी की जाती है। Lorenz63, Rössler और Chua प्रणालियों पर, FERN मजबूत LTSF आधारभूत विधियों की तुलना में काफी कम त्रुटि और बेहतर स्थिरता प्रदान करता है, जबकि ETT और Weather पर प्रतिस्पर्धी रहता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

मुख्य समस्या: मौजूदा LTSF मॉडल नियतात्मक अराजक प्रणालियों के तहत कमजोर हैं, बिंदु-दर-बिंदु पूर्वानुमान सटीकता पर अत्यधिक ध्यान केंद्रित करते हैं और ज्यामितीय संरचना संरक्षण को नजरअंदाज करते हैं
मूल्यांकन अंधे स्थान: मानक मूल्यांकन प्रोटोकॉल में दो अंधे स्थान हैं:
- आवधिक/शोर डेटा पर मॉडल को अत्यधिक पुरस्कृत करना, अराजकता के तहत कमजोरियों को नजरअंदाज करना
- बिंदु-दर-बिंदु त्रुटि (MSE/MAE) पर अत्यधिक जोर देना, ज्यामितीय निष्ठा को नजरअंदाज करना

अनुसंधान प्रेरणा

व्यावहारिक आवश्यकता: दीर्घकालीन पूर्वानुमान अनिवार्य रूप से विफल होता है, लेकिन ब्लैक-बॉक्स मॉडल में विफलता पैटर्न का निदान करने के लिए उपकरणों की कमी है, जो विश्वास और अपनाने को प्रभावित करता है
सैद्धांतिक आधार: Takens एम्बेडिंग प्रमेय पर आधारित, एकल-चैनल समय विलंब एम्बेडिंग गतिशील प्रणाली के टोपोलॉजिकल रूप से समतुल्य आकर्षक को पुनर्निर्माण कर सकता है
ज्यामितीय दृष्टिकोण: "गतिशीलता के बजाय स्थानीय ज्यामिति को लक्ष्य करें" का नया पूर्वानुमान दर्शन प्रस्तावित करता है

मुख्य योगदान

नया मूल्यांकन प्रोटोकॉल:
- निम्न-आयामी अराजक प्रणालियों पर तनाव परीक्षण
- ज्यामितीय-जागरूक पूरक मेट्रिक्स (Wasserstein/SWD) का परिचय
- प्रभावी पूर्वानुमान समय (EPT) विश्वसनीय पूर्वानुमान सीमा को परिमाणित करता है
नया पूर्वानुमान दर्शन:
- गतिशीलता के बजाय स्थानीय ज्यामिति को लक्ष्य करें
- दीर्घवृत्ताकार श्रृंखला ("मोतियों की माला") के माध्यम से आकर्षक आकार संरक्षित करें
- ज्यामितीय अनिश्चितता प्रतिनिधित्व प्रदान करें
FERN मॉडल:
- Normalizing Flows, Optimal Transport और Koopman ऑपरेटर तकनीकों को एकीकृत करें
- UΛU⊤ + t रूप में Brenier-प्रकार मानचित्रण को लागू करें
- विफलता पैटर्न विश्लेषण के लिए पूर्ण वर्णक्रमीय पारदर्शिता प्रदान करें

विधि विवरण

कार्य परिभाषा

दीर्घकालीन समय श्रृंखला पूर्वानुमान का उद्देश्य इनपुट अनुक्रम x₁, ..., xₙ से बहु-चरणीय अनुक्रम y₁, ..., yₙ की भविष्यवाणी करना है, आमतौर पर y₁ = xₙ₊₁ चैनलों में।

मॉडल आर्किटेक्चर

1. दीर्घवृत्ताकार परिवहन (ET) परत

मुख्य विचार जटिल गैर-रैखिक गतिशीलता खोज को ज्ञात, अच्छी तरह से व्यवहार करने वाली रैखिक प्रणाली में परिवर्तित करना है, जिसमें तीन ज्यामितीय क्रियाएं शामिल हैं:

गणितीय अभिव्यक्ति:

T(y) ≈ T(y₀) + J_T(y₀)(y - y₀) = UΛU⊤y + (T(y₀) - UΛU⊤y₀)

जहाँ:

U: ऑर्थोगोनल रोटेशन मैट्रिक्स (आइजेनवेक्टर)
Λ: विकर्ण गैर-नकारात्मक स्केलिंग मैट्रिक्स (आइजेनमान)
अवशिष्ट पद: अनुवाद

2. Koopman वृद्धि

U(z)Λ(z)U(z)⊤ → U(z)KΛ(z)K⊤U(z)⊤

जहाँ K एक निश्चित सीखने योग्य 2×2 ब्लॉक विकर्ण मैट्रिक्स a -b; b a है, जो जटिल-मूल्यवान आइजेनमान का अनुकरण करता है।

3. मैक्रो संरचना: ANF विस्तार

एनकोडर-परिवहन आर्किटेक्चर को अपनाता है:

एल्गोरिथ्म 1: एनकोडर (X ↔ Z) और दीर्घवृत्ताकार परिवहन परत

1. z ← N(0,I); y₀ ← N(0,I)
2. i=1 से K_enc=5 के लिए:
   - z ← s*(x) ⊙ z + t(x)  # x→z स्केल-शिफ्ट
   - x ← s*(z) ⊙ x + t(z)  # z→x स्केल-शिफ्ट
3. y_rot ← KU(z)y₀         # रोटेशन और स्व-स्पिन स्केलिंग
4. y_scaled ← Λy_rot       # गैर-नकारात्मक अनिसोट्रोपिक स्केलिंग
5. y_unrot ← U(z)⊤K⊤y_scaled # वापस रोटेट करें
6. y* ← y_unrot + t(z)     # अनुवाद

तकनीकी नवाचार बिंदु

1. ज्यामितीय संरक्षण डिजाइन

SPSD जैकोबियन बाधा के माध्यम से ज्यामितीय संगति सुनिश्चित करें
दीर्घवृत्ताकार श्रृंखला अराजकता के विरुद्ध आकर्षक आकार संरक्षित करें
ज्यामितीय अनिश्चितता प्रतिनिधित्व के रूप में भौतिकीकृत करें

2. इष्टतम परिवहन संबंध

Brenier प्रमेय के आधार पर, नियमितता शर्तों के तहत लगभग हर जगह एक अद्वितीय मानचित्रण T = ∇φ मौजूद है, जिसका जैकोबियन SPSD है। FERN बिंदु-दर-बिंदु त्रुटि द्वारा संचालित खोज के माध्यम से Brenier वर्ग में वास्तविक OT को अनुमानित करता है।

3. वर्णक्रमीय पारदर्शिता

सीखे गए स्केलिंग और रोटेशन स्थानीय आइजेनमान और आइजेनवेक्टर के रूप में कार्य करते हैं, विफलता पैटर्न विश्लेषण के लिए पूर्ण वर्णक्रमीय पारदर्शिता प्रदान करते हैं।

प्रायोगिक सेटअप

डेटासेट

अराजक प्रणालियाँ

Lorenz63: σ=10, ρ=28, β=8/3, dt=0.01, steps=25000
Rössler: a=b=0.2, c=5.7, dt=0.01, steps=25000
Chua सर्किट: α=15.6, β=28.0, dt=0.005, steps=35000

वास्तविक दुनिया के बेंचमार्क

ETT: विद्युत ट्रांसफॉर्मर तापमान डेटा (ETTh1, ETTh2, ETTm1, ETTm2)
Weather: 21 मौसम संबंधी संकेतक, 10 मिनट का अंतराल

मूल्यांकन मेट्रिक्स

पारंपरिक मेट्रिक्स: MSE, MAE
ज्यामितीय मेट्रिक्स: स्लाइस Wasserstein दूरी (SWD)
स्थिरता मेट्रिक्स: प्रभावी पूर्वानुमान समय (EPT)

तुलनात्मक विधियाँ

TimeMixer
PatchTST
DLinear

कार्यान्वयन विवरण

ऑप्टिमाइज़र: AdamW (lr=3×10⁻⁴, कोई वजन क्षय नहीं)
बैच आकार: 96
प्रशिक्षण एपोक: अधिकतम 50, धैर्य=5
जल्दबाजी में रोकने से बचने के लिए 3 एपोक की छूट अवधि

प्रायोगिक परिणाम

मुख्य परिणाम

अराजक प्रणाली प्रदर्शन (अनुक्रम लंबाई=336)

Lorenz63:

FERN: MSE=21.82±2.13, MAE=2.17, SWD=2.23
TimeMixer: MSE=30.94±5.62, MAE=3.19, SWD=11.11
PatchTST: MSE=30.11±2.92, MAE=3.28, SWD=9.60
DLinear: MSE=67.76±1.12, MAE=6.07, SWD=38.22

Rössler:

FERN: MSE=0.04±0.01, MAE=0.11, SWD=0.02
TimeMixer: MSE=6.01±0.26, MAE=1.09, SWD=5.20
आधारभूत विधियों की तुलना में महत्वपूर्ण सुधार, FERN MSE केवल TimeMixer का 0.62% है

मानक बेंचमार्क प्रदर्शन

ETT और Weather डेटासेट पर, FERN ने ETTh1, ETTm1 और ETTm2 पर सर्वश्रेष्ठ MSE प्राप्त किया, प्रतिस्पर्धी रहा।

विलोपन प्रयोग

तालिका 2 विस्तृत विलोपन परिणाम दिखाती है:

Lorenz63 पर रोटेशन/Koopman को हटाना SWD को काफी बिगाड़ता है
ETTh2 पर पैच को हटाना महत्वपूर्ण है
केवल परिवहन कॉन्फ़िगरेशन विफल हो जाता है
पूर्ण डिजाइन सबसे सुसंगत और मजबूत है

प्रायोगिक निष्कर्ष

अराजक प्रणाली तनाव परीक्षण की महत्ता

सरल रैखिक मॉडल (जैसे DLinear) मानक बेंचमार्क पर उत्कृष्ट प्रदर्शन करते हैं, लेकिन अराजक डेटा पर काफी पिछड़ जाते हैं:

DLinear FERN से 24.00 गुना बदतर है
TimeMixer से 11.20 गुना बदतर है
PatchTST से 2.67 गुना बदतर है

ज्यामितीय मेट्रिक्स की आवश्यकता

पारंपरिक बिंदु-दर-बिंदु मेट्रिक्स में सीमाएं हैं:

चरण-स्थानांतरित तीव्र पूर्वानुमान समतल 24 घंटे के औसत पूर्वानुमान की तुलना में बदतर स्कोर कर सकते हैं
Wasserstein दूरी आकार समानता को बेहतर तरीके से पहचानती है, औसत पूर्वानुमान के प्रति पूर्वाग्रह नहीं है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

मूल्यांकन प्रोटोकॉल सुधार: अराजक प्रणाली तनाव परीक्षण और ज्यामितीय-जागरूक मेट्रिक्स आवश्यक हैं
ज्यामितीय पूर्वानुमान दर्शन: सटीक गतिशीलता के बजाय स्थानीय ज्यामिति को लक्ष्य करना अधिक मजबूत है
वर्णक्रमीय पारदर्शिता: स्पष्ट आइजेनमान/आइजेनवेक्टर कार्यशील विफलता पैटर्न निदान प्रदान करते हैं

सीमाएँ

प्रयोज्यता सीमा: मुख्य रूप से नियतात्मक अराजक प्रणालियों के लिए, शुद्ध यादृच्छिक प्रक्रियाओं पर प्रभाव अज्ञात है
कम्प्यूटेशनल जटिलता: सरल रैखिक मॉडल की तुलना में अधिक कम्प्यूटेशनल ओवरहेड
पैरामीटर संवेदनशीलता: कई हाइपरपैरामीटर को सावधानीपूर्वक ट्यून करने की आवश्यकता है

भविष्य की दिशाएँ

अधिक जटिल अराजक प्रणालियों तक विस्तार करें
ज्यामितीय संरक्षण गुणों का सैद्धांतिक विश्लेषण
वास्तविक अनुप्रयोगों में दीर्घकालीन स्थिरता सत्यापन

गहन मूल्यांकन

शक्तियाँ

मजबूत नवाचार: समय श्रृंखला पूर्वानुमान में ज्यामितीय दृष्टिकोण का परिचय, कई सैद्धांतिक ढांचे को जोड़ता है
व्यापक प्रयोग: अराजक और मानक डेटासेट पर व्यापक मूल्यांकन
सैद्धांतिक आधार: Takens एम्बेडिंग प्रमेय, Brenier प्रमेय आदि पर ठोस सैद्धांतिक आधार
व्यावहारिक मूल्य: वर्णक्रमीय पारदर्शिता और विफलता पैटर्न निदान प्रदान करता है

कमियाँ

जटिलता: मॉडल आर्किटेक्चर अपेक्षाकृत जटिल है, व्याख्यात्मकता के दावों को अधिक सत्यापन की आवश्यकता है
आधारभूत विधि चयन: अराजक प्रणालियों के लिए विशेष रूप से डिज़ाइन की गई अधिक आधारभूत विधियों की तुलना की कमी
सैद्धांतिक विश्लेषण: अभिसरण और स्थिरता का सैद्धांतिक विश्लेषण अनुपस्थित है

प्रभाव

शैक्षणिक योगदान: LTSF मूल्यांकन और डिजाइन के लिए नया दृष्टिकोण प्रदान करता है
व्यावहारिक मूल्य: अराजक प्रणाली पूर्वानुमान में स्पष्ट लाभ दिखाता है
पुनरुत्पादनीयता: विस्तृत कार्यान्वयन विवरण और कोड प्रदान करता है

प्रयोज्य परिदृश्य

अराजक प्रणालियाँ: मौसम विज्ञान, पारिस्थितिकी, वित्त आदि में अराजक विशेषताओं वाली प्रणालियाँ
दीर्घकालीन पूर्वानुमान: ज्यामितीय संरचना संरक्षण की आवश्यकता वाले अनुप्रयोग
निदान आवश्यकता: महत्वपूर्ण अनुप्रयोग जहाँ विफलता पैटर्न विश्लेषण की आवश्यकता है

संदर्भ

पेपर में संबंधित कार्यों के समृद्ध संदर्भ शामिल हैं, जिनमें शामिल हैं:

Takens एम्बेडिंग प्रमेय संबंधित कार्य
Koopman ऑपरेटर सिद्धांत
इष्टतम परिवहन सिद्धांत
समय श्रृंखला पूर्वानुमान बेंचमार्क विधियाँ

समग्र मूल्यांकन: यह एक नवाचारी पेपर है जो ज्यामितीय दृष्टिकोण से दीर्घकालीन समय श्रृंखला पूर्वानुमान समस्या की पुनः जांच करता है, अराजक प्रणालियों पर महत्वपूर्ण सुधार प्राप्त करता है। हालांकि मॉडल जटिलता अधिक है, लेकिन इसका सैद्धांतिक आधार ठोस है, प्रायोगिक परिणाम प्रेरक हैं, और यह क्षेत्र को मूल्यवान नया दृष्टिकोण प्रदान करता है।