2025-11-18T16:04:13.800952

FRIREN: Beyond Trajectories -- A Spectral Lens on Time

Wang
Long-term time-series forecasting (LTSF) models are often presented as general-purpose solutions that can be applied across domains, implicitly assuming that all data is pointwise predictable. Using chaotic systems such as Lorenz-63 as a case study, we argue that geometric structure - not pointwise prediction - is the right abstraction for a dynamic-agnostic foundational model. Minimizing the Wasserstein-2 distance (W2), which captures geometric changes, and providing a spectral view of dynamics are essential for long-horizon forecasting. Our model, FRIREN (Flow-inspired Representations via Interpretable Eigen-networks), implements an augmented normalizing-flow block that embeds data into a normally distributed latent representation. It then generates a W2-efficient optimal path that can be decomposed into rotation, scaling, inverse rotation, and translation. This architecture yields locally generated, geometry-preserving predictions that are independent of the underlying dynamics, and a global spectral representation that functions as a finite Koopman operator with a small modification. This enables practitioners to identify which modes grow, decay, or oscillate, both locally and system-wide. FRIREN achieves an MSE of 11.4, MAE of 1.6, and SWD of 0.96 on Lorenz-63 in a 336-in, 336-out, dt=0.01 setting, surpassing TimeMixer (MSE 27.3, MAE 2.8, SWD 2.1). The model maintains effective prediction for 274 out of 336 steps, approximately 2.5 Lyapunov times. On Rossler (96-in, 336-out), FRIREN achieves an MSE of 0.0349, MAE of 0.0953, and SWD of 0.0170, outperforming TimeMixer's MSE of 4.3988, MAE of 0.886, and SWD of 3.2065. FRIREN is also competitive on standard LTSF datasets such as ETT and Weather. By connecting modern generative flows with classical spectral analysis, FRIREN makes long-term forecasting both accurate and interpretable, setting a new benchmark for LTSF model design.
academic

FRIREN/FERN: সময়ের বাইরে -- একটি বর্ণালী দৃষ্টিভঙ্গি

মৌলিক তথ্য

  • পেপার আইডি: 2505.17370
  • শিরোনাম: চেইনিং স্পেকট্রাল পার্লস: ট্র্যাজেক্টরির বাইরে সময় সিরিজের জন্য উপবৃত্তাকার পূর্বাভাস
  • লেখক: কিলিন ওয়াং (স্বাধীন গবেষক)
  • শ্রেণীবিভাগ: cs.LG
  • প্রকাশনার সময়: অক্টোবর ১৪, ২০২৫ (arXiv প্রিপ্রিন্ট v2)
  • পেপার লিংক: https://arxiv.org/abs/2505.17370

দ্রষ্টব্য: পিডিএফ সামগ্রী অনুযায়ী, এই পেপারটির প্রকৃত নাম "FERN (উপবৃত্তাকার প্রতিনিধিত্বের সাথে পূর্বাভাস)", এবং সারসংক্ষেপে "FRIREN" প্রাথমিক সংস্করণের নাম বলে মনে হয়।

সারসংক্ষেপ

বর্তমান দীর্ঘমেয়াদী সময় সিরিজ পূর্বাভাস (LTSF) অনুশীলন প্রধানত র্যান্ডম ডেটায় বিন্দু-অনুযায়ী মেট্রিক্সের উপর দৃষ্টি নিবদ্ধ করে, যা নির্ধারণমূলক বিশৃঙ্খলার অধীনে দুর্বলতা লুকিয়ে রাখে। এই পেপারটি শাস্ত্রীয় বিশৃঙ্খল সিস্টেমে চাপ পরীক্ষা পরিচালনা এবং সঠিক ট্র্যাজেক্টরির পরিবর্তে ভবিষ্যতের জ্যামিতিক কাঠামো পূর্বাভাস দেওয়ার প্রস্তাব দেয়। FERN একটি জ্যামিতি-সচেতন পূর্বাভাসকারী যা প্রতিটি প্যাচের স্থানীয় রৈখিক পরিবহন এবং স্পষ্ট বর্ণালী ফ্যাক্টর (আইজেনভেক্টর/আইজেনভ্যালু) ব্যবহার করে, যা কাঠামো-সংরক্ষণকারী পূর্বাভাস এবং স্থিতিশীলতা, প্যাটার্ন, শাসন রূপান্তরের কার্যকর নির্ণয় তৈরি করে। MSE/MAE ছাড়াও, স্লাইসড ওয়াসারস্টেইন দূরত্ব (আকৃতি বিশ্বস্ততা) এবং কার্যকর পূর্বাভাস সময় (দিগন্ত স্থিতিশীলতা) রিপোর্ট করা হয়। Lorenz63, Rössler এবং Chua সিস্টেমে, FERN শক্তিশালী LTSF ভিত্তিরেখার তুলনায় উল্লেখযোগ্যভাবে কম ত্রুটি এবং উন্নত স্থিতিশীলতা প্রদান করে, যখন ETT এবং Weather-এ প্রতিযোগিতামূলক থাকে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

  1. মূল সমস্যা: বিদ্যমান LTSF মডেলগুলি নির্ধারণমূলক বিশৃঙ্খল সিস্টেমে দুর্বল, বিন্দু-অনুযায়ী পূর্বাভাস নির্ভুলতার উপর অত্যধিক ফোকাস করে এবং জ্যামিতিক কাঠামো সংরক্ষণ উপেক্ষা করে
  2. মূল্যায়ন অন্ধ দাগ: মান মূল্যায়ন প্রোটোকলে দুটি অন্ধ দাগ রয়েছে:
    • পর্যায়ক্রমিক/শব্দ ডেটায় মডেলগুলিকে অত্যধিক পুরস্কৃত করা, বিশৃঙ্খলার অধীনে দুর্বলতা উপেক্ষা করা
    • বিন্দু-অনুযায়ী ত্রুটি (MSE/MAE) অত্যধিক জোর দেওয়া, জ্যামিতিক বিশ্বস্ততা উপেক্ষা করা

গবেষণা প্রেরণা

  1. বাস্তব চাহিদা: দীর্ঘমেয়াদী পূর্বাভাস অনিবার্যভাবে ব্যর্থ হয়, কিন্তু ব্ল্যাক-বক্স মডেলগুলিতে ব্যর্থতার প্যাটার্ন নির্ণয় করার সরঞ্জাম নেই, যা বিশ্বাস এবং গ্রহণকে প্রভাবিত করে
  2. তাত্ত্বিক ভিত্তি: Takens এম্বেডিং উপপাদ্যের উপর ভিত্তি করে, একক-চ্যানেল সময় বিলম্ব এম্বেডিং গতিশীল সিস্টেমের টপোলজিক্যালি সমতুল্য আকর্ষণকারী পুনর্নির্মাণ করতে পারে
  3. জ্যামিতিক দৃষ্টিভঙ্গি: "গতিশীলতার পরিবর্তে লক্ষ্য শর্তাধীন স্থানীয় জ্যামিতি" এর নতুন পূর্বাভাস দর্শন প্রস্তাব করা হয়েছে

মূল অবদান

  1. নতুন মূল্যায়ন প্রোটোকল:
    • নিম্ন-মাত্রিক বিশৃঙ্খল সিস্টেমে চাপ পরীক্ষা
    • জ্যামিতি-সচেতন পরিপূরক মেট্রিক্স প্রবর্তন (ওয়াসারস্টেইন/SWD)
    • কার্যকর পূর্বাভাস সময় (EPT) নির্ভরযোগ্য পূর্বাভাস সীমানা পরিমাপ করার জন্য প্রস্তাব
  2. নতুন পূর্বাভাস দর্শন:
    • গতিশীলতার পরিবর্তে স্থানীয় জ্যামিতি শর্তাধীন লক্ষ্য
    • উপবৃত্তাকার শৃঙ্খল ("মুক্তার স্ট্রিং") এর মাধ্যমে আকর্ষণকারী আকৃতি সংরক্ষণ
    • জ্যামিতিক অনিশ্চয়তা প্রতিনিধিত্ব প্রদান করা
  3. FERN মডেল:
    • Normalizing Flows, Optimal Transport এবং Koopman অপারেটর প্রযুক্তি একীভূত করা
    • UΛU⊤ + t ফর্মের Brenier ম্যাপিং বাস্তবায়ন
    • ব্যর্থতার প্যাটার্ন বিশ্লেষণের জন্য সম্পূর্ণ বর্ণালী স্বচ্ছতা প্রদান করা

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

দীর্ঘমেয়াদী সময় সিরিজ পূর্বাভাস ইনপুট সিকোয়েন্স x₁, ..., xₙ থেকে শর্তাধীন বহু-পদক্ষেপ সিকোয়েন্স y₁, ..., yₙ পূর্বাভাস দেওয়ার লক্ষ্য রাখে, সাধারণত y₁ = xₙ₊₁ চ্যানেল জুড়ে।

মডেল আর্কিটেকচার

১. উপবৃত্তাকার পরিবহন (ET) স্তর

মূল ধারণা হল জটিল অরৈখিক গতিশীলতা অনুসন্ধানকে পরিচিত, ভাল-আচরণকারী রৈখিক সিস্টেমে রূপান্তরিত করা, যাতে তিনটি জ্যামিতিক ক্রিয়া রয়েছে:

গাণিতিক প্রকাশ:

T(y) ≈ T(y₀) + J_T(y₀)(y - y₀) = UΛU⊤y + (T(y₀) - UΛU⊤y₀)

যেখানে:

  • U: অর্থোগোনাল ঘূর্ণন ম্যাট্রিক্স (আইজেনভেক্টর)
  • Λ: তির্যক অ-নেতিবাচক স্কেলিং ম্যাট্রিক্স (আইজেনভ্যালু)
  • অবশিষ্ট পদ: অনুবাদ

২. Koopman বর্ধন

U(z)Λ(z)U(z)⊤ → U(z)KΛ(z)K⊤U(z)⊤

যেখানে K একটি নির্দিষ্ট শেখার যোগ্য 2×2 ব্লক-তির্যক ম্যাট্রিক্স a -b; b a, যা জটিল-মূল্যবান আইজেনভ্যালু অনুকরণ করে।

३. ম্যাক্রো কাঠামো: ANF সম্প্রসারণ

এনকোডার-পরিবহনকারী আর্কিটেকচার গ্রহণ করা হয়েছে:

অ্যালগরিদম ১: এনকোডার (X ↔ Z) এবং উপবৃত্তাকার পরিবহন স্তর

১. z ← N(0,I); y₀ ← N(0,I)
२. i=1 থেকে K_enc=5 এর জন্য:
   - z ← s*(x) ⊙ z + t(x)  # x→z স্কেল-শিফট
   - x ← s*(z) ⊙ x + t(z)  # z→x স্কেল-শিফট
३. y_rot ← KU(z)y₀         # ঘূর্ণন এবং স্ব-স্পিন স্কেলিং
४. y_scaled ← Λy_rot       # অ-নেতিবাচক অ্যানিসোট্রপিক স্কেলিং
५. y_unrot ← U(z)⊤K⊤y_scaled # ফিরিয়ে ঘূর্ণন
६. y* ← y_unrot + t(z)     # অনুবাদ

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

১. জ্যামিতি-সংরক্ষণ ডিজাইন

  • SPSD জ্যাকোবিয়ান সীমাবদ্ধতার মাধ্যমে জ্যামিতিক সামঞ্জস্য নিশ্চিত করা
  • উপবৃত্তাকার শৃঙ্খল বিশৃঙ্খলার বিরুদ্ধে আকর্ষণকারী আকৃতি সংরক্ষণ করা
  • জ্যামিতিক অনিশ্চয়তা প্রতিনিধিত্ব হিসাবে উপাদানীকরণ করা

२. সর্বোত্তম পরিবহন সংযোগ

Brenier উপপাদ্যের উপর ভিত্তি করে, নিয়মিত শর্তের অধীনে একটি প্রায় সর্বত্র অনন্য ম্যাপিং T = ∇φ বিদ্যমান, যার জ্যাকোবিয়ান SPSD। FERN বিন্দু-অনুযায়ী ত্রুটি চালিত অনুসন্ধানের মাধ্যমে Brenier শ্রেণীতে প্রকৃত OT অনুমান করে।

३. বর্ণালী স্বচ্ছতা

শেখা স্কেলিং এবং ঘূর্ণন স্থানীয় আইজেনভ্যালু এবং আইজেনভেক্টর হিসাবে, ব্যর্থতার প্যাটার্ন বিশ্লেষণের জন্য সম্পূর্ণ বর্ণালী স্বচ্ছতা প্রদান করা।

পরীক্ষামূলক সেটআপ

ডেটাসেট

বিশৃঙ্খল সিস্টেম

  1. Lorenz63: σ=10, ρ=28, β=8/3, dt=0.01, steps=25000
  2. Rössler: a=b=0.2, c=5.7, dt=0.01, steps=25000
  3. Chua সার্কিট: α=15.6, β=28.0, dt=0.005, steps=35000

বাস্তব-বিশ্ব বেঞ্চমার্ক

  1. ETT: বৈদ্যুতিক ট্রান্সফরমার তাপমাত্রা ডেটা (ETTh1, ETTh2, ETTm1, ETTm2)
  2. Weather: ২১টি আবহাওয়া সূচক, ১০ মিনিটের ব্যবধান

মূল্যায়ন মেট্রিক্স

  1. ঐতিহ্যবাহী মেট্রিক্স: MSE, MAE
  2. জ্যামিতিক মেট্রিক্স: স্লাইসড ওয়াসারস্টেইন দূরত্ব (SWD)
  3. স্থিতিশীলতা মেট্রিক্স: কার্যকর পূর্বাভাস সময় (EPT)

তুলনা পদ্ধতি

  • TimeMixer
  • PatchTST
  • DLinear

বাস্তবায়ন বিবরণ

  • অপটিমাইজার: AdamW (lr=3×10⁻⁴, ওজন ক্ষয় নেই)
  • ব্যাচ আকার: ৯৬
  • প্রশিক্ষণ যুগ: সর্বাধিক ৫০, ধৈর্য=৫
  • প্রাথমিক থামা এড়াতে ৩ যুগের অনুগ্রহ সময়কাল

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

বিশৃঙ্খল সিস্টেম কর্মক্ষমতা (সিকোয়েন্স দৈর্ঘ্য=336)

Lorenz63:

  • FERN: MSE=21.82±2.13, MAE=2.17, SWD=2.23
  • TimeMixer: MSE=30.94±5.62, MAE=3.19, SWD=11.11
  • PatchTST: MSE=30.11±2.92, MAE=3.28, SWD=9.60
  • DLinear: MSE=67.76±1.12, MAE=6.07, SWD=38.22

Rössler:

  • FERN: MSE=0.04±0.01, MAE=0.11, SWD=0.02
  • TimeMixer: MSE=6.01±0.26, MAE=1.09, SWD=5.20
  • ভিত্তিরেখার তুলনায় উল্লেখযোগ্য উন্নতি, FERN MSE শুধুমাত্র TimeMixer এর ০.৬२%

মান বেঞ্চমার্ক কর্মক্ষমতা

ETT এবং Weather ডেটাসেটে, FERN ETTh1, ETTm1 এবং ETTm2-তে সর্বোত্তম MSE অর্জন করে, প্রতিযোগিতামূলক থাকে।

বিলোপন পরীক্ষা

টেবিল ২ বিস্তারিত বিলোপন ফলাফল দেখায়:

  • Lorenz63-তে ঘূর্ণন/Koopman অপসারণ উল্লেখযোগ্যভাবে SWD খারাপ করে
  • ETTh2-তে প্যাচ অপসারণ গুরুত্বপূর্ণ
  • শুধুমাত্র পরিবহন কনফিগারেশন ভেঙে পড়ে
  • সম্পূর্ণ ডিজাইন সবচেয়ে সামঞ্জস্যপূর্ণ শক্তিশালী

পরীক্ষামূলক অনুসন্ধান

বিশৃঙ্খল সিস্টেম চাপ পরীক্ষার গুরুত্ব

সহজ রৈখিক মডেলগুলি (যেমন DLinear) মান বেঞ্চমার্কে চমৎকার পারফর্ম করে, কিন্তু বিশৃঙ্খল ডেটায় উল্লেখযোগ্যভাবে পিছিয়ে থাকে:

  • DLinear FERN থেকে ২४.০০ গুণ খারাপ
  • TimeMixer থেকে ११.२० গুণ খারাপ
  • PatchTST থেকে २.६७ গুণ খারাপ

জ্যামিতিক মেট্রিক্সের প্রয়োজনীয়তা

ঐতিহ্যবাহী বিন্দু-অনুযায়ী মেট্রিক্সের সীমাবদ্ধতা রয়েছে:

  • পর্যায় অফসেট তীক্ষ্ণ পূর্বাভাস সমতল ২४-ঘন্টা গড় পূর্বাভাসের চেয়ে খারাপ স্কোর করতে পারে
  • ওয়াসারস্টেইন দূরত্ব আকৃতি সাদৃশ্য আরও ভালভাবে চিহ্নিত করে, গড় পূর্বাভাসের দিকে পক্ষপাত করে না

সম্পর্কিত কাজ

LTSF উন্নয়ন বিবর্তন

  1. জটিলতা অনুসরণ: Transformer-ভিত্তিক জটিল সরাসরি বহু-পদক্ষেপ আর্কিটেকচার
  2. সরলতায় ফিরে আসা: DLinear এর মতো সহজ রৈখিক মডেলের সাফল্য জটিলতার প্রয়োজনীয়তা প্রশ্ন করে
  3. ফ্রিকোয়েন্সি ডোমেইন বিশ্লেষণ: পর্যায়ক্রমিক সংকেতের জন্য ফ্রিকোয়েন্সি ডোমেইন পদ্ধতি
  4. Koopman তত্ত্ব: অবস্থা স্থান উত্তোলনের মাধ্যমে অরৈখিক গতিশীলতা রৈখিকীকরণ

এই পেপারের অবস্থান

Normalizing Flows, Optimal Transport এবং Koopman অপারেটর একীভূত করা, কিন্তু সম্পূর্ণ বাস্তবায়ন নয়, বরং শর্তাধীন পূর্বাভাসের জন্য ভাষা এবং প্রযুক্তি ধার করা।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

  1. মূল্যায়ন প্রোটোকল উন্নতি: বিশৃঙ্খল সিস্টেম চাপ পরীক্ষা এবং জ্যামিতি-সচেতন মেট্রিক্স প্রয়োজনীয়
  2. জ্যামিতিক পূর্বাভাস দর্শন: সঠিক গতিশীলতার পরিবর্তে স্থানীয় জ্যামিতি লক্ষ্য আরও শক্তিশালী
  3. বর্ণালী স্বচ্ছতা: স্পষ্ট আইজেনভ্যালু/আইজেনভেক্টর কার্যকর ব্যর্থতার প্যাটার্ন নির্ণয় প্রদান করে

সীমাবদ্ধতা

  1. প্রযোজ্যতার পরিসীমা: প্রধানত নির্ধারণমূলক বিশৃঙ্খল সিস্টেমের জন্য, বিশুদ্ধ র্যান্ডম প্রক্রিয়ায় প্রভাব অজানা
  2. গণনামূলক জটিলতা: সহজ রৈখিক মডেলের তুলনায় বেশি গণনা ওভারহেড
  3. প্যারামিটার সংবেদনশীলতা: একাধিক হাইপারপ্যারামিটার সাবধানে টিউনিং প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

  1. আরও জটিল বিশৃঙ্খল সিস্টেমে সম্প্রসারণ
  2. জ্যামিতি-সংরক্ষণ বৈশিষ্ট্যের তাত্ত্বিক বিশ্লেষণ
  3. বাস্তব অ্যাপ্লিকেশনে দীর্ঘমেয়াদী স্থিতিশীলতা যাচাইকরণ

গভীর মূল্যায়ন

শক্তি

  1. শক্তিশালী উদ্ভাবনী: সময় সিরিজ পূর্বাভাসে জ্যামিতিক দৃষ্টিভঙ্গি প্রবর্তন করা, একাধিক তাত্ত্বিক কাঠামো সংযোগ করা
  2. ব্যাপক পরীক্ষা: বিশৃঙ্খল এবং মান ডেটাসেটে সম্পূর্ণ মূল্যায়ন
  3. তাত্ত্বিক ভিত্তি: Takens এম্বেডিং উপপাদ্য, Brenier উপপাদ্য ইত্যাদি দৃঢ় তাত্ত্বিক ভিত্তি
  4. ব্যবহারিক মূল্য: বর্ণালী স্বচ্ছতা এবং ব্যর্থতার প্যাটার্ন নির্ণয় প্রদান করা

অপূর্ণতা

  1. জটিলতা: মডেল আর্কিটেকচার তুলনামূলকভাবে জটিল, ব্যাখ্যাযোগ্যতা দাবি আরও যাচাইকরণ প্রয়োজন
  2. ভিত্তিরেখা নির্বাচন: বিশৃঙ্খল সিস্টেমের জন্য বিশেষভাবে ডিজাইন করা আরও ভিত্তিরেখার তুলনা অনুপস্থিত
  3. তাত্ত্বিক বিশ্লেষণ: সংমিশ্রণ এবং স্থিতিশীলতার তাত্ত্বিক বিশ্লেষণ অনুপস্থিত

প্রভাব

  1. একাডেমিক অবদান: LTSF মূল্যায়ন এবং ডিজাইনের জন্য নতুন দৃষ্টিভঙ্গি প্রদান করা
  2. ব্যবহারিক মূল্য: বিশৃঙ্খল সিস্টেম পূর্বাভাসে স্পষ্ট সুবিধা প্রদর্শন করা
  3. পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং কোড প্রদান করা

প্রযোজ্য পরিস্থিতি

  1. বিশৃঙ্খল সিস্টেম: আবহাওয়া, ইকোলজি, আর্থিক ইত্যাদি বিশৃঙ্খল বৈশিষ্ট্য সহ সিস্টেম
  2. দীর্ঘমেয়াদী পূর্বাভাস: জ্যামিতিক কাঠামো সংরক্ষণ প্রয়োজন এমন অ্যাপ্লিকেশন
  3. নির্ণয় চাহিদা: গুরুত্বপূর্ণ অ্যাপ্লিকেশনে ব্যর্থতার প্যাটার্ন বিশ্লেষণ প্রয়োজন

তথ্যসূত্র

পেপারটি সমৃদ্ধ সম্পর্কিত কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

  • Takens এম্বেডিং উপপাদ্য সম্পর্কিত কাজ
  • Koopman অপারেটর তত্ত্ব
  • সর্বোত্তম পরিবহন তত্ত্ব
  • সময় সিরিজ পূর্বাভাস বেঞ্চমার্ক পদ্ধতি

সামগ্রিক মূল্যায়ন: এটি একটি উদ্ভাবনী পেপার যা জ্যামিতিক দৃষ্টিকোণ থেকে দীর্ঘমেয়াদী সময় সিরিজ পূর্বাভাস সমস্যা পুনর্বিবেচনা করে, বিশৃঙ্খল সিস্টেমে উল্লেখযোগ্য উন্নতি অর্জন করে। যদিও মডেল জটিলতা উচ্চতর, এর তাত্ত্বিক ভিত্তি দৃঢ়, পরীক্ষামূলক ফলাফল প্রভাবশালী, এবং এটি এই ক্ষেত্রের জন্য মূল্যবান নতুন দৃষ্টিভঙ্গি প্রদান করে।