2025-11-25T08:13:17.519450

Lifting Manifolds to Mitigate Pseudo-Alignment in LLM4TS

Zheng, Liang, Zhang et al.

Pseudo-Alignment is a pervasive challenge in many large language models for time series (LLM4TS) models, often causing them to underperform compared to linear models or randomly initialised backbones. However, there is limited discussion in the community for the reasons that pseudo-alignment occurs. In this work, we conduct a thorough investigation into the root causes of pseudo-alignment in LLM4TS and build a connection of pseudo-alignment to the cone effect in LLM. We demonstrate that pseudo-alignment arises from the interplay of cone effect within pretrained LLM components and the intrinsically low-dimensional manifold of time-series data. In addition, we also introduce \textit{\textbf{TimeSUP}}, a novel technique designed to mitigate this issue and improve forecast performance in existing LLM4TS approaches. TimeSUP addresses this by increasing the time series manifold to more closely match the intrinsic dimension of language embeddings, allowing the model to distinguish temporal signals clearly while still capturing shared structures across modalities. As a result, representations for time and language tokens remain distinct yet exhibit high cosine similarity, signifying that the model preserves each modality unique features while learning their commonalities in a unified embedding space. Empirically, TimeSUP consistently outperforms state-of-the-art LLM4TS methods and other lightweight baselines on long-term forecasting performance. Furthermore, it can be seamlessly integrated into four existing LLM4TS pipelines and delivers significant improvements in forecasting performance.

academic

LLM4TS में Pseudo-Alignment को कम करने के लिए Manifolds को Lifting करना

मूल जानकारी

पेपर ID: 2510.12847
शीर्षक: Lifting Manifolds to Mitigate Pseudo-Alignment in LLM4TS
लेखक: Liangwei Nathan Zheng, Wenhao Liang, Wei Emma Zhang, Miao Xu, Olaf Maennel, Weitong Chen
वर्गीकरण: cs.LG (मशीन लर्निंग)
प्रकाशन तिथि: 14 अक्टूबर 2024 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.12847

सारांश

Pseudo-Alignment समय श्रृंखला के लिए कई बड़े भाषा मॉडल (LLM4TS) में एक व्यापक चुनौती है, जो अक्सर इन मॉडल के प्रदर्शन को रैखिक मॉडल या यादृच्छिक रूप से आरंभीकृत बैकबोन नेटवर्क से भी बदतर बनाती है। हालांकि, समुदाय में pseudo-alignment के कारणों पर सीमित चर्चा है। यह पेपर LLM4TS में pseudo-alignment के मूल कारणों की गहन जांच करता है और pseudo-alignment को LLM में शंकु प्रभाव (cone effect) से जोड़ता है। अनुसंधान से पता चलता है कि pseudo-alignment पूर्व-प्रशिक्षित LLM घटक में शंकु प्रभाव और समय श्रृंखला डेटा के अंतर्निहित निम्न-आयामी manifold के बीच परस्पर क्रिया से उत्पन्न होता है। इसके अलावा, यह पेपर TimeSUP का परिचय देता है, जो इस समस्या को कम करने और मौजूदा LLM4TS विधियों की भविष्यवाणी प्रदर्शन में सुधार के लिए डिज़ाइन की गई एक नई तकनीक है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

मुख्य समस्या: LLM4TS मॉडल में व्यापक pseudo-alignment घटना, जिससे मॉडल प्रदर्शन खराब होता है, यहां तक कि सरल रैखिक मॉडल से भी बदतर
घटना विवरण: समय श्रृंखला और भाषा प्रतिनिधित्व प्रथम-क्रम आंकड़ों (जैसे माध्य) स्तर पर संरेखित दिखाई देते हैं, लेकिन पूर्ण वितरण अभी भी भिन्न है, जो वास्तविक शब्दार्थ संरेखण की विफलता और मोडल-विशिष्ट विशेषताओं के विकृति को दर्शाता है

अनुसंधान का महत्व

व्यावहारिक अनुप्रयोग मूल्य: समय श्रृंखला विश्लेषण चिकित्सा निदान, मौसम पूर्वानुमान, यातायात प्रवाह और ऊर्जा भार पूर्वानुमान जैसे क्षेत्रों में महत्वपूर्ण अनुप्रयोग हैं
सैद्धांतिक महत्व: गैर-भाषा डोमेन में LLM के अनुकूलन तंत्र को समझना, क्रॉस-मोडल सीखने के लिए सैद्धांतिक आधार प्रदान करना
तकनीकी चुनौती: मौजूदा LLM4TS विधियों में pseudo-alignment तंत्र की उत्पत्ति का व्यवस्थित अध्ययन नहीं है

मौजूदा विधियों की सीमाएं

Pseudo-alignment के मूल कारणों का गहन विश्लेषण नहीं
समय श्रृंखला पूर्वानुमान के लिए LLM के समृद्ध ज्ञान को सक्रिय करने के लिए कोई प्रभावी आर्किटेक्चर संशोधन या प्रशिक्षण रणनीति नहीं
मौजूदा विधियां अक्सर हल्के-फुल्के बेसलाइन मॉडल से भी बदतर प्रदर्शन करती हैं

मुख्य योगदान

डेटा manifold आयाम के दृष्टिकोण से पहली बार pseudo-alignment समस्या का खुलासा, LLM4TS मॉडल के लिए नई अंतर्दृष्टि प्रदान करना, और व्यापक प्रयोगों के माध्यम से समय श्रृंखला पर निम्न-आयामीता के प्रभाव को प्रदर्शित करना
TimeSUP विधि का प्रस्ताव, एक सरल लेकिन प्रभावी बड़े भाषा मॉडल समय श्रृंखला पुनः प्रोग्रामिंग विधि, जो समय श्रृंखला डेटा के सटीक आयाम को बढ़ाकर pseudo-alignment समस्या को प्रभावी ढंग से हल करती है
सुसंगत प्रदर्शन सुधार, TimeSUP विभिन्न दीर्घकालीन पूर्वानुमान डेटासेट पर लगातार अत्याधुनिक LLM4TS बेसलाइन से बेहतर प्रदर्शन करता है, और अन्य LLM4TS विधियों के अनुकूल करना आसान है

विधि विवरण

कार्य परिभाषा

यह पेपर दीर्घकालीन समय श्रृंखला पूर्वानुमान कार्य पर केंद्रित है, जहां इनपुट ऐतिहासिक समय श्रृंखला डेटा है और आउटपुट भविष्य के समय चरणों के लिए पूर्वानुमान मान हैं। मुख्य चुनौती यह है कि समय श्रृंखला पूर्वानुमान प्रदर्शन में सुधार के लिए पूर्व-प्रशिक्षित LLM के भाषा ज्ञान का प्रभावी ढंग से उपयोग कैसे किया जाए।

सैद्धांतिक आधार

समय श्रृंखला Manifold विश्लेषण

PCA विश्लेषण के माध्यम से खोजा गया:

समय श्रृंखला token (patch size=16, stride=8) को अच्छी तरह से प्रतिनिधित्व करने के लिए केवल 21 मुख्य घटकों की आवश्यकता है
GPT-2 भाषा token 712 (कुल 768 में से) घटकों को बनाए रखते हैं
समय श्रृंखला मोडल भाषा मोडल की तुलना में अधिक निम्न-आयामी manifold पर स्थित है

Pseudo-Alignment सैद्धांतिक विश्लेषण

प्रमेय 1: जब manifold आयाम m→0 और n→0 हो, तो कोसाइन समानता केवल समय श्रृंखला और भाषा वितरण के माध्य के बीच समानता में परिवर्तित होती है, जिससे pseudo-alignment होता है।

गणितीय अभिव्यक्ति:

E[cos(x_ts, x_l)] = (μ_ts μ_l) / (√(||μ_ts|| + mσ_ts) √(||μ_l|| + nσ_l))

जब m≪n और mσ_ts नगण्य हो, तो शंकु प्रभाव के कारण, कोसाइन समानता में उल्लेखनीय वृद्धि होती है, समीकरण μ_ts की संपूर्ण भाषा वितरण के साथ उच्च समानता में परिवर्तित होता है।

TimeSUP आर्किटेक्चर

1. पैच समय श्रृंखला एम्बेडिंग

इनपुट अनुक्रम लंबाई L, पैच आकार P, stride S
पैच संख्या उत्पन्न: N = ⌈(P-L)/S⌉ + 1
साझा भाषा एम्बेडिंग स्पेस R^d में रैखिक मानचित्रण

2. Top-K पाठ प्रोटोटाइप चयन

1000 पाठ प्रोटोटाइप उत्पन्न करें, शब्दावली के रैखिक संयोजन के माध्यम से
समय पैच का सर्वोत्तम वर्णन करने वाले Top-K प्रोटोटाइप खोजने के लिए असममित क्रॉस-अटेंशन का उपयोग करें
अटेंशन वेट गणना: A_k = TopK(Softmax(QK^T/√d))

3. समय Manifold एनहांसर

दो हल्के MLP डिज़ाइन किए गए:

M_c ∈ R^((K+1)×N)×n: token आयाम में संचालन
M_f ∈ R^(d×d): विशेषता चैनल में संचालन

संलयन प्रक्रिया:

T* = M_f(M_c^T T_t)^T

जहां T_t समय-पाठ जोड़ी का जुड़ा हुआ प्रतिनिधित्व है।

प्रभाव सत्यापन

PCA जांच प्रयोग के माध्यम से सत्यापित किया गया कि वर्धित प्रतिनिधित्व समय श्रृंखला के आंतरिक manifold आयाम को 21 से 224 तक बढ़ाता है (GPT-2 भाषा token के 712 आयाम की तुलना में), डेटा manifold आयाम में उल्लेखनीय वृद्धि करता है।

प्रयोगात्मक सेटअप

डेटासेट

8 व्यापक रूप से अपनाए गए दीर्घकालीन पूर्वानुमान बेंचमार्क डेटासेट का उपयोग:

ETT श्रृंखला: ETTh1, ETTh2, ETTm1, ETTm2 (विद्युत ट्रांसफॉर्मर तापमान डेटा)
Illness: रोग डेटा (7-आयामी, साप्ताहिक आवृत्ति)
Weather: मौसम डेटा (21-आयामी, 10 मिनट की आवृत्ति)
Traffic: यातायात डेटा (862-आयामी, घंटे की आवृत्ति)
ECL: विद्युत खपत डेटा (862-आयामी, घंटे की आवृत्ति)

मूल्यांकन मेट्रिक्स

MSE: माध्य वर्ग त्रुटि
MAE: माध्य पूर्ण त्रुटि

तुलना विधियां

LLM4TS विधियां: FSCA, CALF, S2IP, TimeLLM, UniTime, OFA हल्के-फुल्के बेसलाइन: TimeMixer, TimesNet, iTransformer

कार्यान्वयन विवरण

हार्डवेयर: 4×RTX 4090 24GB और 4×A100 40GB
अनुकूलक: Adam
हानि फ़ंक्शन: माध्य वर्ग त्रुटि
OFA के आधिकारिक कार्यान्वयन के आधार पर दृश्य विश्लेषण

प्रयोगात्मक परिणाम

मुख्य परिणाम

TimeSUP 80 परीक्षण कॉन्फ़िगरेशन में 60 बार सर्वोत्तम प्रदर्शन प्राप्त करता है, सभी बेसलाइन विधियों से काफी बेहतर:

प्रतिनिधि परिणाम:

ETTh1 औसत: MSE 0.412 बनाम सर्वश्रेष्ठ बेसलाइन 0.426 (3.3% सुधार)
ETTh2 औसत: MSE 0.353 बनाम सर्वश्रेष्ठ बेसलाइन 0.355 (0.6% सुधार)
Illness औसत: MSE 1.885 बनाम सर्वश्रेष्ठ बेसलाइन 2.056 (8.3% सुधार)
Weather औसत: MSE 0.231 बनाम सर्वश्रेष्ठ बेसलाइन 0.233 (0.9% सुधार)

स्तरीय विश्लेषण प्रयोग

6-स्तरीय GPT-2 के क्रमिक दृश्य विश्लेषण के माध्यम से खोजा गया:

बेसलाइन मॉडल: कोसाइन समानता पहले स्तर में ही लगभग 1 तक पहुंच जाती है, और बाद के स्तरों में 0.9 से ऊपर रहती है
TimeSUP: दूसरे स्तर से शुरू करके, समय श्रृंखला एम्बेडिंग शुरू होता है और भाषा manifold पर मानचित्रित होता है, कोसाइन समानता धीरे-धीरे बढ़ती है लेकिन अंत में लगभग 0.6643 पर स्थिर हो जाती है

अनुकूलन प्रयोग

TimeSUP कई मौजूदा LLM4TS विधियों में निर्बाध रूप से एकीकृत हो सकता है:

S2IP+TimeSUP: ETTh1 पर MSE में 3% कमी, MAE में 2% कमी
OFA+TimeSUP: MSE में 4.8% कमी, MAE में 1.3% कमी
औसत सुधार: Illness डेटासेट पर MSE में औसत 11% कमी, ETTh1 पर 2% कमी

विलोपन प्रयोग

LayerNorm (LN) और बहु-सिर अटेंशन (MHA) की पूर्व-प्रशिक्षण/सूक्ष्म-ट्यूनिंग स्थिति को नियंत्रित करके खोजा गया:

LN-PT & MHA-PT: सबसे गंभीर pseudo-alignment उत्पन्न करता है
यादृच्छिक रूप से आरंभीकृत घटक: पूर्वानुमान प्रदर्शन में उल्लेखनीय कमी
LN-PF & MHA-RF: सबसे बड़ी प्रदर्शन कमी
LN-RT & MHA-PF: सबसे कम प्रदर्शन कमी, यह दर्शाता है कि अधिकांश भाषा ज्ञान MHA स्तर में संरक्षित है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

Pseudo-alignment मूल कारण: सिद्ध किया कि pseudo-alignment शंकु प्रभाव और समय श्रृंखला निम्न-आयामी manifold के बीच परस्पर क्रिया का एक समग्र प्रभाव है
प्रभावी समाधान: TimeSUP समय श्रृंखला manifold आयाम को बढ़ाकर pseudo-alignment समस्या को प्रभावी ढंग से कम करता है
व्यापक प्रयोज्यता: यह विधि विभिन्न LLM4TS आर्किटेक्चर में "प्लग-एंड-प्ले" मॉड्यूल के रूप में एकीकृत की जा सकती है

सीमाएं

कम्प्यूटेशनल ओवरहेड: हालांकि TimeSUP अपेक्षाकृत हल्का है, लेकिन बढ़ा हुआ आयाम अभी भी कुछ कम्प्यूटेशनल लागत लाता है
हाइपरपैरामीटर संवेदनशीलता: Top-K चयन और संपीड़ित token संख्या जैसे हाइपरपैरामीटर को विभिन्न डेटासेट के लिए ट्यून करने की आवश्यकता है
सैद्धांतिक विश्लेषण: हालांकि गणितीय प्रमाण प्रदान किए गए हैं, लेकिन जटिल वास्तविक परिस्थितियों के लिए सैद्धांतिक कवरेज अभी भी सीमित है

भविष्य की दिशाएं

अनुकूली आयाम वृद्धि: सर्वोत्तम manifold आयाम को स्वचालित रूप से निर्धारित करने में सक्षम विधियां विकसित करना
बहु-मोडल विस्तार: इस विचार को अन्य मोडल संरेखण समस्याओं तक विस्तारित करना
दक्षता अनुकूलन: अधिक कुशल manifold वर्धन तकनीकों का अनुसंधान करना

गहन मूल्यांकन

शक्तियां

सैद्धांतिक योगदान उत्कृष्ट: manifold आयाम के दृष्टिकोण से पहली बार pseudo-alignment समस्या का गहन विश्लेषण, स्पष्ट गणितीय सैद्धांतिक समर्थन प्रदान करता है
विधि सरल और प्रभावी: TimeSUP डिजाइन सरल है लेकिन प्रभाव महत्वपूर्ण है, समझने और कार्यान्वयन में आसान है
प्रयोग व्यापक: 8 डेटासेट पर 10 बेसलाइन विधियों के साथ व्यापक तुलना, परिणाम विश्वसनीय हैं
दृश्य विश्लेषण गहन: UMAP और स्तरीय विश्लेषण के माध्यम से विधि के कार्य तंत्र को स्पष्ट रूप से प्रदर्शित करता है
व्यापक प्रयोज्यता: सिद्ध किया कि विधि विभिन्न मौजूदा आर्किटेक्चर में एकीकृत की जा सकती है

कमियां

कम्प्यूटेशनल दक्षता विश्लेषण अपर्याप्त: बढ़ी हुई कम्प्यूटेशनल लागत और प्रशिक्षण समय का विस्तृत विश्लेषण नहीं
हाइपरपैरामीटर संवेदनशीलता: विभिन्न डेटासेट के लिए विभिन्न हाइपरपैरामीटर सेटिंग की आवश्यकता है, एकीकृत चयन रणनीति नहीं है
दीर्घकालीन प्रभाव सत्यापन: मुख्य रूप से दीर्घकालीन पूर्वानुमान पर केंद्रित है, अल्पकालीन पूर्वानुमान और अन्य समय श्रृंखला कार्यों पर प्रभाव को आगे सत्यापित करने की आवश्यकता है
सैद्धांतिक धारणाएं: कुछ गणितीय व्युत्पत्तियां आदर्शीकृत धारणाओं पर आधारित हैं, वास्तविक अनुप्रयोग में प्रयोज्यता सीमित हो सकती है

प्रभाव

शैक्षणिक मूल्य: LLM4TS क्षेत्र के लिए महत्वपूर्ण सैद्धांतिक अंतर्दृष्टि प्रदान करता है, बाद के संबंधित अनुसंधान को प्रेरित कर सकता है
व्यावहारिक मूल्य: प्लग-एंड-प्ले मॉड्यूल के रूप में, व्यावहारिक अनुप्रयोग की मजबूत संभावना है
पुनरुत्पादनीयता: पेपर विस्तृत कार्यान्वयन विवरण और पैरामीटर सेटिंग प्रदान करता है, पुनरुत्पादन को सुविधाजनक बनाता है

लागू परिस्थितियां

दीर्घकालीन समय श्रृंखला पूर्वानुमान: विशेष रूप से LLM ज्ञान का उपयोग करने की आवश्यकता वाले जटिल समय श्रृंखला पूर्वानुमान कार्यों के लिए उपयुक्त
बहु-मोडल सीखना: यह विचार अन्य आयाम असमानता वाली क्रॉस-मोडल सीखने की समस्याओं तक विस्तारित हो सकता है
पूर्व-प्रशिक्षित मॉडल अनुकूलन: पूर्व-प्रशिक्षित भाषा मॉडल को अन्य डोमेन में अनुकूलित करने के लिए नई सोच प्रदान करता है

संदर्भ

यह पेपर 35 संबंधित संदर्भों का हवाला देता है, जिसमें समय श्रृंखला पूर्वानुमान, बड़े भाषा मॉडल, बहु-मोडल सीखना आदि कई क्षेत्रों के महत्वपूर्ण कार्य शामिल हैं, जो अनुसंधान के लिए एक मजबूत सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह एक उच्च गुणवत्ता वाला पेपर है, सैद्धांतिक विश्लेषण और प्रयोगात्मक सत्यापन दोनों में काफी व्यापक है। पेपर LLM4TS क्षेत्र में एक महत्वपूर्ण समस्या की पहचान करता है और समाधान करता है, प्रस्तावित विधि सरल और प्रभावी है, व्यावहारिक मूल्य और शैक्षणिक महत्व दोनों में मजबूत है।