2025-11-25T02:43:16.690246

Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models

Pan

This paper proposes a modeling framework for dynamic topic evolution based on temporal large language models. The method first uses a large language model to obtain contextual embeddings of text and then introduces a temporal decay function and an attention mechanism. These components allow the model to adjust the importance of semantic units according to time intervals and capture topic variations across different periods. The temporal representations are then mapped into a latent topic space, where a state transition matrix is applied to describe the dynamic evolution of topics. A joint optimization objective constrains both semantic modeling and temporal consistency, ensuring diversity and smoothness in topic generation. The design emphasizes the unified modeling of semantic representation and temporal evolution, which improves topic coherence and diversity while enhancing stability and interpretability over time. Experiments on real-world corpora show that the framework effectively captures the generation, expansion, and decline of topics and outperforms existing models across multiple metrics. Overall, the proposed method provides a systematic solution for understanding dynamic semantic patterns in large-scale text, enriches the research paradigm of topic modeling, and supports complex text analysis tasks in multiple domains.

academic

বড় ভাষা মডেলে সময়গত ক্ষয় এবং মনোযোগ সহ গতিশীল বিষয় বিবর্তন

মৌলিক তথ্য

পেপার আইডি: 2510.10613
শিরোনাম: Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models
লেখক: Di Wu (University of Southern California), Shuaidong Pan (Carnegie Mellon University)
শ্রেণীবিভাগ: cs.CL cs.AI
প্রকাশনার সময়/সম্মেলন: ২০২৪ প্রাক-প্রিন্ট
পেপার লিঙ্ক: https://arxiv.org/abs/2510.10613

সারসংক্ষেপ

এই পেপারটি সময়-সংবেদনশীল বড় ভাষা মডেলের উপর ভিত্তি করে গতিশীল বিষয় বিবর্তন মডেলিংয়ের একটি কাঠামো প্রস্তাব করে। এই পদ্ধতিটি প্রথমে বড় ভাষা মডেল ব্যবহার করে পাঠ্যের প্রসঙ্গ-সংবেদনশীল এম্বেডিং প্রতিনিধিত্ব অর্জন করে, তারপর সময়গত ক্ষয় ফাংশন এবং মনোযোগ প্রক্রিয়া প্রবর্তন করে, যা মডেলকে সময়ের ব্যবধান অনুযায়ী শব্দার্থিক ইউনিটের গুরুত্ব সামঞ্জস্য করতে এবং বিভিন্ন সময়কালের বিষয় পরিবর্তন ক্যাপচার করতে সক্ষম করে। সময়-সংবেদনশীল প্রতিনিধিত্ব পরবর্তীতে সুপ্ত বিষয় স্থানে ম্যাপ করা হয়, অবস্থা রূপান্তর ম্যাট্রিক্সের মাধ্যমে বিষয়ের গতিশীল বিবর্তন বর্ণনা করা হয়। যৌথ অপ্টিমাইজেশন উদ্দেশ্য একযোগে শব্দার্থিক মডেলিং এবং সময়গত সামঞ্জস্য সীমাবদ্ধ করে, বিষয় উৎপাদনের বৈচিত্র্য এবং মসৃণতা নিশ্চিত করে। এই ডিজাইন শব্দার্থিক প্রতিনিধিত্ব এবং সময়গত বিবর্তনের একীভূত মডেলিং জোর দেয়, বিষয়ের সংহতি এবং বৈচিত্র্য উন্নত করে, একই সাথে সময়গত স্থিতিশীলতা এবং ব্যাখ্যাযোগ্যতা বৃদ্ধি করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

এই গবেষণা গতিশীল পাঠ্য ডেটা প্রক্রিয়াকরণে ঐতিহ্যবাহী বিষয় মডেলিং পদ্ধতির মৌলিক সীমাবদ্ধতা সমাধানের লক্ষ্য রাখে:

স্ট্যাটিক অনুমান সমস্যা: LDA-এর মতো ঐতিহ্যবাহী পদ্ধতি স্ট্যাটিক অনুমানের উপর ভিত্তি করে, সময়ের সাথে বিষয়ের পরিবর্তন ক্যাপচার করতে পারে না
সময়গত তথ্য অনুপস্থিতি: বিদ্যমান বড় ভাষা মডেল শক্তিশালী শব্দার্থিক প্রতিনিধিত্ব ক্ষমতা থাকলেও, সময় মাত্রা উপেক্ষা করে
গতিশীল বিবর্তন মডেলিং: বাস্তবে বিষয়গুলি উৎপাদন, সম্প্রসারণ, একীকরণ বা হ্রাসের মতো গতিশীল প্রক্রিয়ার মধ্য দিয়ে যায়

গুরুত্ব এবং প্রয়োগ মূল্য

উচ্চ-সংবেদনশীল ক্ষেত্রের চাহিদা: আর্থিক, চিকিৎসা, জনমত পর্যবেক্ষণ এবং অন্যান্য ক্ষেত্রে, বিষয় কীভাবে সময়ের সাথে বিকশিত হয় তা বোঝা প্রবণতা পূর্বাভাস এবং সিদ্ধান্ত সমর্থনের জন্য গুরুত্বপূর্ণ
জ্ঞান ব্যবস্থা নির্মাণ: গতিশীল বিষয় বিবর্তন মডেলিং মানব জ্ঞান ব্যবস্থা নির্মাণ বোঝার মূল
সামাজিক গতিশীলতা ব্যাখ্যা: সময়-সংবেদনশীল বিষয় মডেলিং তথ্য যুগে সামাজিক গতিশীলতার যুক্তি ব্যাখ্যার মূল উপায়

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

ঐতিহ্যবাহী বিষয় মডেল: LDA এবং অন্যান্য পদ্ধতি শব্দ ফ্রিকোয়েন্সি এবং সহ-উপস্থিতির উপর ভিত্তি করে, শব্দার্থিক গতিপথ প্রতিফলিত করতে পারে না
স্ট্যাটিক ভাষা মডেল: BERT, DeBERTa এবং অন্যান্য সময়গত মডেলিং প্রক্রিয়ার অভাব রয়েছে
সময়গত সামঞ্জস্য অপর্যাপ্ত: বিদ্যমান পদ্ধতি বিষয় রূপান্তরের মসৃণতা নিশ্চিত করতে কঠিন

মূল অবদান

সময়-সংবেদনশীল বড় ভাষা মডেল কাঠামো প্রস্তাব: প্রথমবারের মতো সময়গত ক্ষয় ফাংশন এবং মনোযোগ প্রক্রিয়া বড় ভাষা মডেলে গতিশীল বিষয় মডেলিংয়ের জন্য একীভূত করা হয়েছে
একীভূত শব্দার্থিক-সময়গত মডেলিং স্থাপত্য ডিজাইন: অবস্থা রূপান্তর ম্যাট্রিক্সের মাধ্যমে বিষয় স্থানের গতিশীল বিবর্তন মডেলিং বাস্তবায়ন
যৌথ অপ্টিমাইজেশন উদ্দেশ্য নির্মাণ: শব্দার্থিক প্রতিনিধিত্ব শিক্ষা এবং সময় সিরিজ মডেলিং একযোগে সীমাবদ্ধ করা, বিষয়ের বৈচিত্র্য এবং সময়গত মসৃণতা নিশ্চিত করা
একাধিক মেট্রিকে উল্লেখযোগ্য উন্নতি অর্জন: বিদ্যমান পদ্ধতির তুলনায় বিভ্রান্তি, বৈচিত্র্য, বিষয় সংহতি এবং স্থিতিশীলতায় স্পষ্ট উন্নতি

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

সময়-সংবেদনশীল পাঠ্য ক্রম $X = \{x_1, x_2, ..., x_T\}$ দেওয়া হলে, লক্ষ্য হল এমন একটি মডেল শিখা যা:

পাঠ্যের শব্দার্থিক প্রতিনিধিত্ব ক্যাপচার করতে পারে
সময়ের সাথে বিষয়ের গতিশীল বিবর্তনের রূপান্তর প্রক্রিয়া মডেল করতে পারে
সময়-সংবেদনশীল সামঞ্জস্যপূর্ণ এবং শব্দার্থিকভাবে সংহত বিষয় বিতরণ উৎপাদন করতে পারে

মডেল স্থাপত্য

১. শব্দার্থিক এম্বেডিং স্তর

বড় ভাষা মডেলের এনকোডিং স্তরের মাধ্যমে ইনপুট পাঠ্যকে প্রসঙ্গ-সংবেদনশীল এম্বেডিং ভেক্টরে ম্যাপ করা:

$H = f(X) = \{h_1, h_2, ..., h_T\}, h_t \in \mathbb{R}^d$

যেখানে $f$ প্যারামিটারযুক্ত ভাষা মডেল প্রতিনিধিত্ব করে, $h_t$ হল $t$ -তম শব্দের শব্দার্থিক ভেক্টর।

২. সময়-সংবেদনশীল মনোযোগ প্রক্রিয়া

সময় মাত্রার গতিশীল বিবর্তন ক্যাপচার করার জন্য, সময়গত ক্ষয় ফ্যাক্টর প্রবর্তন করা:

$\alpha_{ij} = \frac{\exp(g(t_{ij}) \cdot \frac{h_i^T h_j}{d})}{\sum_{k=1}^T \exp(g(t_{ik}) \cdot \frac{h_i^T h_k}{d})}$

যেখানে $t_{ij}$ দুটি পাঠ্য ইউনিটের মধ্যে সময়ের ব্যবধান প্রতিনিধিত্ব করে, $g(\cdot)$ সময় ওজন ফাংশন, সূচকীয় ক্ষয় আকারে ডিজাইন করা হয়েছে $g(t) = e^{-\lambda t}$ ।

৩. বিষয় বিতরণ মডেলিং

সময়-সংবেদনশীল শব্দার্থিক প্রতিনিধিত্ব সুপ্ত বিষয় স্থানে ম্যাপ করা:

$\theta_i = \text{softmax}(W h_i + b), \theta_i \in \mathbb{R}^K$

যেখানে $W$ এবং $b$ শিক্ষণযোগ্য প্যারামিটার, $\theta_i$ হল $i$ -তম ডকুমেন্টের $K$ টি বিষয়ে বিতরণ ভেক্টর।

৪. অবস্থা রূপান্তর ম্যাট্রিক্স

সময়ের সাথে বিষয়ের গতিশীল পরিবর্তন মডেল করার জন্য অবস্থা রূপান্তর ম্যাট্রিক্স ব্যবহার করা:

$A_{t+1} = \Phi A_t + \epsilon_t, \Phi \in \mathbb{R}^{K \times K}$

যেখানে $\Phi$ বিষয় রূপান্তর ম্যাট্রিক্স, $\epsilon_t$ বিবর্তনের অনিশ্চয়তা বর্ণনা করে এমন গাউসীয় শব্দ পদ।

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

১. সময়গত-শব্দার্থিক একীভূত মডেলিং

উদ্ভাবনী দিক: প্রথমবারের মতো সময়গত ক্ষয় প্রক্রিয়া সরাসরি বড় ভাষা মডেলের মনোযোগ গণনায় একীভূত করা হয়েছে
যুক্তিসঙ্গতি: সূচকীয় ক্ষয় ফাংশনের মাধ্যমে সাম্প্রতিক শব্দার্থিকের প্রভাব তুলে ধরা, একই সাথে দূরবর্তী শব্দার্থিক প্রভাব দুর্বল করা

২. যৌথ অপ্টিমাইজেশন কাঠামো

যৌথ অপ্টিমাইজেশন উদ্দেশ্য ফাংশন ডিজাইন করা:

$L = \sum_{i=1}^N \sum_{k=1}^K y_{ik} \log(\theta_{ik}) + \lambda \sum_{t=1}^{T-1} ||A_{t+1} - \Phi A_t||_2^2$

প্রথম পদ: বিষয় বিতরণের উপর ভিত্তি করে লগ-সম্ভাবনা ক্ষতি
দ্বিতীয় পদ: সময়গত সামঞ্জস্য সীমাবদ্ধতা
ওজন সহগ $\lambda$ : শব্দার্থিক প্রতিনিধিত্ব এবং গতিশীল বিবর্তন মডেলিং ভারসাম্য রাখা

পরীক্ষামূলক সেটআপ

ডেটাসেট

20 Newsgroups ডেটাসেট ব্যবহার করা:

স্কেল: ২০টি ভিন্ন নিউজগ্রুপের নিবন্ধ অন্তর্ভুক্ত
বৈশিষ্ট্য: সামাজিক, বৈজ্ঞানিক, প্রযুক্তিগত, বিনোদন এবং অন্যান্য একাধিক বিষয় ক্ষেত্র অন্তর্ভুক্ত
সময়গত বৈশিষ্ট্য: পরিষ্কার এবং গ্রুপিং প্রক্রিয়াকরণের মাধ্যমে, ক্রস-ডোমেইন পার্থক্য এবং সময়গত পরিবর্তন বৈশিষ্ট্য বজায় রাখা

মূল্যায়ন মেট্রিক্স

বিভ্রান্তি (Perplexity): মডেলের পূর্বাভাস ক্ষমতা পরিমাপ করা
বৈচিত্র্য (Diversity): বিষয়ের বৈচিত্র্যময়তা মূল্যায়ন করা
বিষয় সংহতি (Topic Coherence): বিষয়ের মধ্যে শব্দের শব্দার্থিক সামঞ্জস্য পরীক্ষা করা
বিষয় স্থিতিশীলতা (Topic Stability): বিষয়ের সময়গত বিবর্তনের মসৃণতা মূল্যায়ন করা

তুলনামূলক পদ্ধতি

LDA: ঐতিহ্যবাহী সুপ্ত ডিরিচলেট বরাদ্দ
BERT: BERT-ভিত্তিক বিষয় মডেলিং
DeBERTa: উন্নত BERT ভেরিয়েন্ট
Topic Audiolization: অডিও-ভিত্তিক বিষয় সনাক্তকরণ
T3: সময়গত বিষয় মডেলিং পদ্ধতি

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

মডেল	বিভ্রান্তি	বৈচিত্র্য	বিষয় সংহতি	বিষয় স্থিতিশীলতা
LDA	950.3	0.62	0.41	0.48
BERT	730.5	0.68	0.46	0.55
DeBERTa	702.7	0.71	0.50	0.60
Topic Audiolization	680.4	0.71	0.50	0.60
T3	655.8	0.73	0.52	0.62
এই পেপারের পদ্ধতি	598.2	0.78	0.57	0.69

মূল আবিষ্কার:

এই পেপারের পদ্ধতি সমস্ত মেট্রিকে সর্বোত্তম কর্মক্ষমতা অর্জন করে
বিভ্রান্তি সর্বোত্তম বেসলাইন পদ্ধতির তুলনায় ৮.৮% হ্রাস পায়
বিষয় স্থিতিশীলতা উল্লেখযোগ্যভাবে উন্নত হয়, T3 পদ্ধতির তুলনায় ১১.৩% বৃদ্ধি পায়

বিলোপন পরীক্ষা

১. লুকানো স্তর মাত্রা সংবেদনশীলতা বিশ্লেষণ

পরীক্ষামূলক ফলাফল দেখায়:

১২৮-৭৬৮ মাত্রা: বিষয় সংহতি এবং বৈচিত্র্য মাত্রা বৃদ্ধির সাথে বৃদ্ধি পায়
৭৬৮ মাত্রা: সর্বোত্তম কর্মক্ষমতা ভারসাম্য পয়েন্টে পৌঁছায়
১০২৪ মাত্রা: কর্মক্ষমতা সামান্য হ্রাস পায়, অত্যধিক উচ্চ মাত্রা শব্দ প্রবর্তন করে

২. সময়গত দৈর্ঘ্য প্রভাব বিশ্লেষণ

ক্রম দৈর্ঘ্য ২০০: বিভ্রান্তি সর্বনিম্ন মূল্যে পৌঁছায়
মধ্যম দৈর্ঘ্য: বৈচিত্র্য শিখরে পৌঁছায়
অত্যধিক দীর্ঘ ক্রম: অপ্রয়োজনীয় তথ্য প্রবর্তন করতে পারে, মডেলিং প্রভাবিত করে

পরীক্ষামূলক আবিষ্কার

সময়গত প্রক্রিয়ার কার্যকারিতা: সময়গত ক্ষয় প্রবর্তন বিষয় স্থিতিশীলতা উল্লেখযোগ্যভাবে উন্নত করে
মাত্রা নির্বাচনের গুরুত্ব: উপযুক্ত লুকানো স্তর মাত্রা মডেল ক্ষমতা এবং দক্ষতা ভারসাম্য রাখার জন্য গুরুত্বপূর্ণ
ক্রম দৈর্ঘ্য অপ্টিমাইজেশন: সর্বোত্তম সময় উইন্ডো বিদ্যমান, অত্যধিক ছোট বা দীর্ঘ উভয়ই কর্মক্ষমতা প্রভাবিত করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

প্রস্তাবিত সময়-সংবেদনশীল কাঠামো ঐতিহ্যবাহী বিষয় মডেলিংয়ের স্ট্যাটিক সীমাবদ্ধতা কার্যকরভাবে সমাধান করে
সময়গত ক্ষয় এবং মনোযোগ প্রক্রিয়ার সমন্বয় বিষয় বিবর্তন মডেলিং ক্ষমতা উল্লেখযোগ্যভাবে উন্নত করে
যৌথ অপ্টিমাইজেশন কৌশল শব্দার্থিক গুণমান এবং সময়গত সামঞ্জস্যের ভারসাম্য নিশ্চিত করে

সীমাবদ্ধতা

গণনামূলক জটিলতা: সময়গত মনোযোগ প্রক্রিয়া গণনামূলক খরচ বৃদ্ধি করে
প্যারামিটার সংবেদনশীলতা: সময়গত ক্ষয় প্যারামিটার λ বিভিন্ন ডেটাসেটের জন্য সামঞ্জস্য প্রয়োজন
দীর্ঘমেয়াদী নির্ভরতা: অত্যন্ত দীর্ঘ সময় ক্রমের মডেলিং ক্ষমতা এখনও সীমিত

ভবিষ্যত দিকনির্দেশনা

বহু-মাত্রিক সময়গত মডেলিং: বাহ্যিক ঘটনা এবং কার্যকারণ কাঠামো একত্রিত করা
বহুভাষিক সম্প্রসারণ: বহুভাষিক এবং ক্রস-ডোমেইন কর্পাসে অভিযোজনযোগ্যতা পরীক্ষা করা
বহু-মোডেল একীকরণ: আরও জটিল তথ্য পরিবেশে সম্প্রসারণ করা

গভীর মূল্যায়ন

সুবিধা

পদ্ধতি উদ্ভাবন শক্তিশালী: প্রথমবারের মতো সময়গত ক্ষয় সরাসরি বড় ভাষা মডেল মনোযোগ প্রক্রিয়ায় একীভূত করা হয়েছে
পরীক্ষামূলক ডিজাইন সম্পূর্ণ: পর্যাপ্ত তুলনামূলক পরীক্ষা এবং বিলোপন গবেষণা অন্তর্ভুক্ত
ফলাফল প্ররোচনা শক্তিশালী: একাধিক মেট্রিকে উল্লেখযোগ্য এবং সামঞ্জস্যপূর্ণ উন্নতি
প্রয়োগ মূল্য উচ্চ: আর্থিক, চিকিৎসা, জনমত পর্যবেক্ষণ এবং অন্যান্য ক্ষেত্রে বাস্তব প্রয়োগ সম্ভাবনা

অপূর্ণতা

ডেটাসেট সীমাবদ্ধতা: শুধুমাত্র 20 Newsgroups-এ যাচাইকৃত, আরও বড় স্কেল এবং বৈচিত্র্যময় মূল্যায়ন অভাব
তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: সময়গত ক্ষয় ফাংশন নির্বাচনের তাত্ত্বিক বিশ্লেষণ অভাব
গণনামূলক দক্ষতা আলোচনা অনুপস্থিত: বিস্তারিত গণনামূলক জটিলতা বিশ্লেষণ এবং দক্ষতা তুলনা প্রদান করা হয়নি
প্যারামিটার সমন্বয় নির্দেশনা অপর্যাপ্ত: মূল হাইপার-প্যারামিটার নির্বাচনে সিস্টেমেটিক নির্দেশনা অভাব

প্রভাব

একাডেমিক অবদান: গতিশীল বিষয় মডেলিংয়ের জন্য নতুন গবেষণা প্যারাডাইম প্রদান করে
ব্যবহারিক মূল্য: রিয়েল-টাইম পাঠ্য বিশ্লেষণ এবং প্রবণতা পূর্বাভাসে সরাসরি প্রয়োগ করা যায়
পুনরুৎপাদনযোগ্যতা: পদ্ধতি বর্ণনা স্পষ্ট, কিন্তু কোড ওপেন-সোর্স তথ্য অনুপস্থিত

প্রযোজ্য দৃশ্যকল্প

সংবাদ মিডিয়া বিশ্লেষণ: হট টপিক বিবর্তন গতিপথ ট্র্যাক করা
একাডেমিক সাহিত্য খনন: গবেষণা ক্ষেত্রের উন্নয়ন প্রবণতা আবিষ্কার করা
সোশ্যাল মিডিয়া পর্যবেক্ষণ: রিয়েল-টাইম জনমত পরিবর্তন পর্যবেক্ষণ করা
ব্যবসায়িক বুদ্ধিমত্তা বিশ্লেষণ: বাজার প্রবণতা এবং ভোক্তা মনোযোগ পয়েন্ট পরিবর্তন বিশ্লেষণ

সংদর্ভ

পেপারটি ২৬টি সম্পর্কিত সংদর্ভ উদ্ধৃত করে, যা ঐতিহ্যবাহী বিষয় মডেলিং, বড় ভাষা মডেল, সময়গত মডেলিং এবং অন্যান্য একাধিক গবেষণা ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, এই পেপারের প্রযুক্তিগত রুটের জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি গতিশীল বিষয় মডেলিং ক্ষেত্রে গুরুত্বপূর্ণ অবদান সহ একটি পেপার, যা উদ্ভাবনীভাবে সময়গত প্রক্রিয়া বড় ভাষা মডেলে একীভূত করে ঐতিহ্যবাহী পদ্ধতির স্ট্যাটিক সীমাবদ্ধতা কার্যকরভাবে সমাধান করে। যদিও পরীক্ষামূলক স্কেল এবং তাত্ত্বিক বিশ্লেষণে উন্নতির সুযোগ রয়েছে, তবে এর প্রযুক্তিগত উদ্ভাবন এবং ব্যবহারিক মূল্য এটিকে এই ক্ষেত্রের একটি গুরুত্বপূর্ণ অগ্রগতি করে তোলে।