2025-11-25T02:43:16.690246

Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models

Pan

This paper proposes a modeling framework for dynamic topic evolution based on temporal large language models. The method first uses a large language model to obtain contextual embeddings of text and then introduces a temporal decay function and an attention mechanism. These components allow the model to adjust the importance of semantic units according to time intervals and capture topic variations across different periods. The temporal representations are then mapped into a latent topic space, where a state transition matrix is applied to describe the dynamic evolution of topics. A joint optimization objective constrains both semantic modeling and temporal consistency, ensuring diversity and smoothness in topic generation. The design emphasizes the unified modeling of semantic representation and temporal evolution, which improves topic coherence and diversity while enhancing stability and interpretability over time. Experiments on real-world corpora show that the framework effectively captures the generation, expansion, and decline of topics and outperforms existing models across multiple metrics. Overall, the proposed method provides a systematic solution for understanding dynamic semantic patterns in large-scale text, enriches the research paradigm of topic modeling, and supports complex text analysis tasks in multiple domains.

academic

大規模言語モデルにおける時間減衰と注意機構を用いた動的トピック進化

基本情報

論文ID: 2510.10613
タイトル: Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models
著者: Di Wu (南カリフォルニア大学), Shuaidong Pan (カーネギーメロン大学)
分類: cs.CL cs.AI
発表時期/会議: 2024年プレプリント
論文リンク: https://arxiv.org/abs/2510.10613

要旨

本論文は、時系列大規模言語モデルに基づく動的トピック進化建模フレームワークを提案している。本手法は、まず大規模言語モデルを用いてテキストの文脈埋め込み表現を取得し、その後、時間減衰関数と注意機構を導入することで、モデルが時間間隔に応じて意味単位の重要性を調整し、異なる時期のトピック変化を捉えることができるようにしている。時系列表現はその後、潜在トピック空間にマッピングされ、状態遷移行列を通じてトピックの動的進化が記述される。結合最適化目標は、意味建模と時間一貫性を同時に制約し、トピック生成の多様性と平滑性を確保する。本設計は、意味表現と時間進化の統一建模を強調し、トピックの一貫性と多様性を向上させると同時に、時間的安定性と解釈可能性を高める。

研究背景と動機

問題定義

本研究は、従来のトピック建模手法が動的テキストデータを処理する際の根本的な制限を解決することを目指している：

静的仮定の問題：LDAなどの従来手法は静的仮定に基づいており、時間経過に伴うトピック変化を捉えることができない
時系列情報の欠落：既存の大規模言語モデルは強力な意味表現能力を持つが、時間次元を無視している
動的進化建模：現実ではトピックは発生、拡張、統合、または衰退などの動的プロセスを経験する

重要性と応用価値

高感度領域のニーズ：金融、医療、舆論監視などの領域では、トピックが時間とともにどのように進化するかを理解することが、トレンド予測と意思決定支援に不可欠である
知識体系の構築：動的トピック進化の建模は、人間の知識体系構築を理解するための中核である
社会動態の説明：時系列トピック建模は、情報時代の社会動態ロジックを説明するための重要な手段である

既存手法の制限

従来のトピックモデル：LDAなどの手法は語彙頻度と共起に基づいており、意味軌跡を反映できない
静的言語モデル：BERTやDeBERTaなどは時系列建模機構を欠いている
時間一貫性の不足：既存手法はトピック転換の平滑性を保証することが困難である

核心的貢献

時系列対応の大規模言語モデルフレームワークの提案：時間減衰関数と注意機構を大規模言語モデルに統合して動的トピック建模を行う初の試み
統一された意味-時系列建模アーキテクチャの設計：状態遷移行列を通じてトピック空間の動的進化建模を実現
結合最適化目標の構築：意味表現学習と時系列建模を同時に制約し、トピックの多様性と時系列平滑性を確保
複数の指標における顕著な改善：既存手法と比較して、困惑度、多様性、トピック一貫性、安定性のすべての面で明らかな改善を実現

手法の詳細

タスク定義

時系列テキスト列 $X = \{x_1, x_2, ..., x_T\}$ が与えられたとき、目標は以下を実現できるモデルを学習することである：

テキスト意味表現をキャプチャするエンコーダ
時間経過に伴うトピック動的進化の遷移機構を建模する
時系列一貫性かつ意味的に連貫したトピック分布を生成する

モデルアーキテクチャ

1. 意味埋め込み層

大規模言語モデルのエンコード層を通じて入力テキストを文脈に敏感な埋め込みベクトルにマッピングする：

$H = f(X) = \{h_1, h_2, ..., h_T\}, h_t \in \mathbb{R}^d$

ここで、 $f$ はパラメータ化された言語モデルを表し、 $h_t$ は第 $t$ 番目の単語の意味ベクトルである。

2. 時系列対応注意機構

時間次元の動的進化をキャプチャするため、時間減衰係数を導入する：

$\alpha_{ij} = \frac{\exp(g(t_{ij}) \cdot \frac{h_i^T h_j}{d})}{\sum_{k=1}^T \exp(g(t_{ik}) \cdot \frac{h_i^T h_k}{d})}$

ここで、 $t_{ij}$ は2つのテキスト単位間の時間間隔を表し、 $g(\cdot)$ は時間重み関数であり、指数減衰形式 $g(t) = e^{-\lambda t}$ として設計されている。

3. トピック分布建模

時系列対応の意味表現を潜在トピック空間にマッピングする：

$\theta_i = \text{softmax}(W h_i + b), \theta_i \in \mathbb{R}^K$

ここで、 $W$ と $b$ は学習可能なパラメータであり、 $\theta_i$ は第 $i$ 番目の文書の $K$ 個のトピック上の分布ベクトルである。

4. 状態遷移行列

状態遷移行列を用いてトピックの時間経過に伴う動的変化を建模する：

$A_{t+1} = \Phi A_t + \epsilon_t, \Phi \in \mathbb{R}^{K \times K}$

ここで、 $\Phi$ はトピック遷移行列であり、 $\epsilon_t$ は進化の不確実性を記述するガウスノイズ項である。

技術的革新点

1. 時系列-意味統一建模

革新性：時間減衰機構を大規模言語モデルの注意計算に直接統合する初の試み
合理性：指数減衰関数を通じて最近の意味の作用を強調しながら、遠隔の意味影響を弱める

2. 結合最適化フレームワーク

結合最適化目標関数を設計する：

$L = \sum_{i=1}^N \sum_{k=1}^K y_{ik} \log(\theta_{ik}) + \lambda \sum_{t=1}^{T-1} ||A_{t+1} - \Phi A_t||_2^2$

第1項：トピック分布に基づく対数尤度損失
第2項：時系列一貫性制約
重み係数 $\lambda$ ：意味表現と動的進化建模のバランスを調整

実験設定

データセット

20 Newsgroups データセットを使用：

規模：20の異なるニュースグループの記事を含む
特性：社会、科学、技術、娯楽など複数の主題領域をカバー
時系列特性：クリーニングとグループ化処理を経て、領域間の区別と時系列変化特性を保持

評価指標

困惑度 (Perplexity)：モデルの予測能力を測定
多様性 (Diversity)：トピックの多様化程度を評価
トピック一貫性 (Topic Coherence)：トピック内の語彙の意味的一貫性を測定
トピック安定性 (Topic Stability)：トピックの時間経過に伴う進化の平滑性を評価

比較手法

LDA：従来の潜在ディリクレ配分
BERT：BERTベースのトピック建模
DeBERTa：改善されたBERT変体
Topic Audiolization：音声化ベースのトピック検出
T3：時系列トピック建模手法

実験結果

主要結果

モデル	困惑度	多様性	トピック一貫性	トピック安定性
LDA	950.3	0.62	0.41	0.48
BERT	730.5	0.68	0.46	0.55
DeBERTa	702.7	0.71	0.50	0.60
Topic Audiolization	680.4	0.71	0.50	0.60
T3	655.8	0.73	0.52	0.62
本手法	598.2	0.78	0.57	0.69