2025-11-25T02:43:16.690246

Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models

Pan

This paper proposes a modeling framework for dynamic topic evolution based on temporal large language models. The method first uses a large language model to obtain contextual embeddings of text and then introduces a temporal decay function and an attention mechanism. These components allow the model to adjust the importance of semantic units according to time intervals and capture topic variations across different periods. The temporal representations are then mapped into a latent topic space, where a state transition matrix is applied to describe the dynamic evolution of topics. A joint optimization objective constrains both semantic modeling and temporal consistency, ensuring diversity and smoothness in topic generation. The design emphasizes the unified modeling of semantic representation and temporal evolution, which improves topic coherence and diversity while enhancing stability and interpretability over time. Experiments on real-world corpora show that the framework effectively captures the generation, expansion, and decline of topics and outperforms existing models across multiple metrics. Overall, the proposed method provides a systematic solution for understanding dynamic semantic patterns in large-scale text, enriches the research paradigm of topic modeling, and supports complex text analysis tasks in multiple domains.

academic

Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models

基本信息

论文ID: 2510.10613
标题: Dynamic Topic Evolution with Temporal Decay and Attention in Large Language Models
作者: Di Wu (University of Southern California), Shuaidong Pan (Carnegie Mellon University)
分类: cs.CL cs.AI
发表时间/会议: 2024年预印本
论文链接: https://arxiv.org/abs/2510.10613

摘要

本文提出了一个基于时序大语言模型的动态主题演化建模框架。该方法首先使用大语言模型获取文本的上下文嵌入表示，然后引入时间衰减函数和注意力机制，使模型能够根据时间间隔调整语义单元的重要性，并捕获不同时期的主题变化。时序表示随后被映射到潜在主题空间，通过状态转移矩阵描述主题的动态演化。联合优化目标同时约束语义建模和时间一致性，确保主题生成的多样性和平滑性。该设计强调语义表示和时间演化的统一建模，提高了主题的连贯性和多样性，同时增强了时间稳定性和可解释性。

研究背景与动机

问题定义

该研究旨在解决传统主题建模方法在处理动态文本数据时的根本性局限：

静态假设问题：传统方法如LDA基于静态假设，无法捕获主题随时间的变化
时序信息缺失：现有大语言模型虽然具有强大的语义表示能力，但忽略了时间维度
动态演化建模：现实中主题会经历产生、扩展、合并或衰落等动态过程

重要性与应用价值

高敏感度领域需求：在金融、医疗、舆情监控等领域，理解主题如何随时间演化对趋势预测和决策支持至关重要
知识系统构建：建模动态主题演化是理解人类知识系统构建的核心
社会动态解释：时序主题建模是解释信息时代社会动态逻辑的关键途径

现有方法局限性

传统主题模型：LDA等方法基于词频和共现，无法反映语义轨迹
静态语言模型：BERT、DeBERTa等缺乏时序建模机制
时序一致性不足：现有方法难以保证主题转换的平滑性

核心贡献

提出了时序感知的大语言模型框架：首次将时间衰减函数和注意力机制集成到大语言模型中进行动态主题建模
设计了统一的语义-时序建模架构：通过状态转移矩阵实现主题空间的动态演化建模
构建了联合优化目标：同时约束语义表示学习和时间序列建模，确保主题的多样性和时序平滑性
在多个指标上取得显著提升：相比现有方法在困惑度、多样性、主题连贯性和稳定性方面均有明显改善

方法详解

任务定义

给定时序文本序列 $X = \{x_1, x_2, ..., x_T\}$ ，目标是学习一个能够：

捕获文本语义表示的编码器
建模主题随时间动态演化的转移机制
生成时序一致且语义连贯的主题分布

模型架构

1. 语义嵌入层

通过大语言模型的编码层将输入文本映射为上下文敏感的嵌入向量：

$H = f(X) = \{h_1, h_2, ..., h_T\}, h_t \in \mathbb{R}^d$

其中 $f$ 表示参数化的语言模型， $h_t$ 是第 $t$ 个词的语义向量。

2. 时序感知注意力机制

为捕获时间维度的动态演化，引入时间衰减因子：

$\alpha_{ij} = \frac{\exp(g(t_{ij}) \cdot \frac{h_i^T h_j}{d})}{\sum_{k=1}^T \exp(g(t_{ik}) \cdot \frac{h_i^T h_k}{d})}$

其中 $t_{ij}$ 表示两个文本单元间的时间间隔， $g(\cdot)$ 是时间权重函数，设计为指数衰减形式 $g(t) = e^{-\lambda t}$ 。

3. 主题分布建模

将时序感知的语义表示映射到潜在主题空间：

$\theta_i = \text{softmax}(W h_i + b), \theta_i \in \mathbb{R}^K$

其中 $W$ 和 $b$ 是可学习参数， $\theta_i$ 是第 $i$ 个文档在 $K$ 个主题上的分布向量。

4. 状态转移矩阵

使用状态转移矩阵建模主题随时间的动态变化：

$A_{t+1} = \Phi A_t + \epsilon_t, \Phi \in \mathbb{R}^{K \times K}$

其中 $\Phi$ 是主题转移矩阵， $\epsilon_t$ 是描述演化不确定性的高斯噪声项。

技术创新点

1. 时序-语义统一建模

创新性：首次将时间衰减机制直接集成到大语言模型的注意力计算中
合理性：通过指数衰减函数突出近期语义的作用，同时弱化远程语义影响

2. 联合优化框架

设计联合优化目标函数：

$L = \sum_{i=1}^N \sum_{k=1}^K y_{ik} \log(\theta_{ik}) + \lambda \sum_{t=1}^{T-1} ||A_{t+1} - \Phi A_t||_2^2$

第一项：基于主题分布的对数似然损失
第二项：时序一致性约束
权重系数 $\lambda$ ：平衡语义表示和动态演化建模

实验设置

数据集

使用20 Newsgroups数据集：

规模：包含20个不同新闻组的文章
特点：涵盖社会、科学、技术、娱乐等多个主题领域
时序特性：经过清洗和分组处理，保持了跨领域区别和时序变化特征

评价指标

困惑度 (Perplexity)：衡量模型预测能力
多样性 (Diversity)：评估主题的多样化程度
主题连贯性 (Topic Coherence)：测量主题内词汇的语义一致性
主题稳定性 (Topic Stability)：评估主题随时间演化的平滑性

对比方法

LDA：传统潜在狄利克雷分配
BERT：基于BERT的主题建模
DeBERTa：改进的BERT变体
Topic Audiolization：基于音频化的主题检测
T3：时序主题建模方法

实验结果

主要结果

模型	困惑度	多样性	主题连贯性	主题稳定性
LDA	950.3	0.62	0.41	0.48
BERT	730.5	0.68	0.46	0.55
DeBERTa	702.7	0.71	0.50	0.60
Topic Audiolization	680.4	0.71	0.50	0.60
T3	655.8	0.73	0.52	0.62
本文方法	598.2	0.78	0.57	0.69