2025-11-22T04:10:16.342290

Efficient Relational Context Perception for Knowledge Graph Completion

Tu, Wan, Shang et al.
Knowledge Graphs (KGs) provide a structured representation of knowledge but often suffer from challenges of incompleteness. To address this, link prediction or knowledge graph completion (KGC) aims to infer missing new facts based on existing facts in KGs. Previous knowledge graph embedding models are limited in their ability to capture expressive features, especially when compared to deeper, multi-layer models. These approaches also assign a single static embedding to each entity and relation, disregarding the fact that entities and relations can exhibit different behaviors in varying graph contexts. Due to complex context over a fact triple of a KG, existing methods have to leverage complex non-linear context encoder, like transformer, to project entity and relation into low dimensional representations, resulting in high computation cost. To overcome these limitations, we propose Triple Receptance Perception (TRP) architecture to model sequential information, enabling the learning of dynamic context of entities and relations. Then we use tensor decomposition to calculate triple scores, providing robust relational decoding capabilities. This integration allows for more expressive representations. Experiments on benchmark datasets such as YAGO3-10, UMLS, FB15k, and FB13 in link prediction and triple classification tasks demonstrate that our method performs better than several state-of-the-art models, proving the effectiveness of the integration.
academic

Efficient Relational Context Perception for Knowledge Graph Completion

基本信息

  • 论文ID: 2501.00397
  • 标题: Efficient Relational Context Perception for Knowledge Graph Completion
  • 作者: Wenkai Tu, Guojia Wan, Zhengchun Shang, Bo Du (武汉大学)
  • 分类: cs.LG cs.AI cs.CL
  • 发表时间: 2024年12月31日 (arXiv预印本)
  • 论文链接: https://arxiv.org/abs/2501.00397

摘要

知识图谱(KGs)提供了结构化的知识表示，但通常存在不完整性问题。链接预测或知识图谱补全(KGC)旨在基于现有事实推断缺失的新事实。现有的知识图谱嵌入模型在捕获表达性特征方面能力有限，且为每个实体和关系分配单一静态嵌入，忽略了实体和关系在不同图上下文中可能表现出不同行为的事实。由于知识图谱事实三元组的复杂上下文，现有方法必须利用复杂的非线性上下文编码器(如Transformer)将实体和关系投影到低维表示中，导致高计算成本。为克服这些限制，本文提出了三元组感受野感知(TRP)架构来建模序列信息，实现实体和关系动态上下文的学习。然后使用张量分解计算三元组分数，提供强大的关系解码能力。该集成允许更具表达性的表示。在YAGO3-10、UMLS、FB15k和FB13等基准数据集上的链接预测和三元组分类任务实验表明，该方法优于多个最先进的模型。

研究背景与动机

问题定义

知识图谱补全(KGC)是一个重要的研究问题，旨在推断知识图谱中缺失的事实。知识图谱通常表示为三元组形式(头实体，关系，尾实体)，但现实世界的知识图谱往往存在大量缺失关系，限制了其在问答系统、推荐系统等应用中的效果。

现有方法的局限性

  1. 表达能力有限：传统的知识图谱嵌入方法主要依赖加法或乘法操作，表达能力有限
  2. 静态嵌入：现有方法为每个实体和关系分配单一静态嵌入，忽略了它们在不同上下文中的不同行为
  3. 高计算成本：基于Transformer的方法虽然效果好，但存在可扩展性问题，计算成本高
  4. 上下文建模不足：缺乏对复杂关系上下文的有效建模能力

研究动机

本文的核心动机是设计一个既能捕获动态上下文信息，又具有计算效率的知识图谱补全方法。通过结合序列建模和张量分解的优势，实现更好的性能-效率平衡。

核心贡献

  1. 提出了三元组感受野感知(TRP)架构：一种新颖的编码器，能够有效建模知识图谱中的序列信息和动态上下文
  2. 集成Tucker分解解码器：提供强大的关系解码能力，实现紧凑而富有表达力的关系结构表示
  3. 实现了更好的性能-效率平衡：相比Transformer等复杂方法，在保持竞争性能的同时显著降低计算成本
  4. 在多个基准数据集上取得SOTA结果：在链接预测和三元组分类任务上均优于现有方法

方法详解

任务定义

给定知识图谱中的不完整三元组(h, r, ?)或(?, r, t)，目标是预测缺失的尾实体或头实体。形式化地，对于三元组(h, r, t)，模型需要学习一个评分函数φ(h, r, t)来衡量该三元组为真的可能性。

模型架构

1. 三元组感受野感知(TRP)编码器

TRP架构由多个残差块组成，每个块包含两个关键子模块：

时间混合模块(Time Mixing)：

ot = Wo · (σ(rt) ⊙ wkvt)
rt = Wr · (μr ⊙ xt + (1-μr) ⊙ xt-1)

其中wkvt通过以下递归方式计算：

wkvt = (at-1 + e^(u+kt) ⊙ vt) / (bt-1 + e^(u+kt))
at = e^(-w) ⊙ at-1 + e^kt ⊙ vt  
bt = e^(-w) ⊙ bt-1 + e^kt

通道混合模块(Channel Mixing)：

r't = Wr' · (μ'r x't + (1-μ'r)x't-1)
k't = Wk' · (μ'k x't + (1-μ'k)x't-1)  
o't = σ(r't) · (Wv' ⊙ max(k't, 0)²)

模块集成：

x' = x + Dropout(TimeMixing(LayerNorm(x)))
x'' = x' + Dropout(ChannelMixing(LayerNorm(x')))

2. Tucker分解解码器

使用Tucker分解作为解码器来计算三元组分数：

φ(h, r, t) = Wc ×1 ẽh ×2 ẽr ×3 et

其中Wc ∈ R^(d×d×d)是可学习的核心张量，×n表示n-模张量积。

技术创新点

  1. 动态上下文建模：TRP通过序列建模机制使实体和关系嵌入能够根据不同上下文动态调整
  2. 高效的递归计算：通过递归公式实现高效推理，避免了Transformer的二次复杂度
  3. 因果性保持：设计保证了推理过程中的因果性，使模型能够像RNN一样高效推理
  4. 张量分解集成：Tucker分解提供了参数高效且表达力强的关系建模能力

实验设置

数据集

使用四个标准基准数据集：

数据集实体数关系数训练集验证集测试集
UMLS135465,126652661
FB15k14,9511,345483,14250,00059,071
YAGO3-10123,182371,079,0405,0005,000
FB1375,04313316,23211,81647,466

评价指标

  • 平均倒数排名(MRR)：MRR = 1/|S| Σ(1/ranki)
  • Hits@k：正确答案排在前k位的比例
  • 准确率：用于三元组分类任务

对比方法

仅使用三元组的方法：TransE、DistMult、ComplEx、RotatE、TuckER、ConvE、CoKE、HAKE、HousE

使用上下文的方法：Neural-LP、R-GCN、Rlogic、ChatRule

实现细节

  • 嵌入维度：{64, 96, 128, 192, 256}
  • TRP块数量：{2, 4, 6, 8}
  • Dropout率：{0.2, 0.3, 0.4, 0.5}
  • 优化器：Adam
  • 学习率：0.0005-0.01
  • 批大小：512
  • 最大训练轮数：500

实验结果

主要结果

链接预测结果：

方法FB15kYAGO3-10UMLS
MRRH@1H@10MRRH@1H@10MRRH@1H@10
TransE0.3823.147.10.3021.847.50.6952.389.7
CoKE0.8582.690.60.5547.567.50.9490.799.7
Ours0.8581.290.30.5750.170.00.9590.499.9

三元组分类结果：

方法FB13FB15k
CoKE87.789.3
Ours88.689.0

消融实验

在FB15k和YAGO3-10上的消融研究表明：

  • 移除Tucker分解解码器：性能下降2-3个MRR点
  • 移除TRP编码器：性能显著下降6-10个MRR点
  • 两个组件的结合实现了最佳性能

参数效率分析

  • 参数数量：TRP相比Transformer需要显著更少的参数
  • 训练时间：TRP的每轮训练时间更短，且随跳数增长更慢
  • 性能对比：在可比较的性能下，TRP展现出更好的效率

可视化分析

  • 实体嵌入：t-SNE可视化显示不同类别的实体形成清晰分离的聚类
  • 关系嵌入：对称关系及其逆关系紧密聚集，非对称关系分布更分散，体现了TRP对不同语义关系的有效建模

相关工作

知识图谱嵌入方法分类

  1. 翻译模型：TransE、TransH、TransR、RotatE等，建立头实体到尾实体的线性翻译规则
  2. 语义匹配模型：RESCAL、DistMult、ComplEx、TuckER等，使用各种评分函数衡量嵌入相似性
  3. 神经网络模型：ConvE、R-GCN、CoKE等，使用深度学习获得表达性表示

本文与相关工作的关系

本文结合了序列建模和张量分解的优势，相比纯翻译模型具有更强表达能力，相比复杂神经网络模型具有更高效率，在性能和效率之间实现了更好的平衡。

结论与讨论

主要结论

  1. TRP架构能够有效建模知识图谱中的动态上下文信息
  2. Tucker分解提供了参数高效的关系解码能力
  3. 两者的结合在多个基准数据集上取得了优异性能
  4. 相比Transformer等方法具有更好的参数效率

局限性

  1. 数据集规模：主要在中等规模数据集上验证，超大规模知识图谱的效果有待验证
  2. 关系类型：对于某些复杂关系模式的建模能力可能仍有提升空间
  3. 多跳推理：论文主要关注单跳链接预测，多跳推理能力需要进一步研究

未来方向

  1. 扩展到更大规模的知识图谱
  2. 结合外部文本信息增强表示学习
  3. 探索在多跳推理任务中的应用
  4. 研究与大语言模型的结合

深度评价

优点

  1. 技术创新性强：TRP架构巧妙结合了RNN和注意力机制的优势，实现了高效的序列建模
  2. 实验充分：在多个数据集和任务上进行了全面评估，包括消融实验和可视化分析
  3. 实用价值高：在保持竞争性能的同时显著提高了计算效率，具有很强的实用价值
  4. 写作清晰：论文结构清晰，技术细节描述准确，易于理解和复现

不足

  1. 理论分析不足：缺乏对TRP架构为什么有效的深层理论分析
  2. 大规模验证有限：主要在中等规模数据集上验证，缺乏在真正大规模知识图谱上的实验
  3. 比较基线相对有限：缺少与最新的一些强基线方法的比较
  4. 错误分析不够：缺乏对模型失败案例的深入分析

影响力

  1. 学术贡献：为知识图谱补全领域提供了新的高效建模思路
  2. 实用价值：方法的高效性使其在实际应用中具有很大潜力
  3. 可复现性：技术细节描述详细，实验设置清晰，具有良好的可复现性

适用场景

  1. 资源受限环境：计算资源有限但需要较好性能的应用场景
  2. 实时推理需求：需要快速响应的知识图谱查询和推理任务
  3. 动态知识图谱：需要频繁更新和增量学习的知识图谱应用
  4. 边缘计算：在移动设备或边缘设备上部署知识图谱应用

参考文献

论文引用了知识图谱补全领域的重要文献，包括：

  • TransE (Bordes et al., 2013): 翻译模型的开创性工作
  • TuckER (Balažević et al., 2019): Tucker分解在知识图谱中的应用
  • CoKE (Wang et al., 2019): 基于Transformer的上下文化知识图谱嵌入
  • RWKV (Peng et al., 2023): 本文TRP架构的灵感来源

总体评价：这是一篇高质量的知识图谱补全论文，提出的TRP架构在技术上有显著创新，实验验证充分，在性能和效率之间实现了很好的平衡。论文的主要贡献在于将序列建模的思想引入知识图谱补全，为该领域提供了新的研究方向。虽然在理论分析和大规模验证方面还有提升空间，但整体上是一个有价值的研究工作。