2025-11-21T00:19:15.639831

Enhancing Self-Supervised Learning with Semantic Pairs A New Dataset and Empirical Study

Alkhalefi, Leontidis, Zhong
Instance discrimination is a self-supervised representation learning paradigm wherein individual instances within a dataset are treated as distinct classes. This is typically achieved by generating two disparate views of each instance by applying stochastic transformations, encouraging the model to learn representations invariant to the common underlying object across these views. While this approach facilitates the acquisition of invariant representations for dataset instances under various handcrafted transformations (e.g., random cropping, colour jittering), an exclusive reliance on such data transformations for achieving invariance may inherently limit the model's generalizability to unseen datasets and diverse downstream tasks. The inherent limitation stems from the fact that the finite set of transformations within the data processing pipeline is unable to encompass the full spectrum of potential data variations. In this study, we provide the technical foundation for leveraging semantic pairs to enhance the generalizability of the model's representation and empirically demonstrate that incorporating semantic pairs mitigates the issue of limited transformation coverage. Specifically, we propose that by exposing the model to semantic pairs (i.e., two instances belonging to the same semantic category), we introduce varied real-world scene contexts, thereby fostering the development of more generalizable object representations. To validate this hypothesis, we constructed and released a novel dataset comprising curated semantic pairs and conducted extensive experimentation to empirically establish that their inclusion enables the model to learn more general representations, ultimately leading to improved performance across diverse downstream tasks.
academic

Enhancing Self-Supervised Learning with Semantic Pairs: A New Dataset and Empirical Study

基本信息

  • 论文ID: 2510.08722
  • 标题: Enhancing Self-Supervised Learning with Semantic Pairs: A New Dataset and Empirical Study
  • 作者: Mohammad Alkhalefi, Georgios Leontidis, Mingjun Zhong (University of Aberdeen)
  • 分类: cs.LG cs.AI
  • 发表时间: 2025年10月13日 (arXiv v2)
  • 论文链接: https://arxiv.org/abs/2510.08722v2

摘要

本文针对实例判别式自监督学习方法的局限性，提出了利用语义对(semantic pairs)来增强模型泛化能力的方法。传统的实例判别方法通过随机变换生成同一实例的不同视图，但这种方法受限于有限的变换集合，可能无法覆盖真实世界数据的全部变化。作者构建了一个精心策划的语义对数据集，并通过广泛实验验证了语义对能够帮助模型学习更通用的表示，从而在多种下游任务中取得更好的性能。

研究背景与动机

核心问题

传统的实例判别自监督学习方法存在以下关键限制：

  1. 变换覆盖不足：依赖有限的手工设计变换（如随机裁剪、颜色抖动），无法涵盖真实世界数据的全部变化
  2. 泛化能力受限：在未见数据集和多样化下游任务上的泛化能力有限
  3. 不当关联学习：可能学习到背景与前景对象之间的不当关联关系

研究动机

作者观察到传统方法学习表示时会捕获两个增强视图间的共享信息，但这可能包含不相关的背景信息和细节特征。语义对通过将同一类别的不同实例放在不同上下文中，能够引导模型关注相关的任务信息而忽略无关信息。

理论基础

论文提出语义对能够增强四种关键不变性：

  • 遮挡不变性：识别部分被遮挡的对象
  • 背景不变性：在不同背景下识别对象
  • 模式不变性：对表面模式变化保持鲁棒
  • 光照不变性：适应不同光照条件

核心贡献

  1. 理论阐释：深入解释了语义对如何促进实例判别方法的泛化能力
  2. 数据集构建：创建了精心策划的语义对数据集，包含187个类别，每类157对，共29,359对语义对
  3. 系统性比较：对比了多种SOTA自监督学习方法，确定哪种方法最能从语义对中学习有用表示
  4. 实证验证：通过转移学习和目标检测任务验证了语义对的有效性

方法详解

任务定义

本研究专注于自监督表示学习，特别是实例判别范式。任务目标是学习能够在多种下游任务中表现良好的通用视觉表示，而无需人工标注。

数据集构建方法

语义对数据集

  • 规模：187个类别，每类157对，总计29,359个语义对
  • 构建策略：手工标注确保精确的语义对齐，避免自动匹配方法的错误
  • 类别选择：从ImageNet-1K中选择与标准基准数据集（如STL-10、CIFAR）语义重叠的类别
  • 质量保证：耗时6个月的全职人工策划（每天8小时）

增强对数据集（基线）

  • 规模：187个类别，每类157张图像，总计29,359张图像
  • 生成方式：通过随机变换（裁剪、旋转、翻转、颜色抖动）生成合成对

实验框架

采用四阶段比较框架：

  1. 数据集构建：创建语义对和增强对数据集
  2. 图像变换：应用标准随机变换管道
  3. 模型训练：在两种数据集上训练多种SOTA方法
  4. 性能评估：通过下游任务评估表示质量

技术创新点

  1. 精确语义对齐：通过人工策划确保语义对的准确性，避免自动方法的噪声
  2. 隔离效应分析：单独使用语义对训练，避免与增强数据混合导致的混淆效应
  3. 系统性评估：在多种SSL方法上验证语义对的普遍有效性

实验设置

数据集

  • 预训练数据：语义对数据集 vs 增强对数据集（各29,359对/张）
  • 评估数据集：
    • 转移学习：STL-10, CIFAR-10, CIFAR-100
    • 目标检测：PASCAL VOC
    • 对比实验：Tiny-ImageNet

评价指标

  • 转移学习：线性评估准确率
  • 目标检测：AP50, AP, AP75
  • 计算效率：训练时间对比

对比方法

  • 对比学习：SimCLR
  • 非对比学习：
    • 信息最大化：VicReg
    • 知识蒸馏：BYOL, DINO

实现细节

  • 骨干网络：ResNet-50, ViT-S/8
  • 批大小：256
  • 输入分辨率：64×64像素
  • 训练轮数：200-800 epochs
  • 硬件：A100 80G GPU

实验结果

主要结果

转移学习性能

在所有评估的数据集上，语义对预训练的模型均优于增强对基线：

方法CIFAR-10CIFAR-100STL-10
SimCLR (AP)81.76%-81.76%
SimCLR (SP)83.60%59.58%85.59%
提升+0.8%+0.9%+3.8%

长期训练效果

延长训练至800轮后，性能差距持续存在：

  • SimCLR (SP): 86.56% (STL-10)
  • SimCLR (AP): 82.41% (STL-10)
  • 提升幅度：+3.75%

计算效率对比

与Tiny-ImageNet相比，语义对数据集展现出显著优势：

数据集类别数样本数CIFAR-10STL-10训练时间
语义对18729.4K83.60%85.59%4.5h
Tiny-ImageNet200100K79.43%79.61%13h

消融实验

变换移除实验

当移除特定变换时，语义对模型表现出更强的鲁棒性：

  • 移除灰度变换：SimCLR (AP)下降9.69%，SimCLR (SP)几乎无影响
  • 仅保留随机裁剪：SimCLR (AP)性能暴跌至24.25%，SimCLR (SP)仍保持64.23%

架构泛化性

在ViT架构上的结果证实了语义对的普遍有效性：

方法CIFAR-10CIFAR-100STL-10
DINO (SP)81.8%65.3%82.1%
DINO (AP)81.1%64.5%79.2%

数据规模影响

随着训练样本减少，语义对的优势更加明显：

  • 50张/类：语义对优势+4.20%
  • 157张/类：语义对优势+3.83%

目标检测结果

在PASCAL VOC目标检测任务上：

方法AP50APAP75
SimCLR (SP)75.02%50.30%55.22%
SimCLR (AP)73.82%48.9%53.72%
提升+1.2%+1.4%+1.5%

实验发现

  1. 对比学习优势：SimCLR在利用语义对方面表现最佳，在所有数据集上都取得最大提升
  2. 变换依赖性降低：语义对训练的模型对数据变换的依赖性显著降低
  3. 小样本优势：在有限训练数据情况下，语义对的优势更加突出
  4. 普遍适用性：语义对的益处在不同架构和任务中都得到验证

相关工作

自监督学习方法分类

论文将相关工作分为三大类：

对比学习

  • SimCLR：端到端方法，使用大批量负样本
  • MoCo：动量对比方法，使用字典存储负样本
  • PIRL：使用记忆库存储负样本

非对比学习

  • 聚类方法：DeepCluster, SWAV
  • 知识蒸馏：BYOL, SimSiam, DINO
  • 信息最大化：Barlow Twins, VICReg

增强对比学习

  • 负样本挖掘：挖掘困难负样本
  • 正样本构建：利用语义相似性构建正样本对

本文与相关工作的区别

  1. 隔离效应研究：避免语义对与增强数据混合使用
  2. 精确语义对齐：人工策划确保质量
  3. 系统性比较：在多种方法上验证有效性

结论与讨论

主要结论

  1. 语义对有效性：语义对能显著提升自监督模型的泛化能力
  2. 对比学习优势：对比学习方法（特别是SimCLR）最能从语义对中获益
  3. 变换依赖降低：语义对训练减少了对人工数据变换的依赖
  4. 计算效率提升：相比大规模数据集，精心策划的语义对数据集能以更少计算资源达到更好效果

局限性

  1. 数据集规模：当前数据集相对较小（187类），可扩展性有待验证
  2. 人工成本：手工策划过程耗时较长，自动化程度有限
  3. 领域特异性：主要在视觉任务上验证，其他模态的适用性未知
  4. 理论解释：对于为什么对比学习更适合语义对的理论解释仍不充分

未来方向

  1. 大规模扩展：探索语义对方法在更大规模语义空间中的可扩展性
  2. 自动化策划：开发更准确的自动语义对匹配方法
  3. 跨模态应用：将语义对概念扩展到其他模态
  4. 理论分析：深入研究对比学习利用语义关系的内在机制

深度评价

优点

  1. 问题定义清晰：准确识别了传统实例判别方法的核心限制
  2. 方法设计合理：通过人工策划确保语义对质量，避免噪声干扰
  3. 实验设计严谨：采用控制变量的方法，隔离语义对的独立效应
  4. 结果令人信服：在多个数据集、多种方法上都验证了一致的改进
  5. 实用价值高：提供的数据集和代码能促进领域发展

不足

  1. 理论深度有限：对语义对为何有效的理论解释不够深入
  2. 规模限制：实验主要在相对较小的数据集上进行
  3. 成本考量不足：人工策划的高成本可能限制实际应用
  4. 对比不够全面：缺少与其他语义增强方法的直接对比

影响力

  1. 学术贡献：为自监督学习领域提供了新的研究方向和基准数据集
  2. 实用价值：方法简单有效，易于在现有框架中实现
  3. 可复现性：作者承诺公开数据集和代码，有利于结果复现
  4. 启发意义：为如何构建更好的自监督学习数据提供了思路

适用场景

  1. 资源受限环境：当计算资源有限但需要高质量表示时
  2. 特定领域应用：需要在特定下游任务上取得好效果时
  3. 研究原型：作为研究语义关系在表示学习中作用的基础
  4. 教育用途：帮助理解自监督学习中数据质量vs数量的权衡

参考文献

论文引用了自监督学习领域的重要工作，包括：

  • 对比学习经典方法：SimCLR, MoCo, PIRL
  • 非对比学习方法：BYOL, DINO, VicReg
  • 相关数据集：ImageNet, CIFAR, STL-10
  • 语义对相关研究：近期关于正样本构建的工作

总体评价：这是一篇高质量的实证研究论文，通过精心设计的实验验证了语义对在自监督学习中的重要作用。尽管在理论深度上有所不足，但其实用价值和对领域的贡献值得肯定。论文提供的数据集和发现将为未来的研究提供重要基础。