2025-11-23T23:37:17.450142

Selective Labeling with False Discovery Rate Control

Huang, Liao, Xi et al.

Obtaining high-quality labels for large datasets is expensive, requiring massive annotations from human experts. While AI models offer a cost-effective alternative by predicting labels, their label quality is compromised by the unavoidable labeling errors. Existing methods mitigate this issue through selective labeling, where AI labels a subset and human labels the remainder. However, these methods lack theoretical guarantees on the quality of AI-assigned labels, often resulting in unacceptably high labeling error within the AI-labeled subset. To address this, we introduce \textbf{Conformal Labeling}, a novel method to identify instances where AI predictions can be provably trusted. This is achieved by controlling the false discovery rate (FDR), the proportion of incorrect labels within the selected subset. In particular, we construct a conformal $p$-value for each test instance by comparing AI models' predicted confidence to those of calibration instances mislabeled by AI models. Then, we select test instances whose $p$-values are below a data-dependent threshold, certifying AI models' predictions as trustworthy. We provide theoretical guarantees that Conformal Labeling controls the FDR below the nominal level, ensuring that a predefined fraction of AI-assigned labels is correct on average. Extensive experiments demonstrate that our method achieves tight FDR control with high power across various tasks, including image and text labeling, and LLM QA.

academic

Selective Labeling with False Discovery Rate Control

基本信息

论文ID: 2510.14581
标题: Selective Labeling with False Discovery Rate Control
作者: Huipeng Huang, Wenbo Liao, Huajun Xi, Hao Zeng, Mengchen Zhao, Hongxin Wei
分类: cs.LG cs.AI
发表时间: 2025年10月16日 (arXiv预印本)
论文链接: https://arxiv.org/abs/2510.14581v1

摘要

获取大规模数据集的高质量标签成本昂贵，需要大量专家标注。虽然AI模型通过预测标签提供了成本效益的替代方案，但其标签质量受到不可避免的标注错误影响。现有方法通过选择性标注来缓解这一问题，即AI标注部分数据，专家标注其余部分。然而，这些方法缺乏对AI分配标签质量的理论保证，往往导致AI标注子集中不可接受的高标注错误率。为解决这一问题，本文引入了Conformal Labeling，这是一种识别AI预测可证明可信实例的新方法。通过控制假发现率(FDR)——选定子集中错误标签的比例来实现。具体而言，通过比较AI模型的预测置信度与被AI模型错误标注的校准实例的置信度，为每个测试实例构建一个conformal p值。然后选择p值低于数据依赖阈值的测试实例，证明AI模型的预测是可信的。本文提供理论保证，证明Conformal Labeling将FDR控制在名义水平以下，确保平均而言预定义比例的AI分配标签是正确的。

研究背景与动机

核心问题: 大规模数据集的高质量标注成本问题。随着现代数据集规模的增长，专家标注变得极其昂贵，而AI模型虽然提供了成本效益的替代方案，但存在不可避免的标注错误。
问题重要性:
- 高质量标注数据是机器学习管道的关键
- 即使是最先进的LLM在文本标注任务中也表现出高错误率
- AI模型固有的标注错误严重影响标签质量，阻碍了AI标注在生产中的部署
现有方法局限性:
- 启发式方法缺乏理论保证，依赖AI模型标注高置信度实例
- PAC标注虽然提供理论保证，但只控制整体标注错误，AI标注子集的错误率可能高达100%
- 现有选择性标注方法无法保证AI分配标签的质量
研究动机: 需要一种方法能够严格保证AI分配标签的质量，而不仅仅是整体标注错误的控制。

核心贡献

提出Conformal Labeling方法: 一种识别AI预测可证明可信实例的新颖方法，通过严格控制FDR来保证AI分配标签的质量，与AI模型性能无关。
理论保证: 从理论上证明Conformal Labeling提供AI分配标签的严格质量保证，实现有效的FDR控制，确保错误标签的期望比例低于用户指定水平。
广泛实验验证: 通过在图像标注、文本标注和LLM问答任务上的广泛实验，证明Conformal Labeling在严格控制FDR的同时显著降低标注成本。

方法详解

任务定义

考虑多分类任务，设特征空间为 $X$ ，标签空间为 $Y = \{1, \ldots, K\}$ 。测试数据集 $D_{test} = \{X_j\}_{j=1}^m$ 包含 $m$ 个从数据分布 $P_X$ 中独立同分布采样的实例。预训练AI模型 $f: X \rightarrow \mathbb{R}^{|Y|}$ 用于生成标签，预测标签为 $\hat{Y} = \arg\max_{y \in Y} f_y(X)$ 。