2025-11-13T14:31:10.402139

Out-of-Distribution Detection in LiDAR Semantic Segmentation Using Epistemic Uncertainty from Hierarchical GMMs

Miandashti, Brenner

In addition to accurate scene understanding through precise semantic segmentation of LiDAR point clouds, detecting out-of-distribution (OOD) objects, instances not encountered during training, is essential to prevent the incorrect assignment of unknown objects to known classes. While supervised OOD detection methods depend on auxiliary OOD datasets, unsupervised methods avoid this requirement but typically rely on predictive entropy, the entropy of the predictive distribution obtained by averaging over an ensemble or multiple posterior weight samples. However, these methods often conflate epistemic (model) and aleatoric (data) uncertainties, misclassifying ambiguous in distribution regions as OOD. To address this issue, we present an unsupervised OOD detection approach that employs epistemic uncertainty derived from hierarchical Bayesian modeling of Gaussian Mixture Model (GMM) parameters in the feature space of a deep neural network. Without requiring auxiliary data or additional training stages, our approach outperforms existing uncertainty-based methods on the SemanticKITTI dataset, achieving an 18\% improvement in AUROC, 22\% increase in AUPRC, and 36\% reduction in FPR95 (from 76\% to 40\%), compared to the predictive entropy approach used in prior works.

academic

Out-of-Distribution Detection in LiDAR Semantic Segmentation Using Epistemic Uncertainty from Hierarchical GMMs

基本信息

论文ID: 2510.08631
标题: Out-of-Distribution Detection in LiDAR Semantic Segmentation Using Epistemic Uncertainty from Hierarchical GMMs
作者: Hanieh Shojaei Miandashti, Claus Brenner (Leibniz University Hannover)
分类: cs.CV, cs.LG
发表时间: 2025年10月8日 (arXiv预印本)
论文链接: https://arxiv.org/abs/2510.08631

安全性要求：自动驾驶系统需要识别道路上的异常物体（如垃圾桶、标牌、动物等）
可靠性需求：深度模型往往对OOD输入产生过度自信但错误的预测
实用性考量：现实环境中存在大量训练数据集未覆盖的物体类别

现有方法局限性

监督方法：依赖辅助OOD数据集，在LiDAR领域难以获得
无监督方法：主要依赖预测熵，但混淆了认知不确定性(epistemic)和偶然不确定性(aleatoric)
不确定性混淆：预测熵将模型不确定性和数据噪声混合，导致将模糊的分布内区域误分类为OOD

核心贡献

提出了基于认知不确定性的OOD检测方法：通过分层贝叶斯建模GMM参数，分离认知不确定性和偶然不确定性
无监督框架：无需辅助OOD数据或额外训练阶段，提高了实用性
显著性能提升：在SemanticKITTI数据集上大幅超越现有方法
理论贡献：证明了认知不确定性相比预测熵在OOD检测中的优势

方法详解

任务定义

给定LiDAR点云的距离视图表示，目标是：

进行像素级语义分割
识别属于OOD的像素区域
量化预测的不确定性

模型架构

1. 生成-判别混合框架

基于GMMSeg架构，采用深度神经网络提取像素级特征表示z ∈ R^D，然后在特征空间中为每个语义类别c建模类条件高斯混合分布：

p(z | c) = Σ(k=1 to K) π_k^(c) N(z | μ_k^(c), Σ_k^(c))

其中π_k^(c)、μ_k^(c)、Σ_k^(c)分别表示第k个高斯分量的混合权重、均值和协方差。

2. 分层贝叶斯建模

关键创新在于对GMM参数采用分层贝叶斯建模：

先验分布：对每个高斯分量的均值和方差设置高斯-逆伽马共轭先验
后验更新：基于训练数据更新参数的后验分布
参数采样：推理时从后验分布采样多组GMM参数

具体地：

μ_k^(c) ~ N(μ_0, σ_k^2(c)/κ_0)
σ_k^2(c) ~ Inv-Gamma(α_0, β_0)

3. 认知不确定性估计

通过采样n组GMM参数，对每个像素计算类别预测的频率分布，然后计算熵：

H[y | z] = -Σ(c=1 to C) p̄_c log p̄_c

其中p̄_c = (1/n)Σ(i=1 to n)Iy^(i) = c表示类别c的经验概率。

技术创新点

不确定性分离：通过参数采样直接估计认知不确定性，避免了预测熵中两种不确定性的混淆
无需重训练：利用现有分割网络的特征空间，通过GMM建模实现不确定性估计
理论基础：基于互信息理论，认知不确定性定义为Iy; θ | x = H(p(y|x)) - E_θH(p(y|x,θ))

实验设置

数据集

SemanticKITTI：包含19个语义类别的LiDAR点云数据集
OOD类别：使用数据集中的outlier类作为OOD样本（垃圾桶、标牌、动物等）
输入格式：64×1024×5的距离视图图像（x,y,z坐标、强度、距离）
特征维度：使用SalsaNext骨干网络提取32维特征

评价指标

AUROC：ROC曲线下面积，衡量整体分类性能
AUPRC：精确率-召回率曲线下面积，适合类别不平衡场景
FPR95：真正例率为95%时的假正例率，衡量安全性
mIoU：语义分割的平均交并比

对比方法

MSP：最大Softmax概率
ODIN：温度缩放和输入扰动方法
MC Dropout：蒙特卡洛Dropout
Deep Ensembles (DE)：深度集成
GMMSeg：原始GMM分割方法（无不确定性建模）

实现细节

骨干网络：SalsaNext
GMM组件数：每类2个高斯分量
采样数：20个GMM参数样本
阈值策略：无监督的百分位数阈值（top 5%）

实验结果

主要结果

方法	AUROC (%)	AUPRC (%)	FPR95 (%)	mIoU (%)
MSP	70.41	10.90	76.00	56.37
ODIN	73.74	12.45	75.54	56.37
MC Dropout	73.64	13.65	75.92	57.15
Deep Ensembles	73.03	16.14	76.48	57.17
GMMSeg	87.62	26.14	48.84	57.60
本文方法	91.06	37.67	40.14	57.71