2025-11-22T05:58:16.782547

Detecting spills using thermal imaging, pretrained deep learning models, and a robotic platform

Yeghiyan, Azar, Butani et al.

This paper presents a real-time spill detection system that utilizes pretrained deep learning models with RGB and thermal imaging to classify spill vs. no-spill scenarios across varied environments. Using a balanced binary dataset (4,000 images), our experiments demonstrate the advantages of thermal imaging in inference speed, accuracy, and model size. We achieve up to 100% accuracy using lightweight models like VGG19 and NasNetMobile, with thermal models performing faster and more robustly across different lighting conditions. Our system runs on consumer-grade hardware (RTX 4080) and achieves inference times as low as 44 ms with model sizes under 350 MB, highlighting its deployability in safety-critical contexts. Results from experiments with a real robot and test datasets indicate that a VGG19 model trained on thermal imaging performs best.

academic

Detecting spills using thermal imaging, pretrained deep learning models, and a robotic platform

基本信息

论文ID: 2510.08770
标题: Detecting spills using thermal imaging, pretrained deep learning models, and a robotic platform
作者: Gregory Yeghiyan (Stevenson High School), Jurius Azar (Manoogian High School), Devson Butani (Lawrence Technological University), Chan-Jin Chung (Lawrence Technological University)
分类: cs.CV (Computer Vision), cs.LG (Machine Learning), cs.RO (Robotics)
发表时间: 2025年
论文链接: https://arxiv.org/abs/2510.08770

摘要

本文提出了一个实时溢出检测系统，利用预训练深度学习模型结合RGB和热成像技术，在不同环境中对溢出与非溢出场景进行分类。使用平衡的二分类数据集（4,000张图像），实验证明了热成像在推理速度、准确率和模型大小方面的优势。使用VGG19和NasNetMobile等轻量级模型实现了高达100%的准确率，热成像模型在不同光照条件下表现更快更稳健。系统运行在消费级硬件（RTX 4080）上，推理时间低至44毫秒，模型大小不超过350MB，突出了其在安全关键应用中的可部署性。

研究背景与动机

问题定义

溢出检测对于动态环境（如咖啡厅、餐厅、零售空间）的公共安全至关重要，未及时发现的溢出经常导致滑倒和受伤事故。

问题重要性

安全需求：公共场所的溢出是造成意外伤害的主要原因
实时性要求：需要快速响应以防止事故发生
环境适应性：系统需要在各种光照和环境条件下稳定工作

现有方法局限性

传统检测方法：依赖侵入式硬件，响应时间延迟
RGB视觉系统：容易受光照变化和表面反射影响
复杂环境适应性差：在低光照、眩光或复杂反射条件下性能下降

研究动机

通过整合热成像技术并评估其在预训练卷积神经网络中的有效性，实现实时、准确、轻量级的溢出检测。

核心贡献

多模态比较研究：系统性比较了RGB、热成像和组合模态在溢出检测任务中的性能
热成像优势验证：证明了热成像在推理速度、准确率和模型大小方面的优势
实用系统开发：开发了基于消费级硬件的实时溢出检测系统
数据集构建：创建了包含4,000张图像的平衡二分类数据集，涵盖多种液体和环境
模型性能评估：对多种预训练模型进行了全面的性能评估和比较

方法详解

任务定义

输入：来自RGB相机和热成像相机的图像流输出：二分类结果（溢出/非溢出） 约束条件：实时性要求（低延迟）、轻量级模型（适合部署）

热成像技术原理

物理优势

温度对比：热成像相机测量表面发射的长波红外辐射，信号与表面温度和发射率成正比
热特征：
- 液体（热饮或冷饮）与环境地面温度不同，产生可检测的热对比
- 液体具有更高的比热容（如水为4.186 J/g°C），热惯性与固体地面材料不同
- 蒸发和传热在溢出边界产生特征梯度
发射率差异：液体和常见地面材料（瓷砖、木材）的发射率不同
光照独立性：热成像感测发射的红外辐射而非反射的可见光，在低光照、眩光条件下仍然有效