Erkennung von Verschüttungen mittels Wärmbildgebung, vortrainierten Deep-Learning-Modellen und einer Roboterplattform

Grundinformationen

• Paper-ID: 2510.08770
• Titel: Detecting spills using thermal imaging, pretrained deep learning models, and a robotic platform
• Autoren: Gregory Yeghiyan (Stevenson High School), Jurius Azar (Manoogian High School), Devson Butani (Lawrence Technological University), Chan-Jin Chung (Lawrence Technological University)
• Klassifizierung: cs.CV (Computervision), cs.LG (Maschinelles Lernen), cs.RO (Robotik)
• Veröffentlichungsjahr: 2025
• Paper-Link: https://arxiv.org/abs/2510.08770

Zusammenfassung

Dieses Paper präsentiert ein Echtzeit-Verschüttungserkennungssystem, das vortrainierte Deep-Learning-Modelle in Kombination mit RGB- und Wärmbildgebung nutzt, um Verschüttungs- und Nicht-Verschüttungsszenarien in verschiedenen Umgebungen zu klassifizieren. Mit einem ausgewogenen binären Klassifizierungsdatensatz (4.000 Bilder) demonstrieren Experimente die Vorteile der Wärmbildgebung in Bezug auf Inferenzgeschwindigkeit, Genauigkeit und Modellgröße. Mit leichtgewichtigen Modellen wie VGG19 und NasNetMobile wurde eine Genauigkeit von bis zu 100% erreicht, wobei Wärmbildmodelle unter verschiedenen Lichtverhältnissen schneller und robuster arbeiten. Das System läuft auf Consumer-Hardware (RTX 4080) mit Inferenzzeiten von nur 44 Millisekunden und Modellgrößen unter 350 MB und unterstreicht damit seine Einsatzbarkeit in sicherheitskritischen Anwendungen.

Forschungshintergrund und Motivation

Problemdefinition

Die Erkennung von Verschüttungen ist für die öffentliche Sicherheit in dynamischen Umgebungen (wie Cafés, Restaurants, Einzelhandelsflächen) von entscheidender Bedeutung, da nicht rechtzeitig erkannte Verschüttungen häufig zu Sturz- und Verletzungsunfällen führen.

Bedeutung des Problems

1. Sicherheitsanforderungen: Verschüttungen an öffentlichen Orten sind eine Hauptursache für Unfallverletzungen
2. Echtzeitanforderungen: Schnelle Reaktion erforderlich, um Unfälle zu verhindern
3. Umgebungsadaptivität: System muss unter verschiedenen Lichtverhältnissen und Umgebungsbedingungen stabil funktionieren

Einschränkungen bestehender Methoden

1. Traditionelle Erkennungsmethoden: Abhängig von invasiver Hardware mit verzögerter Reaktionszeit
2. RGB-Visionssysteme: Anfällig für Lichtwechsel und Oberflächenreflexionen
3. Schlechte Anpassung an komplexe Umgebungen: Leistungsabfall bei schwachem Licht, Blendung oder komplexen Reflexionsbedingungen

Forschungsmotivation

Durch die Integration von Wärmbildgebung und Bewertung ihrer Wirksamkeit in vortrainierten Faltungsneuronalen Netzen soll eine Echtzeit-, genaue und leichtgewichtige Verschüttungserkennung erreicht werden.

Kernbeiträge

1. Multimodale Vergleichsstudie: Systematischer Vergleich der Leistung von RGB, Wärmbildgebung und kombinierten Modalitäten bei der Verschüttungserkennung
2. Validierung der Wärmbildvorteile: Nachweis der Überlegenheit der Wärmbildgebung in Inferenzgeschwindigkeit, Genauigkeit und Modellgröße
3. Entwicklung eines praktischen Systems: Entwicklung eines Echtzeit-Verschüttungserkennungssystems basierend auf Consumer-Hardware
4. Datensatzkonstruktion: Erstellung eines ausgewogenen binären Klassifizierungsdatensatzes mit 4.000 Bildern, der verschiedene Flüssigkeiten und Umgebungen abdeckt
5. Modellleistungsbewertung: Umfassende Leistungsbewertung und Vergleich mehrerer vortrainierter Modelle

Methodische Details

Aufgabendefinition

Eingabe: Bildstrom von RGB-Kamera und Wärmbildkamera Ausgabe: Binäres Klassifizierungsergebnis (Verschüttung/Keine Verschüttung) Einschränkungen: Echtzeitanforderung (niedrige Latenz), leichtgewichtiges Modell (für Bereitstellung geeignet)

Prinzipien der Wärmbildgebung

Physikalische Vorteile

1. Temperaturkontrast: Wärmbildkameras messen die von der Oberfläche emittierte Langwellen-Infrarotstrahlung, wobei das Signal proportional zur Oberflächentemperatur und Emissivität ist
2. Thermische Merkmale:
   • Flüssigkeiten (heiße oder kalte Getränke) unterscheiden sich in der Temperatur vom Umgebungsboden und erzeugen erkennbaren Wärmekontrast
   • Flüssigkeiten haben höhere spezifische Wärmekapazität (z.B. Wasser 4,186 J/g°C), thermische Trägheit unterscheidet sich von Bodenmaterialien
   • Verdunstung und Wärmeleitung erzeugen charakteristische Gradienten an Verschüttungsgrenzen
3. Emissivitätsunterschiede: Unterschiedliche Emissivität zwischen Flüssigkeiten und häufigen Bodenmaterialien (Fliesen, Holz)
4. Lichtverhältnisse-Unabhängigkeit: Wärmbildgebung erfasst emittierte Infrarotstrahlung statt reflektiertes sichtbares Licht und funktioniert auch bei schwachem Licht und Blendung

Ausfallszenarien

1. Thermisches Gleichgewicht: Wenn Verschüttungsflüssigkeit und Boden die gleiche Temperatur und ähnliche Emissivität haben
2. Dünne Flüssigkeitsschicht: Schneller Wärmeaustausch mit Boden, schnelle Gleichgewichtseinstellung
3. Umgebungsstörungen: Nahegelegene Wärmequellen, Sonnenlicht, warme Geräte erzeugen Wärmestörungen
4. Reflexionsartefakte: Wärmestrahlung und Wärmeleitung auf hochreflektiven Oberflächen und mehrschichtigen Böden

Datensatzerfassungssystem

Hardwarekonfiguration

• Wärmbildkamera: Topdon TC001
• RGB-Kamera: Genius WideCam F100
• Rechenplattform: Lenovo Legion Pro 7i mit NVIDIA RTX 4080
• Roboterplattform: Mobile Roboter mit Doppelkamera

Datensatzspezifikationen

• Gesamtmenge: 4.000 Bilder
• Verteilung: Je 2.000 Bilder für RGB und Wärmbildgebung, je 2.000 für Verschüttung und Nicht-Verschüttung
• Flüssigkeitstypen: Wasser, Cola, rote Fruchtsaft, gelber Fruchtsaft
• Umgebungen: Atrium (Fliesenboden), J234 (polierter Betonboden)
• Verschüttungsgröße: Kleine Verschüttungen mit 2-4 Zoll Durchmesser, große Verschüttungen bis 12 Zoll Durchmesser
• Auflösung: Wärmbildgebung 256×192, RGB 640×360, kombiniert 512×192

Datenvorverarbeitung

1. Datenteilung: 70-20-10 (Training-Validierung-Test)
2. Bildregistrierung: Anpassung von RGB- und Wärmbildperspektiven durch Zuschnitt und perspektivische Transformation
3. Multimodale Fusion: Seitliche Verkettung (Wärmbildgebung links, RGB rechts)

Modellarchitektur und Training

Auswahl vortrainierter Modelle

Bewertung mehrerer vortrainierter CNN-Architekturen: VGG19, ResNet50, EfficientNet-Serie, InceptionV3, DenseNet121, NasNetMobile usw.

Trainingstrategie

• Fine-Tuning-Strategie: Feinabstimmung der letzten 5 Schichten
• Optimierer: RMSprop (lr=1e-5)
• Verlustfunktion: Binäre Kreuzentropie
• Early-Stopping-Mechanismus: patience=5
• Batch-Größe: Training/Validierung 8, Test 2
• Datenerweiterung: Horizontale Spiegelung, leichte Rotation (factor=0,01), Kontraständerung (factor=0,01)

Experimentelle Einrichtung

Datensatzdetails

• Umgebungsbedingungen: Atrium mit konsistenter Beleuchtung, J234 mit dynamischer natürlicher Beleuchtung
• Flüssigkeitsauswahl: Flüssigkeiten mit unterschiedlichen Temperaturen und optischen Eigenschaften
• Erfassungswinkel: Mehrere Positionen und Winkel mit Isolierung von Umgebungswärmequellen

Bewertungsmetriken

1. Test-Genauigkeit: Klassifizierungsgenauigkeit auf dem Testdatensatz
2. Live-Demo-Genauigkeit: Genauigkeit bei tatsächlicher Bereitstellung
3. Inferenzzeit: Zeitaufwand für einzelne Inferenz
4. Modellgröße: Größe der Modelldatei

Experimentelles Design

1. Modalitätsvergleich: RGB vs. Wärmbildgebung vs. kombinierte Modalität
2. Umgebungs-Flüssigkeits-Kombinationen: Leistungsbewertung von 8 Kombinationen
3. Modellarchitektur-Vergleich: Leistungsvergleich von 11 vortrainierten Modellen

Experimentelle Ergebnisse

Hauptergebnisse

Modalitätsvergleich (VGG19)

Wärmbildgebung-VGG19 Leistung aller Kombinationen

Alle 8 Raum-Flüssigkeits-Kombinationen erreichten:

• Test-Genauigkeit: 100%
• Demo-Genauigkeit: 100%
• Modellgröße: 324,6 MB
• Inferenzzeit: 44-45 ms

Vergleich mehrerer Modellarchitekturen

Wichtigste Erkenntnisse

1. Deutliche Wärmbildvorteile:
   • Schnellste Inferenzgeschwindigkeit (44 ms vs. 55 ms)
   • Kleinste Modellgröße (324,6 MB vs. 1,0 GB)
   • Beste Echtzeit-Bereitstellungsleistung
2. VGG19 ist optimale Wahl:
   • Unter Modellen mit 100% Genauigkeit ist VGG19 9 ms schneller als NasNetMobile
   • Modellgröße 115,7 MB kleiner
3. Umgebungsrobustheit: Wärmbildmodelle behalten 100% Genauigkeit über verschiedene Räume und Flüssigkeitstypen
4. Einschränkungen kombinierter Modalität: Obwohl Test-Genauigkeit hoch ist, beträgt Live-Demo-Genauigkeit nur 60%

Verwandte Arbeiten

RGB/RGB-D-Visionsmethoden

• Bhutad und Patil: Veröffentlichung eines Datensatzes mit 1.976 annotierten Bildern von Pfützen und nassen Oberflächen
• Gawdzik und Orłowski: Verwendung von Mask R-CNN zur Erkennung und Segmentierung verschütteter Flüssigkeiten in Industrieumgebungen
• Yang et al.: Vorschlag eines polarisierten RGB-D-Rahmens, der Farb-, Polarisations- und Tiefeinformationen fusioniert

Wärmbildgebung zur Flüssigkeitserkennung

• Appuhamy et al.: Entwicklung einer auf Wärmkamera basierenden Oberflächenfeuchtemessungsmethode
• Bao et al.: Entwurf eines Dual-Kamera-Systems aus Infrarot und sichtbarem Licht zur Rohrleckerkennung
• Zhang & Zhang: Eingabe von Wärmebildern in CNN zur Rohrleck-Überwachung

Multimodale Hybridsysteme

Bestehende Methoden verwenden überwiegend handwerklich gestaltete Fusion oder mehrstufige Pipelines; dieses Paper verwendet End-to-End-CNN-Lernen für multimodale Daten.

Leichtgewichtige Echtzeit-Modelle

• Bouguettaya et al.: Überblick über mobile CNNs, MobileNet erreicht 28 FPS auf Jetson TX2
• Dieses Paper konzentriert sich auf die Bewertung der Machbarkeit vortrainierter Netzwerke auf Consumer-Hardware

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

In Umgebungen mit vielfältigen Lichtverhältnissen und isolierten Umgebungswärmequellen bietet ein auf Wärmbildgebung trainiertes VGG19-Bildklassifizierungsmodell die beste Leistung in Bezug auf Inferenzzeit, Test-Genauigkeit und Live-Bereitstellungsgenauigkeit.

Einschränkungen

1. Empfindlichkeit gegenüber Umgebungswärmequellen: Isolierung von Umgebungswärmequellen erforderlich für optimale Leistung
2. Thermisches Gleichgewichtsproblem: Langzeitverschüttungen können thermales Gleichgewicht mit Boden erreichen und sind schwer zu erkennen
3. Datensatzgröße: Der Datensatz mit 4.000 Bildern ist für Deep Learning relativ klein
4. Umgebungsbeschränkungen: Nur in zwei Innenumgebungen getestet

Zukünftige Richtungen

1. Tests in nicht isolierten Umgebungen: Experimente unter Bedingungen mit Fußgängerverkehr und anderen Umgebungswärmequellen
2. Erkundung von Ensemble-Methoden: Fusion von RGB- und Wärmmerkmalen mit Ensemble-Methoden, um RGB zur Korrektur von Fehlklassifizierungen durch Umgebungswärmequellen in der Wärmbildgebung zu nutzen
3. Validierung in größerem Maßstab: Systemleistung in vielfältigeren Umgebungen und Bedingungen validieren

Tiefgreifende Bewertung

Stärken

1. Systematischer Vergleich: Umfassender Vergleich verschiedener Modalitäten und Modellarchitekturen bietet klare Anleitung für praktische Anwendungen
2. Hohe Praktikabilität: Echtzeitleistung auf Consumer-Hardware mit starkem praktischem Bereitstellungswert
3. Solide theoretische Grundlagen: Detaillierte Analyse der physikalischen Vorteile und Ausfallmechanismen der Wärmbildgebung bei der Verschüttungserkennung
4. Angemessenes experimentelles Design: Abdeckung verschiedener Flüssigkeitstypen, Umgebungsbedingungen und Bewertungsdimensionen
5. Überzeugende Ergebnisse: 100% Genauigkeit und 44 ms Inferenzzeit demonstrieren Methodenwirksamkeit

Schwächen

1. Datensatzgrößenbeschränkung: 4.000 Bilder sind für Deep Learning relativ klein mit möglichem Überanpassungsrisiko
2. Begrenzte Umgebungsbedingungen: Tests nur unter idealen Bedingungen mit isolierten Umgebungswärmequellen, praktische Szenarien möglicherweise komplexer
3. Unzureichend validierte Generalisierungsfähigkeit: Tests nur in zwei Innenumgebungen, Adaptivität auf Außen- oder andere Umgebungstypen unbekannt
4. Langzeitstabilität nicht bewertet: Fehlende Bewertung der Stabilität und Zuverlässigkeit bei längerfristigem Betrieb
5. Fehlende Kosten-Nutzen-Analyse: Keine Analyse des Kompromisses zwischen Kosten der Wärmbildausrüstung und Leistungsverbesserung

Auswirkungen

1. Akademischer Beitrag: Wertvolle Erfahrung für multimodale Fusion in Computervision für Sicherheitsanwendungen
2. Praktischer Wert: Machbare technische Lösung für Sicherheitsüberwachungssysteme in kommerziellen und industriellen Umgebungen
3. Reproduzierbarkeit: Detaillierte experimentelle Einrichtung und GitHub-Code-Repository ermöglichen Reproduktion und Erweiterung

Anwendungsszenarien

1. Innere kommerzielle Umgebungen: Restaurants, Cafés, Einzelhandelsflächen mit Bedarf für Echtzeit-Sicherheitsüberwachung
2. Industrielle Sicherheitsüberwachung: Chemiefabriken, Lagerhäuser mit Bedarf für Flüssigkeitsleckerkennung
3. Roboternavigation: Mobile Roboter zur Erkennung von Bodenobstakeln und Gefahrenzonen
4. Intelligente Gebäude: Integration in Gebäudemanagementsysteme für präventive Sicherheitsüberwachung

Literaturverzeichnis

Das Paper zitiert 11 relevante Literaturquellen, die Wärmbildgebungserkennung, RGB-Visionsmethoden, multimodale Fusion und leichtgewichtige Modelle abdecken und eine solide theoretische Grundlage und Vergleichsbenchmarks für die Forschung bieten.

Gesamtbewertung: Dies ist ein praktisch sehr starkes Anwendungsforschungspapier, das durch systematische Experimente die Vorteile der Wärmbildgebung bei der Verschüttungserkennung validiert. Obwohl es Einschränkungen in Datensatzgröße und Umgebungskomplexität gibt, bieten seine klaren Schlussfolgerungen und praktisches Systemdesign wertvolle Referenzen für verwandte Anwendungen.