2025-11-11T07:07:08.271446

Large model retrieval enhancement framework for construction site risk identification

Li, Yang, Zhang et al.

This study addresses construction site hazard identification by proposing a retrieval-augmented framework that enhances large language models (LLMs) without requiring fine-tuning. Current LLM-based approaches face limitations: image-text matching struggles with complex hazards, while instruction tuning lacks generalization and is resource-intensive. Our method dynamically integrates external knowledge and retrieved similar cases via prompt tuning, overcoming LLMs' limitations in domain knowledge and feature correlation. The framework comprises a case database, an image retrieval module, and an LLM-based reasoning module. Evaluated on real-site data, our approach boosted GLM-4V's accuracy to 50%, a 35.49% improvement over baselines, with consistent gains across hazard types. Ablation studies validated the effectiveness of our image retrieval strategy, showing the superiority of our LPIPS- and CLIP-based method. The proposed technique significantly improves identification accuracy and contextual understanding, demonstrating strong generalization and offering a practical path for intelligent safety risk detection in construction.

academic

Großmodell-Abruf-Verbesserungsrahmen zur Identifizierung von Baustellenrisiken

Grundinformationen

Paper-ID: 2508.02073
Titel: Large model retrieval enhancement framework for construction site risk identification (Großmodell-Abruf-Verbesserungsrahmen zur Identifizierung von Baustellenrisiken)
Autoren: Li Jiawei, Yang Chengye, Zhang Yaochen, Sun Weilin, Meng Lei, Meng Xiangxu
Klassifizierung: cs.AI
Veröffentlichungszeit/Konferenz: Journal of Image and Graphics (中国图象图形学报)
Paper-Link: https://arxiv.org/abs/2508.02073

Zusammenfassung

Diese Forschung schlägt einen Abruf-Verbesserungsrahmen ohne Feinabstimmung vor, um die Leistung großer Sprachmodelle bei der Identifizierung von Baustellenrisiken zu verbessern. Aktuelle LLM-basierte Methoden haben Einschränkungen: Bild-Text-Matching zeigt unzureichende Fähigkeiten bei der Erkennung komplexer Risiken, während Anweisungs-Feinabstimmung mangelnde Generalisierungsfähigkeit und hohe Ressourcenverbrauch aufweist. Diese Methode überwindet die Unzulänglichkeiten großer Modelle bei Domänenwissen und Merkmalszuordnung durch dynamische Fusion externer Wissensdatenbanken und Abruf-Fallkontexte mittels Prompt-Feinabstimmungstechniken. Der Rahmen umfasst eine Falldatenbank, ein Bildabruf-Modul und ein LLM-basiertes Inferenzmodul. Die Evaluierung auf echten Baustellendaten zeigt, dass diese Methode die Genauigkeit von GLM-4V auf 50% erhöht, was einer Verbesserung von 35,49% gegenüber der Baseline-Methode entspricht, mit konsistenten Leistungsverbesserungen bei allen Arten von Risikoidentifizierungen. Ablationsstudien validieren die Effektivität der Bildabruf-Strategie und demonstrieren die Überlegenheit der CLIP-basierten Methode gegenüber LPIPS.

Forschungshintergrund und Motivation

1. Zu lösende Probleme

Diese Forschung befasst sich mit der automatisierten Identifizierung von Baustellenrisiken. Traditionelle manuelle Inspektionen weisen hohe Übersehungsquoten, repetitive Natur und fehlende Echtzeitüberwachung auf, während bestehende computergestützte Sichtverfahren noch Mängel in Generalisierungsfähigkeit und Erkennungsgenauigkeit aufweisen.

2. Bedeutung des Problems

Sicherheitsgarantie: Baustellenunfälle treten häufig auf; genaue Risikoidentifizierung ist von großer Bedeutung für Unfallprävention
Effizienzsteigerung: Automatisierte Identifizierung kann traditionelle manuelle Inspektionen ersetzen und die Inspektionseffizienz verbessern
Kostenkontrolle: Reduzierung von Personalaufwand und wirtschaftlichen Verlusten durch Sicherheitsunfälle

3. Einschränkungen bestehender Methoden

Bestehende Methoden basierend auf großen Sprachmodellen fallen hauptsächlich in zwei Kategorien:

Bild-Text-Matching-Methoden: Verbesserung der Bild- und semantischen Übereinstimmung durch multimodale Ausrichtung, aber begrenzte Erfassung komplexer Risikomerkmale
Anweisungs-Feinabstimmungs-Methoden: Verbesserung der Modellanalysentiefe durch Domänenwissen, aber mit Problemen hoher Trainingskosten und schlechter Allgemeingültigkeit

4. Forschungsmotivation

Um hohe Feinabstimmungskosten zu vermeiden und gleichzeitig die Genauigkeit und Domänenanpassung großer Modelle bei der Erkennung komplexer Risiken zu verbessern, wird die Einführung externer Wissensquellen und die Implementierung von Abruf-Verbesserung zu einem vielversprechenden Lösungsweg.

Kernbeiträge

Innovativer Rahmen: Vorschlag eines ähnlichkeitsfall-abruf-verstärkten Risikoidentifizierungsrahmens (RDRAG), der innovativ Prompt-Learning großer Modelle mit Instanz-Abruf-Mechanismen verbindet
Plug-and-Play-Design: Aufbau eines Plug-and-Play-Abruf-Verbesserungsmoduls, das große Modelle durch Prompt-Feinabstimmungsstrategien ohne Training optimiert
Systematische Evaluierung: Systematische Evaluierung der Erkennungsleistung verschiedener großer Modelle auf echten Baustellendaten, Klärung der Vorteile von Abruf-Verbesserung bei der Verbesserung von Generalisierungsfähigkeit und Erklärbarkeit
Signifikante Leistungsverbesserung: Genauigkeit des GLM-4V-Modells von 14,51% auf 50% erhöht, mit einer Verbesserung von 35,49%

Methodische Details

Aufgabendefinition

Gegeben ein multimodales Risikoidentifizierungsdatensatz $D = \{(I_1, C_1, L_1), (I_2, C_2, L_2), ..., (I_N, C_N, L_N)\}$ , wobei:

$I_i$ : Baustellenkonstruktionsbilder
$C_i$ : Textinformationen zur Risikobeschreibung
$L_i$ : Risikokategorie-Labels

Das Ziel besteht darin, durch einen Abruf-Verbesserungs-Generierungsrahmen genaue Risikokategorien $\hat{L_i}$ und Beschreibungen $\hat{C_i}$ für das Eingabebild $I_i$ zu generieren:

$\hat{L_i}, \hat{C_i} = f(I_i, \{C_j | j=1,...,K\})$

Modellarchitektur

Der RDRAG-Rahmen besteht aus drei Kernmodulen:

1. Abruf-Datenbank-Modul

Aufbau einer strukturierten Risikofall-Datenbank, die historische Baustellenrisikofälle speichert, wobei jeder Eintrag Bilder, Textbeschreibungen und Kategorie-Labels enthält.

2. Bildähnlichkeits-Abruf-Modul

Realisierung der Cross-Modal-Ähnlichkeitsberechnung basierend auf dem CLIP-Modell:

Merkmalextraktion: $f(I_i) = \text{CLIP}(I_i), \quad f(I_j) = \text{CLIP}(I_j)$

Ähnlichkeitsberechnung: $\text{Sim}(I_i, I_j) = \frac{f(I_i) \cdot f(I_j)}{||f(I_i)|| \cdot ||f(I_j)||}$

Top-K-Abruf: $\{(I_j, C_j, L_j) | j \in \{1,2,...,K\}\} = \text{Top-K}(\text{Sim}(I_i, I_j))$

3. Großmodell-Abruf-Verbesserungs-Modul

Kombination der abgerufenen ähnlichen Fälle mit dem aktuellen Bild in einen Prompt:

$\text{Prompt}_i = \text{Concat}(I_i, \{C_j | j \in \{1,2,...,K\}\})$

Generierung von Ergebnissen durch multimodales großes Sprachmodell: $\hat{L_i}, \hat{C_i} = \text{LM}(\text{Prompt}_i)$

Technische Innovationspunkte

Trainingsfreie Optimierung: Keine Feinabstimmung großer Modelle erforderlich; Leistungsverbesserung durch Abruf-Verbesserung
Dynamische Wissensfusion: Dynamischer Abruf relevanter Fälle basierend auf Eingabebildern zur Bereitstellung von Kontextinformationen
Cross-Modal-Abruf: Verwendung des CLIP-Modells zur Berechnung der Bild-Text-Cross-Modal-Ähnlichkeit
Prompt-Engineering: Entwurf von vier verschiedenen Prompt-Vorlagen zur Optimierung von Modellausgabeformat und Genauigkeit

Experimentelle Einrichtung

Datensatz

Rwecd-Datensatz: Basierend auf echten Bildern von Hochgeschwindigkeitsstraßenbau konstruiert
Gesamtumfang: 325 Risikobildmuster
Anzahl der Kategorien: 15 verschiedene Risikokategorien
Datenaufteilung: 105 Bilder zur Konstruktion der Abruf-Datenbank, 220 Bilder als Testset

Bewertungsmetriken

Kategoriegenauigkeit: $\text{CategoryAccuracy} = \frac{1}{N}\sum_{i=1}^{N}\mathbb{I}(L_i = \hat{L_i})$
BERT-Ähnlichkeit: $\text{BERTSim}(C_i, \hat{C_i}) = \frac{f_{BERT}(C_i) \cdot f_{BERT}(\hat{C_i})}{||f_{BERT}(C_i)|| \cdot ||f_{BERT}(\hat{C_i})||}$
TF-IDF-Ähnlichkeit: $\text{TFIDFSim}(C_i, \hat{C_i}) = \frac{f_{TFIDF}(C_i) \cdot f_{TFIDF}(\hat{C_i})}{||f_{TFIDF}(C_i)|| \cdot ||f_{TFIDF}(\hat{C_i})||}$

Vergleichsmethoden

GLM-4V: Multimodale Erweiterung der Zhipu ChatGLM-Serie von universellen Sprachmodellen
ChatGPT-4o: Von OpenAI eingeführtes multimodales großes Sprachmodell
Deepseek-vl2: Von DeepSeek-Team entwickeltes multimodales großes Sprachmodell

Implementierungsdetails

Entwurf von vier Prompt-Vorlagen:

Type1: Grundlegende Anweisung ohne zusätzliche Informationen
Type2: Kategorieleitung mit Hinzufügung von 15 Risikokategorieinformationen
Type3: Formatspezifikation mit Ausgabeformatanforderungen
Type4: Zusammengesetzte Verbesserung mit gleichzeitiger Hinzufügung von Kategorie- und Formatinformationen

Experimentelle Ergebnisse

Hauptergebnisse

Methode	Modell	Acc	BERT	TF-IDF
Base	GLM-4V	14,51%	69,95	3,17
Base	ChatGPT-4O	53,54%	71,67	5,75
Base	Deepseek-vl2	14,91%	68,15	2,34
COT	GLM-4V	17,28%	70,09	3,68
COT	ChatGPT-4O	55,08%	71,30	4,64
COT	Deepseek-vl2	12,11%	66,87	2,33
RDRAG	GLM-4V	50,00%	77,51	11,83
RDRAG	ChatGPT-4O	59,09%	73,81	6,40
RDRAG	Deepseek-vl2	36,53%	72,25	6,86

Schlüsselfunde:

GLM-4V-Genauigkeit von 14,51% auf 50,00% erhöht, Verbesserung von 35,49%
Alle Modelle zeigen signifikante Verbesserungen in BERT-Ähnlichkeit und TF-IDF-Ähnlichkeit
COT-Methode zeigt begrenzte Effektivität, zeigt sogar in einigen Fällen negative Auswirkungen

Ablationsstudien

Modell	Methode	Acc	BERT	TF-IDF
GLM-4V	RDRAG	50,00%	77,51	11,83
GLM-4V	LPIPS	43,64%	77,11	9,63
GLM-4V	Base	37,73%	76,49	6,66

Ergebnisanalyse:

CLIP-basierte Abruf-Strategie überlegen gegenüber LPIPS-basierter Strategie
Abruf-Datenbank-Mechanismus zeigt positive Verbesserungen für alle Modelle
Cross-Modal-Fähigkeit von CLIP ist effektiver beim Verständnis von Bildinhaltähnlichkeit

Vergleichsanalyse von Prompt-Vorlagen

Type4 (zusammengesetzte Verbesserung)-Vorlage zeigt beste Leistung sowohl in semantischer Ähnlichkeit als auch in Schlüsselwort-Übereinstimmungsgrad, daher als endgültige Prompt-Lösung ausgewählt.

Kategorieebenen-Analyse

Bei 15 Risikokategorien zeigt die RDRAG-Methode signifikante Verbesserungen in den meisten Kategorien, besonders bei:

Kategorien mit größerer Stichprobenzahl (z.B. Verteilerkasten nicht rechtzeitig verriegelt: 26%→60%)
Kategorien mit ähnlichen Schlüsselobjekten (z.B. Brandschutzeinrichtungen: 0%→50%)
Komplexe Szenariokategorien (z.B. Gerätesicherheitsschutz: 12%→64,71%)

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

Der RDRAG-Rahmen verbessert signifikant die Genauigkeit und Kontextverständnisfähigkeit großer Modelle bei der Baustellenrisikoidentifizierung
Die Abruf-Verbesserungsmethode erreicht signifikante Leistungsverbesserungen ohne Training
Die CLIP-basierte Bildabruf-Strategie ist überlegen gegenüber traditionellen Wahrnehmungsähnlichkeitsmethoden
Die Methode zeigt gute Generalisierungsleistung in Multi-Kategorie-Risikoszenarien

Einschränkungen

Kategorien mit wenigen Stichproben: Instabile Optimierungsergebnisse für Kategorien mit extrem wenigen Stichproben
Wahrnehmung kleiner Ziele: Präzise Risikoidentifizierung in komplexem Hintergrund bleibt eine Herausforderung
Qualität der Abruf-Datenbank: Leistung hängt von Qualität und Abdeckung der Abruf-Datenbank ab
Rechenlast: Echtzeit-Abruf kann gewisse Rechenverzögerung verursachen

Zukünftige Richtungen

Anwendung komplexerer RAG-Prompt-Verbesserungstechniken
Verbesserung der Modellwahrnehmungsfähigkeit für kleine Ziele
Optimierung von Abruf-Strategien zur Behandlung komplexer Szenarien
Erweiterung auf weitere Industriesicherheitsbereiche

Tiefenbewertung

Stärken

Hohe Innovativität: Erste Anwendung von Abruf-verstärkter Generierung auf Baustellenrisikoidentifizierung, signifikante Leistungsverbesserung ohne Feinabstimmung
Hoher praktischer Wert: Lösung praktischer Ingenieurprobleme mit starken Anwendungsaussichten
Umfassende Experimente: Systematische Evaluierung über mehrere Modelle hinweg, einschließlich Ablationsstudien und Kategorieebenen-Analyse
Allgemeine Methode: Rahmen-Design mit Allgemeingültigkeit, erweiterbar auf andere Sicherheitserkennungsbereiche

Mängel

Datensatzgröße: Rwecd-Datensatz ist relativ klein (325 Bilder), kann die Allgemeingültigkeit von Schlussfolgerungen einschränken
Kategorieunausgeglichenheit: Einige Risikokategorien haben zu wenige Stichproben, beeinflussen die Leistungsbewertung dieser Kategorien
Recheneffizienz: Rechenlast und Echtzeitfähigkeit des Abruf-Prozesses nicht detailliert analysiert
Fehleranalyse: Mangel an tiefgehender Analyse fehlgeschlagener Fälle

Einfluss

Akademischer Beitrag: Bietet neue Perspektiven für die Anwendung multimoder großer Modelle in vertikalen Bereichen
Ingenieurwert: Bietet praktische technische Lösungen für Baustellensicherheitsverwaltung
Methodische Inspiration: Abruf-Verbesserungsrahmen kann verwandte Forschung in anderen Bereichen inspirieren

Anwendungsszenarien

Baustellensicherheitsüberwachung: Echtzeit- oder regelmäßige Risikoerkennung
Sicherheitsschulung: Als Hilfsmittel zur Unterstützung der Erkennung und des Lernens von Risikotypen
Compliance-Überprüfung: Unterstützung von Sicherheitspersonal bei standardisierter Überprüfung
Andere Industrieszenarien: Erweiterbar auf Bergbau, Chemie und andere Hochrisikobranchen

Literaturverzeichnis

Das Papier zitiert umfangreiche verwandte Arbeiten, die traditionelle Computersehen-Methoden, multimodales Lernen, Abruf-verstärkte Generierung und andere Forschungsrichtungen abdecken und eine solide theoretische Grundlage für die Forschung bieten.

Gesamtbewertung: Dies ist ein hochqualitatives anwendungsorientiertes Forschungspapier. Der vorgeschlagene RDRAG-Rahmen ist innovativ und praktisch, das Experimentdesign ist vernünftig und die Ergebnisse überzeugend. Obwohl es noch Verbesserungspotenzial in Datensatzgröße und einigen technischen Details gibt, leistet es einen wertvollen Beitrag zur Anwendung multimoder großer Modelle im Bereich der Industriesicherheit.