2025-11-13T07:31:10.185499

Learning to Recognize Correctly Completed Procedure Steps in Egocentric Assembly Videos through Spatio-Temporal Modeling

Schoonbeek, Hung, Lehman et al.
Procedure step recognition (PSR) aims to identify all correctly completed steps and their sequential order in videos of procedural tasks. The existing state-of-the-art models rely solely on detecting assembly object states in individual video frames. By neglecting temporal features, model robustness and accuracy are limited, especially when objects are partially occluded. To overcome these limitations, we propose Spatio-Temporal Occlusion-Resilient Modeling for Procedure Step Recognition (STORM-PSR), a dual-stream framework for PSR that leverages both spatial and temporal features. The assembly state detection stream operates effectively with unobstructed views of the object, while the spatio-temporal stream captures both spatial and temporal features to recognize step completions even under partial occlusion. This stream includes a spatial encoder, pre-trained using a novel weakly supervised approach to capture meaningful spatial representations, and a transformer-based temporal encoder that learns how these spatial features relate over time. STORM-PSR is evaluated on the MECCANO and IndustReal datasets, reducing the average delay between actual and predicted assembly step completions by 11.2% and 26.1%, respectively, compared to prior methods. We demonstrate that this reduction in delay is driven by the spatio-temporal stream, which does not rely on unobstructed views of the object to infer completed steps. The code for STORM-PSR, along with the newly annotated MECCANO labels, is made publicly available at https://timschoonbeek.github.io/stormpsr .
academic

Imparare a Riconoscere i Passaggi di Procedura Completati Correttamente nei Video di Assemblaggio Egocentrico attraverso la Modellazione Spazio-Temporale

Informazioni Fondamentali

  • ID Articolo: 2510.12385
  • Titolo: Learning to Recognize Correctly Completed Procedure Steps in Egocentric Assembly Videos through Spatio-Temporal Modeling
  • Autori: Tim J. Schoonbeek, Shao-Hsuan Hung, Dan Lehman, Hans Onvlee, Jacek Kustra, Peter H.N. de With, Fons van der Sommen
  • Classificazione: cs.CV (Visione Artificiale)
  • Data di Pubblicazione: 14 ottobre 2025 (preprint arXiv)
  • Rivista: Computer Vision and Image Understanding (Accettato)
  • Link Articolo: https://arxiv.org/abs/2510.12385

Riassunto

Il riconoscimento dei passaggi di procedura (PSR) mira a identificare tutti i passaggi correttamente completati in video di compiti procedurali e il loro ordine. I modelli più avanzati esistenti si basano esclusivamente sul rilevamento dello stato degli oggetti di assemblaggio in singoli fotogrammi video, trascurando le caratteristiche temporali, il che limita la robustezza e l'accuratezza del modello, in particolare quando gli oggetti sono parzialmente occlusi. Per superare questi limiti, questo articolo propone STORM-PSR (Spatio-Temporal Occlusion-Resilient Modeling for Procedure Step Recognition), un framework PSR a doppio flusso che sfrutta le caratteristiche spaziali e temporali. Il flusso di rilevamento dello stato di assemblaggio funziona efficacemente quando gli oggetti non sono occlusi, mentre il flusso spazio-temporale cattura le caratteristiche spaziali e temporali, riconoscendo il completamento dei passaggi anche in caso di occlusione parziale. Il metodo è valutato sui dataset MECCANO e IndustReal, riducendo rispettivamente il ritardo medio tra il completamento effettivo e previsto dei passaggi di assemblaggio dell'11,2% e del 26,1% rispetto ai metodi esistenti.

Contesto di Ricerca e Motivazione

Definizione del Problema

Il riconoscimento dei passaggi di procedura (PSR) è un compito importante della visione artificiale negli scenari di assistenza industriale, mirato a identificare i passaggi di procedura correttamente completati in video e i loro tempi di completamento. Questo è significativo per l'automazione industriale, il controllo di qualità e i sistemi di assistenza agli operatori.

Limitazioni dei Metodi Esistenti

  1. Dipendenza da Viste Complete: I metodi esistenti si basano principalmente sul rilevamento dello stato di assemblaggio (ASD), che richiede che gli oggetti siano completamente visibili e senza occlusioni
  2. Trascuramento dell'Informazione Temporale: Utilizza solo informazioni spaziali da singoli fotogrammi, senza sfruttare la continuità temporale del video
  3. Sfide della Prospettiva Egocentrica: Nei video da prospettiva egocentrica, le mani e gli strumenti occludono frequentemente gli oggetti chiave, causando ritardi nel riconoscimento

Motivazione della Ricerca

Negli scenari industriali, il riconoscimento tempestivo e accurato dei passaggi è cruciale per:

  • Monitoraggio della qualità in tempo reale
  • Guida dell'operatore e prevenzione degli errori
  • Verifica automatica dell'assemblaggio e altre applicazioni. I ritardi significativi dei metodi esistenti in caso di occlusione limitano la loro praticità.

Contributi Principali

  1. Framework STORM-PSR: Propone il primo modello spazio-temporale a doppio flusso che ottimizza direttamente il compito PSR, piuttosto che dedurre il completamento dei passaggi dallo stato di assemblaggio
  2. Strategie di Addestramento Innovative:
    • Campionamento di Fotogrammi Chiave (KFS): preaddestramento debolmente supervisionato dell'encoder spaziale
    • Campionamento Consapevole di Segmenti Chiave (KCAS): nuova strategia di campionamento per l'encoder temporale
  3. Contributo di Dataset: Fornisce annotazioni PSR e ASD per il dataset MECCANO, stabilendo benchmark di prestazione
  4. Miglioramento Significativo delle Prestazioni: Riduce sostanzialmente il ritardo di riconoscimento su due dataset, mantenendo o migliorando altri indicatori di prestazione

Spiegazione Dettagliata del Metodo

Definizione del Compito

Dato l'input video Xt=(x1,x2,⋯ ,xt)X_t = (x_1, x_2, \cdots, x_t) e l'insieme di azioni procedurali P={p0,⋯ ,pN}P = \{p_0, \cdots, p_N\}, l'obiettivo del compito PSR è prevedere l'insieme dei passaggi completati fino al momento t:

Y^t={(a^σ(0),t^σ(0)),⋯(a^σ(m),t^σ(m))}\hat{Y}_t = \{(\hat{a}_{\sigma(0)}, \hat{t}_{\sigma(0)}), \cdots (\hat{a}_{\sigma(m)}, \hat{t}_{\sigma(m)})\}

dove a^σ(i)\hat{a}_{\sigma(i)} rappresenta il completamento dell'azione prevista e t^σ(i)\hat{t}_{\sigma(i)} rappresenta il tempo di completamento.

Architettura del Modello

Progettazione del Framework a Doppio Flusso

STORM-PSR adotta un'architettura a doppio flusso:

  • Flusso di Rilevamento dello Stato di Assemblaggio (S): Elabora fotogrammi senza occlusioni, basato su YOLOv8-M per rilevare lo stato di assemblaggio completo
  • Flusso Spazio-Temporale (T): Elabora situazioni di occlusione, prevedendo direttamente il completamento dei passaggi

La previsione finale è ottenuta mediante fusione con pesi uguali: y^k=0.5⋅y^S,k+0.5⋅y^T,k\hat{y}_k = 0.5 \cdot \hat{y}_{S,k} + 0.5 \cdot \hat{y}_{T,k}

Architettura del Flusso Spazio-Temporale

  1. Encoder Spaziale: Modello ViT-S preaddestrato, estrae caratteristiche spaziali a livello di fotogramma
  2. Encoder Temporale: Architettura Transformer, apprende le relazioni temporali
  3. Testa di Classificazione: MLP per la classificazione multi-etichetta

Innovazioni Tecniche Chiave

1. Campionamento di Fotogrammi Chiave (KFS)

Strategia di preaddestramento debolmente supervisionato che sfrutta annotazioni sparse di completamento dei passaggi:

  • Campiona fotogrammi intorno ai timestamp di completamento dei passaggi
  • Utilizza perdita di contrasto supervisionato per apprendere rappresentazioni spaziali robuste
  • Può integrare l'addestramento con aumento di dati sintetici

2. Campionamento Consapevole di Segmenti Chiave (KCAS)

Strategia di campionamento basata su distribuzione bimodale: pi(x)=∑tj∈T[g(x∣tj−δ,σ)+g(x∣tj+δ,σ)]p_i(x) = \sum_{t_j \in T} [g(x | t_j - \delta, \sigma) + g(x | t_j + \delta, \sigma)]

  • Sovracampiona segmenti prima e dopo il completamento dei passaggi
  • Sottocampiona momenti ambigui e segmenti di sfondo
  • Fornisce più campioni positivi e campioni negativi difficili

Configurazione Sperimentale

Dataset

  1. IndustReal: 26.9K fotogrammi annotati, con supporto di dati sintetici
  2. MECCANO: 13.6K fotogrammi appena annotati, scenario di occlusione più impegnativo

Metriche di Valutazione

  1. Somiglianza dell'Ordine Procedurale (POS): Accuratezza dell'ordine basata su distanza di modifica
  2. Punteggio F1: Media armonica di precisione e richiamo
  3. Ritardo Medio (τ): Differenza temporale tra completamento effettivo e riconoscimento

Dettagli di Implementazione

  • Encoder spaziale: ViT-S preaddestrato su ImageNet-21K
  • Encoder temporale: 6 strati di auto-attenzione, 8 teste di attenzione
  • Ottimizzatore: SGD, tasso di apprendimento 10^-3, pianificazione di annealing cosinusoidale
  • Risoluzione di input: 224×224 pixel

Risultati Sperimentali

Risultati Principali

MetodoIndustRealMECCANO
POS↑F1↑τ↓POS↑F1↑τ↓
Baseline IndustReal0.7970.89121.00.3540.54599.8
Flusso Spazio-Temporale Solo0.4970.50614.20.2060.247120.3
STORM-PSR0.8120.90115.50.3770.49788.6

Risultati Chiave

  1. Riduzione Significativa del Ritardo: Riduzione del 26.1% su IndustReal, 11.2% su MECCANO
  2. Miglioramento delle Prestazioni: Raggiunge prestazioni ottimali su tutti gli indicatori su IndustReal
  3. Verifica della Complementarità: L'architettura a doppio flusso combina efficacemente i vantaggi di entrambi i metodi

Esperimenti di Ablazione

Impatto delle Strategie di Campionamento

  • Senza preaddestramento KFS: L'encoder temporale non riesce ad apprendere caratteristiche efficaci
  • Solo KFS: Miglioramento limitato delle prestazioni
  • KFS+KCAS: Miglioramento significativo delle prestazioni (14%-79%)

Confronto della Modellazione Temporale

Transformer > LSTM > TCN, verificando il vantaggio del meccanismo di attenzione nella modellazione delle dipendenze a lungo termine.

Dimensione della Finestra Temporale

Finestre temporali più grandi (256 fotogrammi) forniscono prestazioni migliori, ma con aumento dei costi computazionali.

Lavori Correlati

Ricerca sulla Comprensione Procedurale

  • Riconoscimento di Azioni: Classificazione di clip video brevi
  • Segmentazione Temporale di Azioni: Rilevamento dei confini delle azioni in video lunghi
  • Riconoscimento di Passaggi Chiave: Rilevamento di momenti critici
  • Rilevamento dello Stato di Assemblaggio: Riconoscimento dello stato basato su singoli fotogrammi

Differenze di questo Articolo dai Lavori Esistenti

  1. Primo a ottimizzare direttamente il compito PSR piuttosto che dipendere dall'inferenza ASD
  2. Affronta esplicitamente il problema dell'occlusione
  3. Introduce la modellazione temporale per superare i limiti dei metodi a singolo fotogramma

Conclusioni e Discussione

Conclusioni Principali

  1. La modellazione spazio-temporale riduce significativamente il ritardo di riconoscimento in PSR
  2. L'architettura a doppio flusso combina efficacemente i vantaggi del rilevamento spaziale e del ragionamento temporale
  3. Il preaddestramento debolmente supervisionato e le strategie di campionamento intelligente sono cruciali per il miglioramento delle prestazioni

Limitazioni

  1. Requisiti di Dati: I modelli spazio-temporali richiedono più dati di addestramento
  2. Sovraccarico Computazionale: Complessità computazionale più elevata rispetto ai metodi a flusso singolo (75.1 vs 284.8 FPS)
  3. Limitazione della Finestra Temporale: La dimensione della finestra fissa limita la comprensione procedurale globale
  4. Scala del Dataset: La scarsità di dati in MECCANO influisce sull'apprendimento spazio-temporale

Direzioni Future

  1. Estensione della Finestra Temporale: Esplorare relazioni temporali più lunghe
  2. Fusione Adattiva: Apprendere strategie di fusione a doppio flusso basate su dati
  3. Aumento di Dati Sintetici: Utilizzare tecniche come NeRF per generare più dati di addestramento
  4. Modellazione di Video Completo: Considerare metodi che elaborano l'intera sequenza video

Valutazione Approfondita

Punti di Forza

  1. Forte Specificità del Problema: Affronta direttamente i punti critici pratici negli scenari industriali
  2. Innovazione Tecnica Evidente: Primo a applicare la modellazione spazio-temporale a PSR, con design ingegnoso
  3. Esperimenti Completi: Esperimenti di ablazione sufficienti verificano il contributo di ogni componente
  4. Alto Valore Pratico: La riduzione significativa del ritardo ha grande importanza per le applicazioni pratiche
  5. Contributo Open Source: Fornisce codice e annotazioni di nuovi dataset

Insufficienze

  1. Applicabilità Limitata: Principalmente focalizzato su compiti di assemblaggio, l'applicabilità ad altri tipi di procedure rimane da verificare
  2. Compromesso di Efficienza: Il miglioramento delle prestazioni avviene a scapito dell'aumento dei costi computazionali
  3. Analisi Teorica Insufficiente: Manca l'analisi teorica dell'apprendimento delle caratteristiche spazio-temporali
  4. Analisi degli Errori: L'analisi dei casi di fallimento è relativamente limitata

Impatto

  1. Contributo Accademico: Introduce un nuovo paradigma di modellazione nel campo PSR
  2. Valore Industriale: Applicazione diretta al controllo di qualità nella produzione e all'assistenza agli operatori
  3. Riproducibilità: Fornisce codice completo e dati, facilitando la ricerca successiva
  4. Ispirazione: Fornisce idee di modellazione spazio-temporale per altri compiti di comprensione procedurale

Scenari Applicabili

  1. Assemblaggio Industriale: Monitoraggio dell'assemblaggio di prodotti elettronici e componenti meccanici
  2. Ispezione di Qualità: Verifica in tempo reale dei passaggi di assemblaggio
  3. Sistemi di Formazione: Valutazione delle competenze degli operatori e guida
  4. Integrazione dell'Automazione: Scenari di interazione uomo-macchina con sistemi robotici collaborativi

Bibliografia

L'articolo cita 59 riferimenti correlati, che coprono principalmente:

  • Lavori classici sulla comprensione procedurale e il riconoscimento di azioni
  • Ricerca correlata al rilevamento dello stato di assemblaggio
  • Metodi di apprendimento delle rappresentazioni e apprendimento contrastivo
  • Meccanismi di attenzione e architetture Transformer
  • Lavori di costruzione di dataset correlati

Questo articolo fornisce un contributo importante nel campo del riconoscimento dei passaggi di procedura, risolvendo efficacemente le limitazioni dei metodi esistenti in scenari di occlusione attraverso un design a doppio flusso intelligente e strategie di addestramento innovative. Sebbene presenti sfide in termini di sovraccarico computazionale e applicabilità generale, il suo valore pratico nelle applicazioni industriali e l'innovazione accademica lo rendono un progresso importante in questo campo.