2025-11-13T07:31:10.185499

Learning to Recognize Correctly Completed Procedure Steps in Egocentric Assembly Videos through Spatio-Temporal Modeling

Schoonbeek, Hung, Lehman et al.
Procedure step recognition (PSR) aims to identify all correctly completed steps and their sequential order in videos of procedural tasks. The existing state-of-the-art models rely solely on detecting assembly object states in individual video frames. By neglecting temporal features, model robustness and accuracy are limited, especially when objects are partially occluded. To overcome these limitations, we propose Spatio-Temporal Occlusion-Resilient Modeling for Procedure Step Recognition (STORM-PSR), a dual-stream framework for PSR that leverages both spatial and temporal features. The assembly state detection stream operates effectively with unobstructed views of the object, while the spatio-temporal stream captures both spatial and temporal features to recognize step completions even under partial occlusion. This stream includes a spatial encoder, pre-trained using a novel weakly supervised approach to capture meaningful spatial representations, and a transformer-based temporal encoder that learns how these spatial features relate over time. STORM-PSR is evaluated on the MECCANO and IndustReal datasets, reducing the average delay between actual and predicted assembly step completions by 11.2% and 26.1%, respectively, compared to prior methods. We demonstrate that this reduction in delay is driven by the spatio-temporal stream, which does not rely on unobstructed views of the object to infer completed steps. The code for STORM-PSR, along with the newly annotated MECCANO labels, is made publicly available at https://timschoonbeek.github.io/stormpsr .
academic

Apprendre à Reconnaître les Étapes de Procédure Correctement Complétées dans les Vidéos d'Assemblage Égocentrées par Modélisation Spatio-Temporelle

Informations Fondamentales

  • ID de l'article: 2510.12385
  • Titre: Learning to Recognize Correctly Completed Procedure Steps in Egocentric Assembly Videos through Spatio-Temporal Modeling
  • Auteurs: Tim J. Schoonbeek, Shao-Hsuan Hung, Dan Lehman, Hans Onvlee, Jacek Kustra, Peter H.N. de With, Fons van der Sommen
  • Classification: cs.CV (Vision par Ordinateur)
  • Date de Publication: 14 octobre 2025 (prépublication arXiv)
  • Journal: Computer Vision and Image Understanding (accepté)
  • Lien de l'article: https://arxiv.org/abs/2510.12385

Résumé

La reconnaissance des étapes de procédure (REP) vise à identifier toutes les étapes correctement complétées d'une tâche procédurale dans une vidéo ainsi que leur ordre. Les modèles de pointe existants ne s'appuient que sur la détection de l'état des objets d'assemblage dans des images vidéo individuelles, en ignorant les caractéristiques temporelles, ce qui limite la robustesse et la précision du modèle, particulièrement lorsque les objets sont partiellement occultés. Pour surmonter ces limitations, cet article propose STORM-PSR (Modélisation Spatio-Temporelle Résiliente à l'Occlusion pour la Reconnaissance des Étapes de Procédure), un cadre REP à deux flux qui exploite les caractéristiques spatiales et temporelles. Le flux de détection d'état d'assemblage fonctionne efficacement lorsque les objets ne sont pas occultés, tandis que le flux spatio-temporel capture les caractéristiques spatiales et temporelles, permettant l'identification de l'achèvement des étapes même en cas d'occlusion partielle. La méthode est évaluée sur les ensembles de données MECCANO et IndustReal, réduisant respectivement le délai moyen entre l'achèvement réel et prédit des étapes d'assemblage de 11,2% et 26,1% par rapport aux méthodes existantes.

Contexte et Motivation de la Recherche

Définition du Problème

La reconnaissance des étapes de procédure (REP) est une tâche importante de la vision par ordinateur dans les scénarios d'assistance industrielle, visant à identifier les étapes de procédure correctement complétées dans une vidéo et le moment de leur achèvement. Ceci est crucial pour l'automatisation industrielle, le contrôle de qualité et les systèmes d'assistance aux opérateurs.

Limitations des Méthodes Existantes

  1. Dépendance à une vue complète: Les méthodes existantes reposent principalement sur la détection d'état d'assemblage (DEA), nécessitant que les objets soient complètement visibles et sans occlusion
  2. Ignorance de l'information temporelle: Utilisation uniquement d'informations spatiales monoframe, sans exploiter la continuité temporelle de la vidéo
  3. Défis de la perspective égocentrée: Dans les vidéos à perspective égocentrée, les mains et les outils occultent fréquemment les objets clés, causant des délais de reconnaissance

Motivation de la Recherche

Dans les scénarios industriels, la reconnaissance rapide et précise des étapes est cruciale pour:

  • La surveillance de qualité en temps réel
  • L'orientation des opérateurs et la prévention des erreurs
  • La vérification automatisée de l'assemblage et autres applications. Les délais significatifs des méthodes existantes en cas d'occlusion limitent leur utilité pratique.

Contributions Principales

  1. Cadre STORM-PSR: Proposition du premier modèle spatio-temporel à deux flux optimisant directement la tâche REP, plutôt que d'inférer l'achèvement des étapes à partir de l'état d'assemblage
  2. Stratégies d'entraînement novatrices:
    • Échantillonnage des images clés (EIC): Préentraînement faiblement supervisé de l'encodeur spatial
    • Échantillonnage conscient des segments clés (ECSC): Nouvelle stratégie d'échantillonnage pour l'encodeur temporel
  3. Contribution aux ensembles de données: Fourniture d'annotations REP et DEA pour l'ensemble de données MECCANO, établissant des références de performance
  4. Amélioration significative des performances: Réduction substantielle du délai de reconnaissance sur deux ensembles de données, tout en maintenant ou améliorant les autres indicateurs de performance

Détails de la Méthode

Définition de la Tâche

Étant donné une entrée vidéo Xt=(x1,x2,⋯ ,xt)X_t = (x_1, x_2, \cdots, x_t) et un ensemble d'actions procédurales P={p0,⋯ ,pN}P = \{p_0, \cdots, p_N\}, l'objectif de la tâche REP est de prédire l'ensemble des étapes complétées jusqu'au moment t:

Y^t={(a^σ(0),t^σ(0)),⋯(a^σ(m),t^σ(m))}\hat{Y}_t = \{(\hat{a}_{\sigma(0)}, \hat{t}_{\sigma(0)}), \cdots (\hat{a}_{\sigma(m)}, \hat{t}_{\sigma(m)})\}

où a^σ(i)\hat{a}_{\sigma(i)} représente l'achèvement de l'action prédite et t^σ(i)\hat{t}_{\sigma(i)} représente le moment d'achèvement.

Architecture du Modèle

Conception du Cadre à Deux Flux

STORM-PSR adopte une architecture à deux flux:

  • Flux de détection d'état d'assemblage (S): Traite les images sans occlusion, détectant l'état d'assemblage complet basé sur YOLOv8-M
  • Flux spatio-temporel (T): Traite les cas d'occlusion, prédisant directement l'achèvement des étapes

La prédiction finale est obtenue par fusion à poids égaux: y^k=0.5⋅y^S,k+0.5⋅y^T,k\hat{y}_k = 0.5 \cdot \hat{y}_{S,k} + 0.5 \cdot \hat{y}_{T,k}

Architecture du Flux Spatio-Temporel

  1. Encodeur spatial: Modèle ViT-S préentraîné, extrayant les caractéristiques spatiales au niveau des images
  2. Encodeur temporel: Architecture Transformer, apprenant les dépendances temporelles
  3. Tête de classification: MLP implémentant la classification multi-étiquettes

Innovations Techniques Clés

1. Échantillonnage des Images Clés (EIC)

Stratégie de préentraînement faiblement supervisée, exploitant les annotations d'achèvement d'étapes éparses:

  • Échantillonnage d'images autour des horodatages d'achèvement d'étapes
  • Utilisation d'une perte de contraste supervisée pour apprendre des représentations spatiales robustes
  • Intégration possible d'augmentation de données synthétiques pour l'entraînement

2. Échantillonnage Conscient des Segments Clés (ECSC)

Stratégie d'échantillonnage basée sur une distribution bimodale: pi(x)=∑tj∈T[g(x∣tj−δ,σ)+g(x∣tj+δ,σ)]p_i(x) = \sum_{t_j \in T} [g(x | t_j - \delta, \sigma) + g(x | t_j + \delta, \sigma)]

  • Suréchanillonnage des segments avant et après l'achèvement des étapes
  • Sous-échantillonnage des moments ambigus et des segments d'arrière-plan
  • Fourniture de plus d'exemples positifs et d'exemples négatifs difficiles

Configuration Expérimentale

Ensembles de Données

  1. IndustReal: 26,9K images annotées, incluant un support de données synthétiques
  2. MECCANO: 13,6K images nouvellement annotées, scénarios d'occlusion plus difficiles

Métriques d'Évaluation

  1. Similarité d'Ordre Procédural (SOP): Précision de l'ordre basée sur la distance d'édition
  2. Score F1: Moyenne harmonique de la précision et du rappel
  3. Délai moyen (τ): Différence de temps entre l'achèvement réel et la reconnaissance

Détails d'Implémentation

  • Encodeur spatial: ViT-S préentraîné sur ImageNet-21K
  • Encodeur temporel: 6 couches d'auto-attention, 8 têtes d'attention
  • Optimiseur: SGD, taux d'apprentissage 10^-3, planification du recuit cosinus
  • Résolution d'entrée: 224×224 pixels

Résultats Expérimentaux

Résultats Principaux

MéthodeIndustRealMECCANO
SOP↑F1↑τ↓SOP↑F1↑τ↓
Ligne de base IndustReal0,7970,89121,00,3540,54599,8
Flux spatio-temporel seul0,4970,50614,20,2060,247120,3
STORM-PSR0,8120,90115,50,3770,49788,6

Résultats Clés

  1. Réduction significative du délai: Réduction de 26,1% sur IndustReal, 11,2% sur MECCANO
  2. Amélioration des performances: Tous les indicateurs optimaux atteints sur IndustReal
  3. Vérification de la complémentarité: L'architecture à deux flux combine efficacement les avantages des deux approches

Études d'Ablation

Impact des Stratégies d'Échantillonnage

  • Sans préentraînement EIC: L'encodeur temporel ne peut pas apprendre des caractéristiques efficaces
  • EIC seul: Amélioration de performance limitée
  • EIC+ECSC: Amélioration significative des performances (14%-79%)

Comparaison de la Modélisation Temporelle

Transformer > LSTM > TCN, validant l'avantage du mécanisme d'attention dans la modélisation des dépendances à long terme.

Taille de la Fenêtre Temporelle

Une fenêtre temporelle plus grande (256 images) offre de meilleures performances, mais avec un coût de calcul accru.

Travaux Connexes

Recherche sur la Compréhension Procédurale

  • Reconnaissance d'actions: Classification de segments vidéo courts
  • Segmentation d'actions temporelles: Détection des limites d'actions dans les vidéos longues
  • Identification d'étapes clés: Détection de moments clés
  • Détection d'état d'assemblage: Reconnaissance d'état basée sur monoframe

Distinction par Rapport aux Travaux Existants

  1. Première optimisation directe de la tâche REP plutôt que dépendance à l'inférence DEA
  2. Traitement explicite du problème d'occlusion
  3. Introduction de la modélisation temporelle pour surmonter les limitations des méthodes monoframe

Conclusion et Discussion

Conclusions Principales

  1. La modélisation spatio-temporelle réduit significativement le délai de reconnaissance REP
  2. L'architecture à deux flux combine efficacement les avantages de la détection spatiale et du raisonnement temporel
  3. Le préentraînement faiblement supervisé et les stratégies d'échantillonnage intelligentes sont essentiels pour l'amélioration des performances

Limitations

  1. Besoins en données: Les modèles spatio-temporels nécessitent plus de données d'entraînement
  2. Surcharge de calcul: Complexité de calcul plus élevée par rapport aux méthodes monoflux (75,1 vs 284,8 FPS)
  3. Limitation de la fenêtre temporelle: La taille de fenêtre fixe limite la compréhension procédurale globale
  4. Taille de l'ensemble de données: La rareté des données MECCANO affecte l'efficacité de l'apprentissage spatio-temporel

Directions Futures

  1. Extension de la fenêtre temporelle: Exploration de dépendances temporelles plus longues
  2. Fusion adaptative: Apprentissage de stratégies de fusion à deux flux basées sur les données
  3. Augmentation de données synthétiques: Utilisation de technologies comme NeRF pour générer plus de données d'entraînement
  4. Modélisation vidéo complète: Approches considérant l'ensemble de la séquence vidéo

Évaluation Approfondie

Points Forts

  1. Forte pertinence du problème: Résolution directe des points douloureux pratiques dans les scénarios industriels
  2. Innovation technique évidente: Première application de la modélisation spatio-temporelle à REP, conception ingénieuse
  3. Expérimentation complète: Études d'ablation suffisantes validant la contribution de chaque composant
  4. Valeur pratique élevée: La réduction significative du délai a une importance majeure pour les applications pratiques
  5. Contribution open-source: Fourniture de code et d'annotations de nouvel ensemble de données

Insuffisances

  1. Généralité limitée: Principalement ciblée sur les tâches d'assemblage, applicabilité à d'autres types de procédures à vérifier
  2. Compromis d'efficacité: L'amélioration des performances au prix d'une augmentation de la surcharge de calcul
  3. Analyse théorique insuffisante: Manque d'explication théorique de l'apprentissage des caractéristiques spatio-temporelles
  4. Analyse d'erreurs: Analyse relativement limitée des cas d'échec

Impact

  1. Contribution académique: Introduction d'un nouveau paradigme de modélisation pour le domaine REP
  2. Valeur industrielle: Application directe au contrôle de qualité manufacturier et à l'assistance aux opérateurs
  3. Reproductibilité: Fourniture de code complet et de données, facilitant les recherches ultérieures
  4. Caractère inspirant: Fourniture d'idées de modélisation spatio-temporelle pour d'autres tâches de compréhension procédurale

Scénarios Applicables

  1. Assemblage industriel: Surveillance d'assemblage de produits électroniques et de pièces mécaniques
  2. Inspection de qualité: Vérification d'étapes d'assemblage en temps réel
  3. Systèmes de formation: Évaluation et orientation des compétences des opérateurs
  4. Intégration d'automatisation: Scénarios d'interaction homme-machine collaborant avec des systèmes robotiques

Références

L'article cite 59 références connexes, couvrant principalement:

  • Travaux classiques en compréhension procédurale et reconnaissance d'actions
  • Recherches connexes en détection d'état d'assemblage
  • Méthodes d'apprentissage de représentations et d'apprentissage par contraste
  • Mécanismes d'attention et architectures Transformer
  • Travaux de construction d'ensembles de données connexes

Cet article apporte une contribution importante au domaine de la reconnaissance des étapes de procédure. Grâce à une conception à deux flux ingénieuse et à des stratégies d'entraînement innovantes, il résout efficacement les limitations des méthodes existantes dans les scénarios d'occlusion. Bien qu'il présente des défis en termes de surcharge de calcul et de généralité, sa valeur pratique dans les applications industrielles et son innovation académique en font un progrès important dans ce domaine.