2025-11-13T07:31:10.185499

Learning to Recognize Correctly Completed Procedure Steps in Egocentric Assembly Videos through Spatio-Temporal Modeling

Schoonbeek, Hung, Lehman et al.

Procedure step recognition (PSR) aims to identify all correctly completed steps and their sequential order in videos of procedural tasks. The existing state-of-the-art models rely solely on detecting assembly object states in individual video frames. By neglecting temporal features, model robustness and accuracy are limited, especially when objects are partially occluded. To overcome these limitations, we propose Spatio-Temporal Occlusion-Resilient Modeling for Procedure Step Recognition (STORM-PSR), a dual-stream framework for PSR that leverages both spatial and temporal features. The assembly state detection stream operates effectively with unobstructed views of the object, while the spatio-temporal stream captures both spatial and temporal features to recognize step completions even under partial occlusion. This stream includes a spatial encoder, pre-trained using a novel weakly supervised approach to capture meaningful spatial representations, and a transformer-based temporal encoder that learns how these spatial features relate over time. STORM-PSR is evaluated on the MECCANO and IndustReal datasets, reducing the average delay between actual and predicted assembly step completions by 11.2% and 26.1%, respectively, compared to prior methods. We demonstrate that this reduction in delay is driven by the spatio-temporal stream, which does not rely on unobstructed views of the object to infer completed steps. The code for STORM-PSR, along with the newly annotated MECCANO labels, is made publicly available at https://timschoonbeek.github.io/stormpsr .

academic

प्रक्रिया चरणों की सही पहचान सीखना: अहंकेंद्रीय असेंबली वीडियो में स्पेशियो-टेम्पोरल मॉडलिंग के माध्यम से

मूल जानकारी

पेपर ID: 2510.12385
शीर्षक: Learning to Recognize Correctly Completed Procedure Steps in Egocentric Assembly Videos through Spatio-Temporal Modeling
लेखक: Tim J. Schoonbeek, Shao-Hsuan Hung, Dan Lehman, Hans Onvlee, Jacek Kustra, Peter H.N. de With, Fons van der Sommen
वर्गीकरण: cs.CV (कंप्यूटर विजन)
प्रकाशन तिथि: 14 अक्टूबर 2025 (arXiv प्रीप्रिंट)
पत्रिका: Computer Vision and Image Understanding (स्वीकृत)
पेपर लिंक: https://arxiv.org/abs/2510.12385

सारांश

प्रक्रिया चरण पहचान (PSR) का उद्देश्य प्रक्रिया कार्य वीडियो में सभी सही तरीके से पूर्ण किए गए चरणों और उनके क्रम की पहचान करना है। मौजूदा अत्याधुनिक मॉडल केवल एकल वीडियो फ्रेम में असेंबली ऑब्जेक्ट स्थिति का पता लगाने पर निर्भर करते हैं, जो अस्थायी विशेषताओं को नजरअंदाज करते हैं, जिससे मॉडल की मजबूती और सटीकता सीमित होती है, विशेष रूप से ऑब्जेक्ट के आंशिक अवरोधन के समय। इन सीमाओं को दूर करने के लिए, यह पेपर STORM-PSR (Spatio-Temporal Occlusion-Resilient Modeling for Procedure Step Recognition) प्रस्तावित करता है, जो स्थानिक और अस्थायी विशेषताओं का उपयोग करने वाली एक द्वि-प्रवाह PSR फ्रेमवर्क है। असेंबली स्थिति पहचान प्रवाह तब प्रभावी ढंग से काम करता है जब ऑब्जेक्ट अवरुद्ध न हो, जबकि स्पेशियो-टेम्पोरल प्रवाह स्थानिक और अस्थायी विशेषताओं को कैप्चर करता है, यहां तक कि आंशिक अवरोधन के तहत भी चरण पूर्णता की पहचान करता है। इस विधि का मूल्यांकन MECCANO और IndustReal डेटासेट पर किया गया है, जो मौजूदा विधियों की तुलना में वास्तविक और पूर्वानुमानित असेंबली चरण पूर्णता के बीच औसत देरी को क्रमशः 11.2% और 26.1% तक कम करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

प्रक्रिया चरण पहचान (PSR) औद्योगिक सहायता परिदृश्यों में कंप्यूटर विजन का एक महत्वपूर्ण कार्य है, जिसका उद्देश्य वीडियो में सही तरीके से पूर्ण किए गए प्रक्रिया चरणों और उनके पूर्णता समय की पहचान करना है। यह औद्योगिक स्वचालन, गुणवत्ता नियंत्रण और ऑपरेटर सहायता प्रणालियों के लिए महत्वपूर्ण है।

मौजूदा विधियों की सीमाएं

पूर्ण दृश्य पर निर्भरता: मौजूदा विधियां मुख्य रूप से असेंबली स्थिति पहचान (ASD) पर आधारित हैं, जिन्हें ऑब्जेक्ट पूरी तरह से दृश्यमान और अवरुद्ध न हो
अस्थायी जानकारी को नजरअंदाज करना: केवल एकल-फ्रेम स्थानिक जानकारी का उपयोग करते हैं, वीडियो की अस्थायी निरंतरता का उपयोग नहीं करते
प्रथम-व्यक्ति दृष्टिकोण की चुनौतियां: स्व-केंद्रीय दृष्टिकोण वीडियो में, हाथ और उपकरण अक्सर महत्वपूर्ण ऑब्जेक्ट को अवरुद्ध करते हैं, जिससे पहचान में देरी होती है

अनुसंधान प्रेरणा

औद्योगिक परिदृश्यों में, समय पर सटीक चरण पहचान के लिए आवश्यक है:

वास्तविक समय गुणवत्ता निगरानी
ऑपरेटर मार्गदर्शन और त्रुटि रोकथाम
स्वचालित असेंबली सत्यापन आदि अनुप्रयोग। मौजूदा विधियों में अवरोधन स्थितियों में महत्वपूर्ण देरी इसकी व्यावहारिकता को सीमित करती है।

मुख्य योगदान

STORM-PSR फ्रेमवर्क: PSR कार्य को सीधे अनुकूलित करने वाली पहली द्वि-प्रवाह स्पेशियो-टेम्पोरल मॉडल, असेंबली स्थिति से चरण पूर्णता का अनुमान लगाने के बजाय
नवीन प्रशिक्षण रणनीति:
- मुख्य फ्रेम नमूनाकरण (KFS): स्थानिक एनकोडर के कमजोर पर्यवेक्षण पूर्व-प्रशिक्षण
- मुख्य खंड-जागरूक नमूनाकरण (KCAS): अस्थायी एनकोडर के लिए नवीन नमूनाकरण रणनीति
डेटासेट योगदान: MECCANO डेटासेट के लिए PSR और ASD एनोटेशन प्रदान करना, प्रदर्शन बेंचमार्क स्थापित करना
महत्वपूर्ण प्रदर्शन सुधार: दोनों डेटासेट पर पहचान देरी में काफी कमी, अन्य प्रदर्शन संकेतकों को बनाए रखते हुए या सुधारते हुए

विधि विवरण

कार्य परिभाषा

वीडियो इनपुट $X_t = (x_1, x_2, \cdots, x_t)$ और प्रक्रिया क्रिया सेट $P = \{p_0, \cdots, p_N\}$ दिया गया है, PSR कार्य का लक्ष्य समय t तक पूर्ण किए गए चरणों के सेट की भविष्यवाणी करना है:

$\hat{Y}_t = \{(\hat{a}_{\sigma(0)}, \hat{t}_{\sigma(0)}), \cdots (\hat{a}_{\sigma(m)}, \hat{t}_{\sigma(m)})\}$

जहां $\hat{a}_{\sigma(i)}$ पूर्वानुमानित क्रिया पूर्णता को दर्शाता है, $\hat{t}_{\sigma(i)}$ पूर्णता समय को दर्शाता है।

मॉडल आर्किटेक्चर

द्वि-प्रवाह फ्रेमवर्क डिजाइन

STORM-PSR द्वि-प्रवाह आर्किटेक्चर को अपनाता है:

असेंबली स्थिति पहचान प्रवाह (S): अवरुद्ध न किए गए फ्रेम को संसाधित करता है, YOLOv8-M के आधार पर पूर्ण असेंबली स्थिति का पता लगाता है
स्पेशियो-टेम्पोरल प्रवाह (T): अवरोधन स्थितियों को संसाधित करता है, सीधे चरण पूर्णता की भविष्यवाणी करता है

अंतिम भविष्यवाणी समान वजन संलयन के माध्यम से: $\hat{y}_k = 0.5 \cdot \hat{y}_{S,k} + 0.5 \cdot \hat{y}_{T,k}$

स्पेशियो-टेम्पोरल प्रवाह आर्किटेक्चर

स्थानिक एनकोडर: पूर्व-प्रशिक्षित ViT-S मॉडल, फ्रेम-स्तरीय स्थानिक विशेषताओं को निकालता है
अस्थायी एनकोडर: Transformer आर्किटेक्चर, अस्थायी निर्भरताओं को सीखता है
वर्गीकरण प्रमुख: बहु-लेबल वर्गीकरण के लिए MLP

मुख्य तकनीकी नवाचार

1. मुख्य फ्रेम नमूनाकरण (KFS)

कमजोर पर्यवेक्षण पूर्व-प्रशिक्षण रणनीति, विरल चरण पूर्णता एनोटेशन का उपयोग करते हुए:

चरण पूर्णता समय स्टैम्प के आसपास फ्रेम नमूना करना
पर्यवेक्षित विपरीत हानि का उपयोग करके मजबूत स्थानिक प्रतिनिधित्व सीखना
सिंथेटिक डेटा वृद्धि प्रशिक्षण को एकीकृत कर सकता है

2. मुख्य खंड-जागरूक नमूनाकरण (KCAS)

द्विविधा वितरण के आधार पर नमूनाकरण रणनीति: $p_i(x) = \sum_{t_j \in T} [g(x | t_j - \delta, \sigma) + g(x | t_j + \delta, \sigma)]$

चरण पूर्णता से पहले और बाद के खंडों को अधिक नमूना करना
अस्पष्ट समय और पृष्ठभूमि खंडों को कम नमूना करना
अधिक सकारात्मक नमूने और कठिन नकारात्मक नमूने प्रदान करना

प्रयोगात्मक सेटअप

डेटासेट

IndustReal: 26.9K एनोटेट किए गए फ्रेम, सिंथेटिक डेटा समर्थन के साथ
MECCANO: नए एनोटेट किए गए 13.6K फ्रेम, अधिक चुनौतीपूर्ण अवरोधन परिदृश्य

मूल्यांकन मेट्रिक्स

प्रक्रिया क्रम समानता (POS): संपादन दूरी के आधार पर क्रम सटीकता
F1 स्कोर: सटीकता और रिकॉल का हार्मोनिक माध्य
औसत देरी (τ): वास्तविक पूर्णता और पहचान के बीच का समय अंतर

कार्यान्वयन विवरण

स्थानिक एनकोडर: ImageNet-21K पूर्व-प्रशिक्षित ViT-S
अस्थायी एनकोडर: 6-परत स्व-ध्यान, 8 ध्यान सिर
अनुकूलक: SGD, सीखने की दर 10^-3, कोसाइन एनीलिंग शेड्यूल
इनपुट रिजॉल्यूशन: 224×224 पिक्सेल

प्रयोगात्मक परिणाम

मुख्य परिणाम

विधि	IndustReal			MECCANO
	POS↑	F1↑	τ↓	POS↑	F1↑	τ↓
IndustReal बेसलाइन	0.797	0.891	21.0	0.354	0.545	99.8
स्पेशियो-टेम्पोरल प्रवाह अकेले	0.497	0.506	14.2	0.206	0.247	120.3
STORM-PSR	0.812	0.901	15.5	0.377	0.497	88.6

मुख्य निष्कर्ष

देरी में महत्वपूर्ण कमी: IndustReal पर 26.1% कमी, MECCANO पर 11.2% कमी
प्रदर्शन सुधार: IndustReal पर सभी मेट्रिक्स में इष्टतम प्राप्त करना
पूरकता सत्यापन: द्वि-प्रवाह आर्किटेक्चर दोनों विधियों के लाभों को प्रभावी ढंग से जोड़ता है

विलोपन प्रयोग

नमूनाकरण रणनीति का प्रभाव

KFS पूर्व-प्रशिक्षण के बिना: अस्थायी एनकोडर प्रभावी विशेषताएं नहीं सीख सकता
केवल KFS: सीमित प्रदर्शन सुधार
KFS+KCAS: महत्वपूर्ण प्रदर्शन सुधार (14%-79%)

अस्थायी मॉडलिंग तुलना

Transformer > LSTM > TCN, दीर्घकालीन निर्भरता मॉडलिंग में ध्यान तंत्र की श्रेष्ठता को सत्यापित करता है।

अस्थायी विंडो आकार

बड़ी अस्थायी विंडो (256 फ्रेम) बेहतर प्रदर्शन प्रदान करती है, लेकिन कम्प्यूटेशनल लागत बढ़ जाती है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

स्पेशियो-टेम्पोरल मॉडलिंग PSR की पहचान देरी को महत्वपूर्ण रूप से कम करती है
द्वि-प्रवाह आर्किटेक्चर स्थानिक पहचान और अस्थायी तर्क के लाभों को प्रभावी ढंग से जोड़ता है
कमजोर पर्यवेक्षण पूर्व-प्रशिक्षण और बुद्धिमान नमूनाकरण रणनीति प्रदर्शन सुधार के लिए महत्वपूर्ण हैं

सीमाएं

डेटा आवश्यकता: स्पेशियो-टेम्पोरल मॉडल को अधिक प्रशिक्षण डेटा की आवश्यकता है
कम्प्यूटेशनल ओवरहेड: एकल-प्रवाह विधि की तुलना में अधिक कम्प्यूटेशनल जटिलता (75.1 vs 284.8 FPS)
अस्थायी विंडो सीमा: निश्चित विंडो आकार वैश्विक प्रक्रिया समझ को सीमित करता है
डेटासेट आकार: MECCANO डेटा विरलता स्पेशियो-टेम्पोरल सीखने को प्रभावित करती है

भविष्य की दिशाएं

अस्थायी विंडो विस्तार: लंबी अस्थायी निर्भरताओं की खोज करना
अनुकूली संलयन: द्वि-प्रवाह संलयन रणनीति सीखना
सिंथेटिक डेटा वृद्धि: NeRF जैसी तकनीकों का उपयोग करके अधिक प्रशिक्षण डेटा उत्पन्न करना
पूर्ण वीडियो मॉडलिंग: संपूर्ण वीडियो अनुक्रम पर विचार करने वाली विधियां

गहन मूल्यांकन

शक्तियां

समस्या-केंद्रितता: औद्योगिक परिदृश्यों में वास्तविक दर्द बिंदुओं को सीधे हल करता है
तकनीकी नवाचार: PSR के लिए स्पेशियो-टेम्पोरल मॉडलिंग का पहला अनुप्रयोग, चतुर डिजाइन
व्यापक प्रयोग: प्रत्येक घटक के योगदान को सत्यापित करने वाले पर्याप्त विलोपन प्रयोग
उच्च व्यावहारिक मूल्य: पहचान देरी में महत्वपूर्ण कमी वास्तविक अनुप्रयोग के लिए महत्वपूर्ण है
खुला स्रोत योगदान: कोड और नए डेटासेट एनोटेशन प्रदान करता है

कमियां

सीमित सामान्यता: मुख्य रूप से असेंबली कार्यों पर केंद्रित, अन्य प्रक्रिया प्रकारों के लिए प्रयोज्यता अनिश्चित
दक्षता व्यापार-बंद: कम्प्यूटेशनल ओवरहेड की कीमत पर प्रदर्शन सुधार
अपर्याप्त सैद्धांतिक विश्लेषण: स्पेशियो-टेम्पोरल विशेषता सीखने की सैद्धांतिक व्याख्या की कमी
सीमित त्रुटि विश्लेषण: विफलता मामलों का विश्लेषण अपेक्षाकृत सीमित है

प्रभाव

शैक्षणिक योगदान: PSR क्षेत्र में नए मॉडलिंग प्रतिमान का परिचय
औद्योगिक मूल्य: विनिर्माण उद्योग में गुणवत्ता नियंत्रण और ऑपरेटर सहायता के लिए सीधा अनुप्रयोग
पुनरुत्पादनीयता: पूर्ण कोड और डेटा, बाद के अनुसंधान को सुविधाजनक बनाता है
प्रेरणा: अन्य प्रक्रिया समझ कार्यों के लिए स्पेशियो-टेम्पोरल मॉडलिंग विचार प्रदान करता है

लागू परिदृश्य

औद्योगिक असेंबली: इलेक्ट्रॉनिक उत्पाद, यांत्रिक भाग असेंबली निगरानी
गुणवत्ता निरीक्षण: वास्तविक समय असेंबली चरण सत्यापन
प्रशिक्षण प्रणाली: ऑपरेटर कौशल मूल्यांकन और मार्गदर्शन
स्वचालन एकीकरण: रोबोट सिस्टम के साथ सहयोग के मानव-मशीन इंटरैक्शन परिदृश्य

संदर्भ

पेपर 59 संबंधित संदर्भों का हवाला देता है, मुख्य रूप से शामिल हैं:

प्रक्रिया समझ और क्रिया पहचान के शास्त्रीय कार्य
असेंबली स्थिति पहचान संबंधित अनुसंधान
प्रतिनिधित्व सीखना और विपरीत सीखना विधियां
ध्यान तंत्र और Transformer आर्किटेक्चर
संबंधित डेटासेट निर्माण कार्य

यह पेपर प्रक्रिया चरण पहचान क्षेत्र में महत्वपूर्ण योगदान देता है, चतुर द्वि-प्रवाह डिजाइन और नवीन प्रशिक्षण रणनीति के माध्यम से, मौजूदा विधियों की अवरोधन परिदृश्यों में सीमाओं को प्रभावी ढंग से हल करता है। हालांकि कम्प्यूटेशनल ओवरहेड और सामान्यता के पहलुओं में चुनौतियां हैं, औद्योगिक अनुप्रयोगों में इसका व्यावहारिक मूल्य और शैक्षणिक नवाचार इसे इस क्षेत्र में महत्वपूर्ण प्रगति बनाता है।