2025-11-13T07:31:10.185499

Learning to Recognize Correctly Completed Procedure Steps in Egocentric Assembly Videos through Spatio-Temporal Modeling

Schoonbeek, Hung, Lehman et al.

Procedure step recognition (PSR) aims to identify all correctly completed steps and their sequential order in videos of procedural tasks. The existing state-of-the-art models rely solely on detecting assembly object states in individual video frames. By neglecting temporal features, model robustness and accuracy are limited, especially when objects are partially occluded. To overcome these limitations, we propose Spatio-Temporal Occlusion-Resilient Modeling for Procedure Step Recognition (STORM-PSR), a dual-stream framework for PSR that leverages both spatial and temporal features. The assembly state detection stream operates effectively with unobstructed views of the object, while the spatio-temporal stream captures both spatial and temporal features to recognize step completions even under partial occlusion. This stream includes a spatial encoder, pre-trained using a novel weakly supervised approach to capture meaningful spatial representations, and a transformer-based temporal encoder that learns how these spatial features relate over time. STORM-PSR is evaluated on the MECCANO and IndustReal datasets, reducing the average delay between actual and predicted assembly step completions by 11.2% and 26.1%, respectively, compared to prior methods. We demonstrate that this reduction in delay is driven by the spatio-temporal stream, which does not rely on unobstructed views of the object to infer completed steps. The code for STORM-PSR, along with the newly annotated MECCANO labels, is made publicly available at https://timschoonbeek.github.io/stormpsr .

academic

ইগোসেন্ট্রিক অ্যাসেম্বলি ভিডিওতে সঠিকভাবে সম্পন্ন প্রক্রিয়া পদক্ষেপ স্বীকৃতি দিতে শেখা স্পেশিও-টেম্পোরাল মডেলিংয়ের মাধ্যমে

মৌলিক তথ্য

পেপার আইডি: 2510.12385
শিরোনাম: Learning to Recognize Correctly Completed Procedure Steps in Egocentric Assembly Videos through Spatio-Temporal Modeling
লেখক: Tim J. Schoonbeek, Shao-Hsuan Hung, Dan Lehman, Hans Onvlee, Jacek Kustra, Peter H.N. de With, Fons van der Sommen
শ্রেণীবিভাগ: cs.CV (কম্পিউটার ভিশন)
প্রকাশনার সময়: ২০২৫ সালের ১৪ অক্টোবর (arXiv প্রি-প্রিন্ট)
জার্নাল: Computer Vision and Image Understanding (গৃহীত)
পেপার লিঙ্ক: https://arxiv.org/abs/2510.12385

সারসংক্ষেপ

প্রক্রিয়া পদক্ষেপ স্বীকৃতি (PSR) প্রক্রিয়া কাজের ভিডিওতে সমস্ত সঠিকভাবে সম্পন্ন পদক্ষেপ এবং তাদের ক্রম চিহ্নিত করার লক্ষ্য রাখে। বিদ্যমান অত্যাধুনিক মডেলগুলি শুধুমাত্র একক ভিডিও ফ্রেমে অ্যাসেম্বলি অবজেক্ট অবস্থা সনাক্তকরণের উপর নির্ভর করে, সময়গত বৈশিষ্ট্যগুলি উপেক্ষা করে, যার ফলে মডেলের দৃঢ়তা এবং নির্ভুলতা সীমিত হয়, বিশেষত যখন অবজেক্ট আংশিকভাবে অস্পষ্ট থাকে। এই সীমাবদ্ধতাগুলি অতিক্রম করার জন্য, এই পেপারটি STORM-PSR (Spatio-Temporal Occlusion-Resilient Modeling for Procedure Step Recognition) প্রস্তাব করে, যা স্থানিক এবং সময়গত বৈশিষ্ট্য ব্যবহার করে এমন একটি দ্বি-প্রবাহ PSR কাঠামো। অ্যাসেম্বলি অবস্থা সনাক্তকরণ প্রবাহ যখন অবজেক্ট অস্পষ্ট নয় তখন কার্যকরভাবে কাজ করে, যখন স্পেশিও-টেম্পোরাল প্রবাহ স্থানিক এবং সময়গত বৈশিষ্ট্য ক্যাপচার করে, এমনকি আংশিক অস্পষ্টতার অধীনেও পদক্ষেপ সম্পূর্ণতা চিহ্নিত করে। এই পদ্ধতিটি MECCANO এবং IndustReal ডেটাসেটে মূল্যায়ন করা হয়েছে, বিদ্যমান পদ্ধতির তুলনায় যথাক্রমে প্রকৃত এবং পূর্বাভাসিত অ্যাসেম্বলি পদক্ষেপ সম্পূর্ণতার মধ্যে গড় বিলম্ব ১১.২% এবং ২৬.১% হ্রাস করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

প্রক্রিয়া পদক্ষেপ স্বীকৃতি (PSR) শিল্প সহায়তা পরিস্থিতিতে কম্পিউটার ভিশনের একটি গুরুত্বপূর্ণ কাজ, যা ভিডিওতে সঠিকভাবে সম্পন্ন প্রক্রিয়া পদক্ষেপ এবং তাদের সম্পূর্ণতার সময় চিহ্নিত করার লক্ষ্য রাখে। এটি শিল্প স্বয়ংক্রিয়করণ, গুণমান নিয়ন্ত্রণ এবং অপারেটর সহায়তা সিস্টেমের জন্য গুরুত্বপূর্ণ।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

সম্পূর্ণ দৃশ্যের উপর নির্ভরতা: বিদ্যমান পদ্ধতিগুলি প্রধানত অ্যাসেম্বলি অবস্থা সনাক্তকরণ (ASD) এর উপর ভিত্তি করে, অবজেক্ট সম্পূর্ণভাবে দৃশ্যমান এবং অস্পষ্ট না হওয়া প্রয়োজন
সময়গত তথ্য উপেক্ষা: শুধুমাত্র একক ফ্রেম স্থানিক তথ্য ব্যবহার করে, ভিডিওর সময়গত ধারাবাহিকতা ব্যবহার করে না
প্রথম-ব্যক্তি দৃষ্টিভঙ্গির চ্যালেঞ্জ: স্ব-কেন্দ্রিক দৃষ্টিভঙ্গি ভিডিওতে, হাত এবং সরঞ্জাম ঘন ঘন মূল অবজেক্ট অস্পষ্ট করে, যার ফলে স্বীকৃতি বিলম্ব হয়

গবেষণা প্রেরণা

শিল্প পরিস্থিতিতে, সময়োপযোগী এবং নির্ভুল পদক্ষেপ স্বীকৃতি অত্যন্ত গুরুত্বপূর্ণ:

রিয়েল-টাইম গুণমান পর্যবেক্ষণ
অপারেটর নির্দেশনা এবং ত্রুটি প্রতিরোধ
স্বয়ংক্রিয় অ্যাসেম্বলি যাচাইকরণ ইত্যাদি অ্যাপ্লিকেশনের জন্য। বিদ্যমান পদ্ধতিগুলির অস্পষ্টতার অধীনে উল্লেখযোগ্য বিলম্ব তাদের ব্যবহারিকতা সীমিত করে।

মূল অবদান

STORM-PSR কাঠামো: অ্যাসেম্বলি অবস্থা থেকে অনুমান করার পরিবর্তে PSR কাজ সরাসরি অপ্টিমাইজ করে এমন প্রথম দ্বি-প্রবাহ স্পেশিও-টেম্পোরাল মডেল প্রস্তাব করে
উপন্যাস প্রশিক্ষণ কৌশল:
- মূল ফ্রেম নমুনা (KFS): দুর্বল তত্ত্বাবধানে প্রাক-প্রশিক্ষণ স্থানিক এনকোডার
- মূল সেগমেন্ট সচেতন নমুনা (KCAS): সময়গত এনকোডারের জন্য উপন্যাস নমুনা কৌশল
ডেটাসেট অবদান: MECCANO ডেটাসেটের জন্য PSR এবং ASD মন্তব্য প্রদান করে, কর্মক্ষমতা বেঞ্চমার্ক প্রতিষ্ঠা করে
উল্লেখযোগ্য কর্মক্ষমতা উন্নতি: দুটি ডেটাসেটে স্বীকৃতি বিলম্য় উল্লেখযোগ্যভাবে হ্রাস করে, অন্যান্য কর্মক্ষমতা সূচক বজায় বা উন্নত করে

পদ্ধতি বিস্তারিত

কাজ সংজ্ঞা

ভিডিও ইনপুট $X_t = (x_1, x_2, \cdots, x_t)$ এবং প্রক্রিয়া ক্রিয়া সেট $P = \{p_0, \cdots, p_N\}$ দেওয়া, PSR কাজের লক্ষ্য সময় t পর্যন্ত সম্পন্ন পদক্ষেপের সেট পূর্বাভাস দেওয়া:

$\hat{Y}_t = \{(\hat{a}_{\sigma(0)}, \hat{t}_{\sigma(0)}), \cdots (\hat{a}_{\sigma(m)}, \hat{t}_{\sigma(m)})\}$

যেখানে $\hat{a}_{\sigma(i)}$ পূর্বাভাসিত ক্রিয়া সম্পূর্ণতা নির্দেশ করে, $\hat{t}_{\sigma(i)}$ সম্পূর্ণতার সময় নির্দেশ করে।

মডেল আর্কিটেকচার

দ্বি-প্রবাহ কাঠামো ডিজাইন

STORM-PSR দ্বি-প্রবাহ আর্কিটেকচার গ্রহণ করে:

অ্যাসেম্বলি অবস্থা সনাক্তকরণ প্রবাহ (S): অস্পষ্ট ফ্রেম প্রক্রিয়া করে, YOLOv8-M এর উপর ভিত্তি করে সম্পূর্ণ অ্যাসেম্বলি অবস্থা সনাক্ত করে
স্পেশিও-টেম্পোরাল প্রবাহ (T): অস্পষ্ট পরিস্থিতি পরিচালনা করে, সরাসরি পদক্ষেপ সম্পূর্ণতা পূর্বাভাস দেয়

চূড়ান্ত পূর্বাভাস সমান ওজন সংমিশ্রণের মাধ্যমে: $\hat{y}_k = 0.5 \cdot \hat{y}_{S,k} + 0.5 \cdot \hat{y}_{T,k}$

স্পেশিও-টেম্পোরাল প্রবাহ আর্কিটেকচার

স্থানিক এনকোডার: প্রাক-প্রশিক্ষিত ViT-S মডেল, ফ্রেম-স্তরের স্থানিক বৈশিষ্ট্য নিষ্কাশন করে
সময়গত এনকোডার: Transformer আর্কিটেকচার, সময়গত নির্ভরতা শিখে
শ্রেণীবিভাগ মাথা: বহু-লেবেল শ্রেণীবিভাগের জন্য MLP

মূল প্রযুক্তিগত উদ্ভাবন

1. মূল ফ্রেম নমুনা (KFS)

দুর্বল তত্ত্বাবধানে প্রাক-প্রশিক্ষণ কৌশল, বিরল পদক্ষেপ সম্পূর্ণতা মন্তব্য ব্যবহার করে:

পদক্ষেপ সম্পূর্ণতা সময়ের চিহ্ন চারপাশে নমুনা ফ্রেম
তত্ত্বাবধানে বৈপরীত্য ক্ষতি ব্যবহার করে শক্তিশালী স্থানিক প্রতিনিধিত্ব শিখে
সংশ্লেষিত ডেটা বর্ধন প্রশিক্ষণ একীভূত করতে পারে

2. মূল সেগমেন্ট সচেতন নমুনা (KCAS)

দ্বিমোডাল বিতরণের উপর ভিত্তি করে নমুনা কৌশল: $p_i(x) = \sum_{t_j \in T} [g(x | t_j - \delta, \sigma) + g(x | t_j + \delta, \sigma)]$

পদক্ষেপ সম্পূর্ণতার আগে এবং পরে সেগমেন্ট অতিরিক্ত নমুনা করে
অস্পষ্ট মুহূর্ত এবং পটভূমি সেগমেন্ট কম নমুনা করে
আরও ইতিবাচক নমুনা এবং কঠিন নেতিবাচক নমুনা প্রদান করে

পরীক্ষামূলক সেটআপ

ডেটাসেট

IndustReal: ২৬.৯K মন্তব্যকৃত ফ্রেম, সংশ্লেষিত ডেটা সমর্থন সহ
MECCANO: নতুন মন্তব্যকৃত ১৩.৬K ফ্রেম, আরও চ্যালেঞ্জিং অস্পষ্টতা পরিস্থিতি

মূল্যায়ন মেট্রিক্স

প্রক্রিয়া ক্রম সাদৃশ্য (POS): সম্পাদনা দূরত্বের উপর ভিত্তি করে ক্রম নির্ভুলতা
F1 স্কোর: নির্ভুলতা এবং স্মরণের সুরেলা গড়
গড় বিলম্য় (τ): প্রকৃত সম্পূর্ণতা এবং স্বীকৃতির মধ্যে সময়ের পার্থক্য

বাস্তবায়ন বিবরণ

স্থানিক এনকোডার: ImageNet-21K প্রাক-প্রশিক্ষিত ViT-S
সময়গত এনকোডার: 6-স্তর স্ব-মনোযোগ, 8 মনোযোগ মাথা
অপ্টিমাইজার: SGD, শেখার হার 10^-3, কোসাইন অ্যানিলিং সময়সূচী
ইনপুট রেজোলিউশন: 224×224 পিক্সেল

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

পদ্ধতি	IndustReal			MECCANO
	POS↑	F1↑	τ↓	POS↑	F1↑	τ↓
IndustReal বেসলাইন	0.797	0.891	21.0	0.354	0.545	99.8
স্পেশিও-টেম্পোরাল প্রবাহ একা	0.497	0.506	14.2	0.206	0.247	120.3
STORM-PSR	0.812	0.901	15.5	0.377	0.497	88.6

মূল অনুসন্ধান

উল্লেখযোগ্য বিলম্য় হ্রাস: IndustReal এ ২৬.১% হ্রাস, MECCANO এ ১১.২% হ্রাস
কর্মক্ষমতা উন্নতি: IndustReal এ সমস্ত মেট্রিক্স সর্বোত্তম অর্জন করে
পরিপূরক যাচাইকরণ: দ্বি-প্রবাহ আর্কিটেকচার উভয় পদ্ধতির সুবিধা কার্যকরভাবে একত্রিত করে

অ্যাবলেশন পরীক্ষা

নমুনা কৌশল প্রভাব

KFS প্রাক-প্রশিক্ষণ ছাড়া: সময়গত এনকোডার কার্যকর বৈশিষ্ট্য শিখতে পারে না
শুধুমাত্র KFS: সীমিত কর্মক্ষমতা উন্নতি
KFS+KCAS: উল্লেখযোগ্য কর্মক্ষমতা উন্নতি (14%-79%)

সময়গত মডেলিং তুলনা

Transformer > LSTM > TCN, দীর্ঘমেয়াদী নির্ভরতা মডেলিংয়ে মনোযোগ প্রক্রিয়া যন্ত্রের শ্রেষ্ঠত্ব যাচাই করে।

সময়গত উইন্ডো আকার

বৃহত্তর সময়গত উইন্ডো (256 ফ্রেম) ভাল কর্মক্ষমতা প্রদান করে, তবে গণনা খরচ বৃদ্ধি পায়।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

স্পেশিও-টেম্পোরাল মডেলিং PSR এর স্বীকৃতি বিলম্য় উল্লেখযোগ্যভাবে হ্রাস করে
দ্বি-প্রবাহ আর্কিটেকচার স্থানিক সনাক্তকরণ এবং সময়গত যুক্তির সুবিধা কার্যকরভাবে একত্রিত করে
দুর্বল তত্ত্বাবধানে প্রাক-প্রশিক্ষণ এবং বুদ্ধিমান নমুনা কৌশল কর্মক্ষমতা উন্নতির জন্য অত্যন্ত গুরুত্বপূর্ণ

সীমাবদ্ধতা

ডেটা প্রয়োজনীয়তা: স্পেশিও-টেম্পোরাল মডেল আরও প্রশিক্ষণ ডেটা প্রয়োজন
গণনা ওভারহেড: একক-প্রবাহ পদ্ধতির তুলনায় গণনা জটিলতা বেশি (75.1 বনাম 284.8 FPS)
সময়গত উইন্ডো সীমাবদ্ধতা: নির্দিষ্ট উইন্ডো আকার বৈশ্বিক প্রক্রিয়া বোঝা সীমিত করে
ডেটাসেট আকার: MECCANO ডেটা বিরলতা স্পেশিও-টেম্পোরাল শেখা প্রভাবিত করে

ভবিষ্যত দিকনির্দেশনা

সময়গত উইন্ডো সম্প্রসারণ: দীর্ঘতর সময়গত নির্ভরতা অন্বেষণ করে
অভিযোজিত সংমিশ্রণ: শেখা ভিত্তিক দ্বি-প্রবাহ সংমিশ্রণ কৌশল
সংশ্লেষিত ডেটা বর্ধন: NeRF ইত্যাদি প্রযুক্তি ব্যবহার করে আরও প্রশিক্ষণ ডেটা তৈরি করে
সম্পূর্ণ ভিডিও মডেলিং: সম্পূর্ণ ভিডিও ক্রম বিবেচনা করে এমন পদ্ধতি

গভীর মূল্যায়ন

শক্তি

সমস্যা লক্ষ্যবস্তু শক্তিশালী: শিল্প পরিস্থিতিতে প্রকৃত ব্যথার পয়েন্ট সরাসরি সমাধান করে
প্রযুক্তিগত উদ্ভাবন স্পষ্ট: প্রথমবার PSR এ স্পেশিও-টেম্পোরাল মডেলিং প্রয়োগ করে, চতুর ডিজাইন
ব্যাপক পরীক্ষা: প্রতিটি উপাদানের অবদান যাচাই করতে পর্যাপ্ত অ্যাবলেশন পরীক্ষা
উচ্চ ব্যবহারিক মূল্য: বিলম্য় হ্রাস বাস্তব অ্যাপ্লিকেশনের জন্য উল্লেখযোগ্য
ওপেন-সোর্স অবদান: কোড এবং নতুন ডেটাসেট মন্তব্য প্রদান করে

অপূর্ণতা

সীমিত সাধারণতা: প্রধানত অ্যাসেম্বলি কাজের জন্য, অন্যান্য প্রক্রিয়া প্রকারের প্রযোজ্যতা যাচাই করা প্রয়োজন
দক্ষতা ট্রেড-অফ: কর্মক্ষমতা উন্নতি গণনা ওভারহেড বৃদ্ধির খরচে
অপর্যাপ্ত তাত্ত্বিক বিশ্লেষণ: স্পেশিও-টেম্পোরাল বৈশিষ্ট্য শেখার তাত্ত্বিক ব্যাখ্যার অভাব
সীমিত ত্রুটি বিশ্লেষণ: ব্যর্থতার ক্ষেত্রে বিশ্লেষণ তুলনামূলকভাবে সীমিত

প্রভাব

একাডেমিক অবদান: PSR ক্ষেত্রে নতুন মডেলিং প্যারাডাইম প্রবর্তন করে
শিল্প মূল্য: উৎপাদন শিল্পের গুণমান নিয়ন্ত্রণ এবং অপারেটর সহায়তায় সরাসরি প্রয়োগ
পুনরুৎপাদনযোগ্যতা: সম্পূর্ণ কোড এবং ডেটা প্রদান করে, পরবর্তী গবেষণা সহজতর করে
অনুপ্রেরণামূলক: অন্যান্য প্রক্রিয়া বোঝার কাজের জন্য স্পেশিও-টেম্পোরাল মডেলিং চিন্তাভাবনা প্রদান করে

প্রযোজ্য পরিস্থিতি

শিল্প অ্যাসেম্বলি: ইলেকট্রনিক পণ্য, যান্ত্রিক অংশ অ্যাসেম্বলি পর্যবেক্ষণ
গুণমান পরীক্ষা: রিয়েল-টাইম অ্যাসেম্বলি পদক্ষেপ যাচাইকরণ
প্রশিক্ষণ সিস্টেম: অপারেটর দক্ষতা মূল্যায়ন এবং নির্দেশনা
স্বয়ংক্রিয়করণ একীকরণ: মানব-মেশিন মিথস্ক্রিয়া পরিস্থিতিতে রোবোটিক সিস্টেমের সাথে সহযোগিতা

সংদর্ভ

পেপারটি ৫৯টি সম্পর্কিত সাহিত্য উদ্ধৃত করে, প্রধানত অন্তর্ভুক্ত করে:

প্রক্রিয়া বোঝা এবং ক্রিয়া স্বীকৃতির ক্লাসিক কাজ
অ্যাসেম্বলি অবস্থা সনাক্তকরণ সম্পর্কিত গবেষণা
প্রতিনিধিত্ব শেখা এবং বৈপরীত্য শেখার পদ্ধতি
মনোযোগ প্রক্রিয়া যন্ত্র এবং Transformer আর্কিটেকচার
সম্পর্কিত ডেটাসেট নির্মাণ কাজ

এই পেপারটি প্রক্রিয়া পদক্ষেপ স্বীকৃতি ক্ষেত্রে গুরুত্বপূর্ণ অবদান রাখে, চতুর দ্বি-প্রবাহ ডিজাইন এবং উদ্ভাবনী প্রশিক্ষণ কৌশলের মাধ্যমে, বিদ্যমান পদ্ধতিগুলির অস্পষ্টতা পরিস্থিতিতে সীমাবদ্ধতা কার্যকরভাবে সমাধান করে। যদিও গণনা ওভারহেড এবং সাধারণতার দিক থেকে চ্যালেঞ্জ রয়েছে, তবে শিল্প অ্যাপ্লিকেশনে এর ব্যবহারিক মূল্য এবং একাডেমিক উদ্ভাবনশীলতা এটিকে এই ক্ষেত্রের একটি গুরুত্বপূর্ণ অগ্রগতি করে তোলে।