2025-11-13T18:28:11.410735

Action-Dynamics Modeling and Cross-Temporal Interaction for Online Action Understanding

Yang, Jiang, Zhou et al.

Action understanding, encompassing action detection and anticipation, plays a crucial role in numerous practical applications. However, untrimmed videos are often characterized by substantial redundant information and noise. Moreover, in modeling action understanding, the influence of the agent's intention on the action is often overlooked. Motivated by these issues, we propose a novel framework called the State-Specific Model (SSM), designed to unify and enhance both action detection and anticipation tasks. In the proposed framework, the Critical State-Based Memory Compression module compresses frame sequences into critical states, reducing information redundancy. The Action Pattern Learning module constructs a state-transition graph with multi-dimensional edges to model action dynamics in complex scenarios, on the basis of which potential future cues can be generated to represent intention. Furthermore, our Cross-Temporal Interaction module models the mutual influence between intentions and past as well as current information through cross-temporal interactions, thereby refining present and future features and ultimately realizing simultaneous action detection and anticipation. Extensive experiments on multiple benchmark datasets -- including EPIC-Kitchens-100, THUMOS'14, TVSeries, and the introduced Parkinson's Disease Mouse Behaviour (PDMB) dataset -- demonstrate the superior performance of our proposed framework compared to other state-of-the-art approaches. These results highlight the importance of action dynamics learning and cross-temporal interactions, laying a foundation for future action understanding research.

academic

क्रिया-गतिशीलता मॉडलिंग और ऑनलाइन क्रिया समझ के लिए क्रॉस-टेम्पोरल इंटरैक्शन

मूल जानकारी

पेपर ID: 2510.10682
शीर्षक: Action-Dynamics Modeling and Cross-Temporal Interaction for Online Action Understanding
लेखक: Xinyu Yang, Zheheng Jiang, Feixiang Zhou, Yihang Zhu, Na Lv, Nan Xing, Huiyu Zhou
वर्गीकरण: cs.CV (कंप्यूटर विजन)
प्रकाशन समय: 12 अक्टूबर 2025 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.10682

सारांश

क्रिया समझ में क्रिया पहचान और क्रिया पूर्वानुमान शामिल हैं, जो कई व्यावहारिक अनुप्रयोगों में महत्वपूर्ण भूमिका निभाते हैं। हालांकि, अनुपादित वीडियो में आमतौर पर बहुत अधिक अनावश्यक जानकारी और शोर होता है। इसके अलावा, क्रिया समझ को मॉडल करते समय, एजेंट के इरादे का क्रिया पर प्रभाव अक्सर नजरअंदाज किया जाता है। इन समस्याओं के आधार पर, यह पेपर स्टेट-स्पेसिफिक मॉडल (SSM) नामक एक नई रूपरेखा प्रस्तावित करता है, जिसका उद्देश्य क्रिया पहचान और पूर्वानुमान कार्यों को एकीकृत और बढ़ाना है। यह रूपरेखा महत्वपूर्ण स्थिति स्मृति संपीड़न मॉड्यूल, क्रिया पैटर्न सीखने वाले मॉड्यूल और क्रॉस-टेम्पोरल इंटरैक्शन मॉड्यूल से युक्त है, जो स्थिति संक्रमण ग्राफ के माध्यम से क्रिया गतिशीलता को मॉडल करता है, संभावित भविष्य संकेत उत्पन्न करता है जो इरादे का प्रतिनिधित्व करते हैं, और क्रॉस-टेम्पोरल इंटरैक्शन के माध्यम से एक साथ क्रिया पहचान और पूर्वानुमान प्राप्त करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मुख्य समस्याएं

सूचना अनावश्यकता समस्या: अनुपादित वीडियो में बहुत सारे पृष्ठभूमि फ्रेम और शोर होता है, जो महत्वपूर्ण क्रिया पैटर्न सीखने में बाधा डालता है
इरादे मॉडलिंग की कमी: मौजूदा विधियां मुख्य रूप से ऐतिहासिक जानकारी के वर्तमान/भविष्य की क्रिया पर प्रभाव पर ध्यान केंद्रित करती हैं, क्रिया निष्पादन में एजेंट के इरादे की मार्गदर्शक भूमिका को नजरअंदाज करती हैं
कार्य विभाजन समस्या: क्रिया पहचान और पूर्वानुमान कार्य आमतौर पर अलग से संभाले जाते हैं, दोनों के बीच पूरक प्रकृति का पूरी तरह से उपयोग नहीं किया जाता है

अनुसंधान का महत्व

ऑनलाइन क्रिया समझ बुद्धिमान निगरानी, मानव-मशीन इंटरैक्शन, स्वचालित ड्राइविंग और अन्य अनुप्रयोगों के लिए महत्वपूर्ण है। सटीक क्रिया पहचान और पूर्वानुमान सिस्टम को मानव व्यवहार को बेहतर ढंग से समझने और प्रतिक्रिया देने में सक्षम बनाता है।

मौजूदा विधियों की सीमाएं

स्मृति-आधारित विधियां: LSTR, GateHub जैसी विधियां पूर्ण अनुक्रम प्रसंस्करण पर निर्भर करती हैं, लंबे वीडियो में शोर से आसानी से प्रभावित होती हैं
एकल-कार्य डिजाइन: अधिकांश विधियां एकल कार्य पर केंद्रित हैं, पहचान और पूर्वानुमान कार्यों के बीच पारस्परिक प्रचार संबंध का उपयोग नहीं करती हैं
इरादे मॉडलिंग की कमी: क्रिया के चालक के रूप में इरादे की महत्वपूर्ण भूमिका को नजरअंदाज करता है

मुख्य योगदान

SSM रूपरेखा प्रस्तावित करना: क्रिया पहचान और पूर्वानुमान कार्यों को एकीकृत करने के लिए एक नई रूपरेखा, क्रिया गतिशीलता और क्रॉस-टेम्पोरल इंटरैक्शन मॉडलिंग के माध्यम से क्रिया समझ को बढ़ाता है
महत्वपूर्ण स्थिति स्मृति संपीड़न (CSMC) मॉड्यूल: टेम्पोरल भारित ध्यान तंत्र का परिचय, मूल अनुक्रम को महत्वपूर्ण स्थितियों में संपीड़ित करता है, सूचना अनावश्यकता को कम करता है
क्रिया पैटर्न सीखने वाला (APL) मॉड्यूल: जटिल परिदृश्यों में क्रिया गतिशीलता को मॉडल करने के लिए बहु-आयामी स्थिति संक्रमण ग्राफ का निर्माण, इरादे का प्रतिनिधित्व करने वाले संभावित भविष्य संकेत उत्पन्न करता है
क्रॉस-टेम्पोरल इंटरैक्शन (CTI) मॉड्यूल: इरादे और अतीत/वर्तमान जानकारी के बीच पारस्परिक प्रभाव को मॉडल करता है, पहचान और पूर्वानुमान प्रदर्शन को एक साथ अनुकूलित करता है
व्यापक प्रायोगिक सत्यापन: कई बेंचमार्क डेटासेट पर विधि की प्रभावशीलता और सामान्यीकरण क्षमता को सत्यापित करता है

विधि विवरण

कार्य परिभाषा

वीडियो विशेषता अनुक्रम $F = \{f_i\}_{0}^{L-1} \in \mathbb{R}^{L \times D}$ दिया गया है, जिसमें स्मृति अनुक्रम $F_m = \{f\}_{-1}^{-L_m}$ और वर्तमान फ्रेम $F_{current} = \{f\}_0$ शामिल हैं, लक्ष्य एक साथ प्राप्त करना है:

ऑनलाइन क्रिया पहचान: वर्तमान समय पर क्रिया वर्ग की पहचान करना
क्रिया पूर्वानुमान: भविष्य के समय पर क्रिया वर्ग का पूर्वानुमान लगाना

मॉडल आर्किटेक्चर

1. महत्वपूर्ण स्थिति स्मृति संपीड़न (CSMC) मॉड्यूल

महत्वपूर्ण फ्रेम निष्कर्षण:

ProPos प्रतिनिधित्व सीखने और गॉसियन मिश्रण मॉडल (GMM) का उपयोग करके वीडियो फ्रेम क्लस्टरिंग
संभाव्यता घनत्व मॉडलिंग: $p(f(x_i)) = \sum_{k=1}^K \pi_k \mathcal{N}(f(x_i) | \mu_k, \Sigma_k)$
पश्च संभाव्यता गणना: $p(k|f(x_i)) = \frac{\pi_k \mathcal{N}(f(x_i)|\mu_k,\Sigma_k)}{\sum_{j=1}^K \pi_j \mathcal{N}(f(x_i)|\mu_j,\Sigma_j)}$
क्लस्टर केंद्र के निकटतम फ्रेम को महत्वपूर्ण फ्रेम के रूप में चुनना: $x_k^c = \arg\min_{x_i} \|f(x_i) - \mu_k\|_2$

टेम्पोरल भारित ध्यान तंत्र (TWA):

महत्वपूर्ण फ्रेम क्वेरी (Q) के रूप में, मूल अनुक्रम फ्रेम कुंजी (K) और मान (V) के रूप में
टेम्पोरल वजन फ़ंक्शन: $g(\Delta t_{i,j}) = \exp(-\frac{\Delta t_{i,j}^2}{2\delta^2})$
ध्यान वजन: $a_{i,j} = \sigma(\frac{Q_i \cdot K_j^T}{\sqrt{d_k}} \cdot g(\Delta t_{i,j}))$
महत्वपूर्ण स्थिति प्रतिनिधित्व: $S_i = \sum_{j=1}^L a_{ij}V_j$

2. क्रिया पैटर्न सीखने वाला (APL) मॉड्यूल

स्थिति संक्रमण ग्राफ निर्माण:

महत्वपूर्ण स्थितियों के बीच निर्भरता को मापने के लिए क्रॉस-ध्यान तंत्र का उपयोग
बहु-आयामी संक्रमण किनारे: $E_{i,j}, E_{j,i} = \text{CA}((S_i, S_j), (S_j, S_i))$
पारंपरिक एकल संबंध एन्कोडिंग के विपरीत, बहु-आयामी किनारे कई जटिल निर्भरता संबंधों को पकड़ सकते हैं

क्रिया गतिशीलता मॉडलिंग:

स्थिति संक्रमण ग्राफ को संसाधित करने के लिए गेटेड ग्राफ कनवोल्यूशनल नेटवर्क (Gated GCN) का उपयोग
संभावित भविष्य संकेत उत्पन्न करना इरादे के प्रतिनिधित्व के रूप में
डाउनस्ट्रीम कार्यों के लिए अपेक्षित संदर्भ प्रदान करना

3. क्रॉस-टेम्पोरल इंटरैक्शन (CTI) मॉड्यूल

तीन प्रकार की टेम्पोरल विशेषताएं:

अतीत की विशेषताएं $F_p$ : ऐतिहासिक महत्वपूर्ण स्थितियां
वर्तमान विशेषताएं $F_c$ : तत्काल क्रिया गतिशीलता
संभावित भविष्य विशेषताएं $F_a$ : स्थिति संक्रमण ग्राफ से अनुमानित क्रिया प्रवृत्ति

इंटरैक्शन तंत्र:

एकीकृत टेम्पोरल प्रतिनिधित्व: $F_t = [F_p, F_c, F_a]$
वर्तमान विशेषता अपडेट: $F_c' = \text{CA}(F_c, F_t, F_t)$
भविष्य विशेषता अपडेट: $F_a' = \text{CA}(F_a, F_t', F_t')$ , जहां $F_t' = [F_p, F_c', F_a]$

तकनीकी नवाचार बिंदु

स्थिति बनाम स्मृति प्रतिमान: स्मृति-आधारित विधियों द्वारा पूर्ण अनुक्रम प्रसंस्करण की तुलना में, यह पेपर महत्वपूर्ण स्थिति निष्कर्षण पर केंद्रित है, अनावश्यक हस्तक्षेप को प्रभावी ढंग से कम करता है
बहु-आयामी संबंध मॉडलिंग: स्थिति संक्रमण ग्राफ का बहु-आयामी किनारा डिजाइन पारंपरिक विधियों की तुलना में अधिक समृद्ध क्रिया निर्भरता संबंधों को पकड़ सकता है
इरादा-संचालित डिजाइन: संभावित भविष्य संकेत को इरादे के प्रतिनिधि के रूप में उपयोग करता है, क्रिया पर इरादे के मार्गदर्शक प्रभाव को मॉडल करता है
एकीकृत रूपरेखा: क्रॉस-टेम्पोरल इंटरैक्शन के माध्यम से पहचान और पूर्वानुमान कार्यों का पारस्परिक प्रचार प्राप्त करता है

प्रायोगिक सेटअप

डेटासेट

EPIC-Kitchens-100: बड़े पैमाने पर प्रथम-व्यक्ति दृष्टिकोण रसोई गतिविधि डेटासेट
THUMOS'14: खेल क्रिया पहचान बेंचमार्क डेटासेट
TVSeries: टीवी नाटक दृश्य क्रिया डेटासेट
PDMB: पार्किंसन रोग माउस व्यवहार डेटासेट (लेखकों द्वारा प्रस्तुत)

मूल्यांकन मेट्रिक्स

THUMOS'14: औसत सटीकता माध्य (mAP)
TVSeries: कैलिब्रेटेड औसत सटीकता माध्य (mcAP)
EPIC-Kitchens-100: क्रिया, संज्ञा, क्रिया की श्रेणी औसत Top-5 रिकॉल दर
PDMB: mAP और mcAP

तुलना विधियां

TRN, LSTR, GateHub, TeSTra, MAT, AVT और अन्य कई SOTA विधियां शामिल हैं

कार्यान्वयन विवरण

स्मृति अनुक्रम लंबाई: $L_m = 511$
क्लस्टरिंग संख्या: $K = 4$
हानि फ़ंक्शन वजन: ग्रिड खोज के माध्यम से निर्धारित
पहचान और पूर्वानुमान के लिए साझा वर्गीकरणकर्ता का उपयोग

प्रायोगिक परिणाम

मुख्य परिणाम

क्रिया पूर्वानुमान कार्य:

EPIC-Kitchens-100 (RGB+OF+Obj): क्रिया 44.9%, संज्ञा 48.3%, क्रिया 24.9%, UADT बेसलाइन से बेहतर
THUMOS'14: Kinetics प्रशिक्षण 61.9% बनाम MAT 58.2% (+3.7%)
TVSeries: Kinetics प्रशिक्षण 85.1% बनाम MAT 82.6% (+2.5%)

क्रिया पहचान कार्य:

THUMOS'14: Kinetics प्रशिक्षण 72.1% बनाम MAT 71.6% (+0.5%)
TVSeries: ActivityNet प्रशिक्षण 89.8% बनाम MAT 88.6% (+1.2%)
EPIC-Kitchens-100: क्रिया 49.4%, संज्ञा 51.9%, क्रिया 30.6%, MAT-MC से क्रमशः 4.9%, 3.6%, 4.3% सुधार

विलोपन प्रयोग

क्रॉस-टेम्पोरल इंटरैक्शन विश्लेषण:

कोई इंटरैक्शन नहीं: पहचान 46.1%, पूर्वानुमान 43.9%
अतीत + वर्तमान: पहचान 51.1%, पूर्वानुमान 43.9%
अतीत + वर्तमान + भविष्य: पहचान 71.8%, पूर्वानुमान 58.1%

महत्वपूर्ण पैरामीटर विश्लेषण:

स्मृति लंबाई $L_m = 511$ पर सर्वोत्तम प्रदर्शन
क्लस्टरिंग संख्या $K = 4$ सर्वोत्तम संतुलन प्राप्त करता है
साझा वर्गीकरणकर्ता स्वतंत्र वर्गीकरणकर्ता से बेहतर है

दक्षता विश्लेषण

A100 GPU पर अनुमान गति SOTA स्तर तक पहुंचती है, जिसमें ऑप्टिकल प्रवाह गणना, विशेषता निष्कर्षण और मॉडल अनुमान शामिल हैं।

दृश्य विश्लेषण

ध्यान दृश्य: TWA तंत्र महत्वपूर्ण क्रिया क्षेत्रों पर प्रभावी ढंग से ध्यान केंद्रित कर सकता है, पृष्ठभूमि हस्तक्षेप को दबाता है
गुणात्मक तुलना: बेसलाइन विधियों की तुलना में, SSM क्रिया सीमा पहचान और आत्मविश्वास में बेहतर प्रदर्शन करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

SSM रूपरेखा महत्वपूर्ण स्थिति निष्कर्षण और क्रॉस-टेम्पोरल इंटरैक्शन के माध्यम से क्रिया समझ प्रदर्शन को प्रभावी ढंग से बढ़ाती है
स्थिति संक्रमण ग्राफ जटिल क्रिया गतिशीलता पैटर्न को पकड़ सकता है
इरादे मॉडलिंग सटीक क्रिया पूर्वानुमान के लिए महत्वपूर्ण है
पहचान और पूर्वानुमान कार्यों का संयुक्त अनुकूलन महत्वपूर्ण लाभ प्रदान करता है

सीमाएं

शब्दार्थ समझ सीमा: सूक्ष्म-दानेदार संज्ञा वर्गीकरण में अभी भी सुधार की गुंजाइश है
अचानक क्रिया प्रसंस्करण: स्पष्ट पैटर्न की कमी वाली सहज क्रिया पूर्वानुमान में कठिनाई
कम्प्यूटेशनल जटिलता: स्थिति संक्रमण ग्राफ निर्माण कुछ कम्प्यूटेशनल ओवरहेड जोड़ता है
पैरामीटर संवेदनशीलता: क्लस्टरिंग संख्या जैसे हाइपरपैरामीटर को विभिन्न डेटासेट के लिए समायोजन की आवश्यकता होती है

भविष्य की दिशाएं

सूक्ष्म-दानेदार शब्दार्थ समझ क्षमता को बढ़ाना
अधिक मजबूत अचानक क्रिया मॉडलिंग विधियों की खोज करना
कम्प्यूटेशनल दक्षता को अनुकूलित करना, वास्तविक समय अनुप्रयोग आवश्यकताओं को पूरा करना
अधिक क्रिया समझ कार्यों तक विस्तार करना

गहन मूल्यांकन

शक्तियां

मजबूत नवाचार: स्थिति-आधारित डिजाइन और क्रॉस-टेम्पोरल इंटरैक्शन क्रिया समझ के लिए नया दृष्टिकोण प्रदान करते हैं
तकनीकी पूर्णता: तीन मॉड्यूल डिजाइन तर्कसंगत हैं, प्रत्येक अपनी भूमिका निभाता है और एक दूसरे के साथ सहयोग करता है
व्यापक प्रयोग: बहु-डेटासेट सत्यापन और विस्तृत विलोपन प्रयोग विधि की प्रभावशीलता को सिद्ध करते हैं
उत्कृष्ट प्रदर्शन: कई बेंचमार्क पर SOTA स्तर प्राप्त करता है
स्पष्ट लेखन: विधि विवरण विस्तृत हैं, दृश्य विश्लेषण समृद्ध हैं

कमियां

अपर्याप्त सैद्धांतिक विश्लेषण: विधि अभिसरण और जटिलता के सैद्धांतिक विश्लेषण की कमी
डेटासेट सीमा: मुख्य रूप से दृश्य डेटासेट पर सत्यापित, क्रॉस-मोडल सामान्यीकरण क्षमता अज्ञात है
वास्तविक समय विश्लेषण अपर्याप्त: दक्षता का उल्लेख किया गया है लेकिन विस्तृत वास्तविक समय प्रदर्शन विश्लेषण की कमी है
विफलता केस विश्लेषण सीमित: विधि विफलता परिदृश्यों का विश्लेषण अपेक्षाकृत सीमित है

प्रभाव

शैक्षणिक मूल्य: क्रिया समझ के लिए नई मॉडलिंग सोच प्रदान करता है, बाद के अनुसंधान को प्रेरित कर सकता है
व्यावहारिक मूल्य: एकीकृत रूपरेखा डिजाइन में अच्छी अनुप्रयोग संभावनाएं हैं
पुनरुत्पादनीयता: विधि विवरण विस्तृत हैं, पुनरुत्पादन और सुधार में सहायता करते हैं

उपयोगी परिदृश्य

बुद्धिमान निगरानी: वास्तविक समय क्रिया पहचान और विसंगति पूर्वानुमान
मानव-मशीन इंटरैक्शन: रोबोट क्रिया समझ और प्रतिक्रिया
स्वचालित ड्राइविंग: पैदल यात्री व्यवहार पूर्वानुमान और टकराव से बचाव
खेल विश्लेषण: एथलीट क्रिया विश्लेषण और रणनीति पूर्वानुमान

संदर्भ

पेपर में 93 संबंधित संदर्भ हैं, जो क्रिया पहचान, क्रिया पूर्वानुमान, ध्यान तंत्र, ग्राफ तंत्रिका नेटवर्क और अन्य कई संबंधित क्षेत्रों के महत्वपूर्ण कार्यों को शामिल करते हैं, इस अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह कंप्यूटर विजन क्षेत्र में एक उच्च-गुणवत्ता वाला पेपर है, जो क्रिया समझ क्षेत्र में एक नवीन समाधान प्रस्तावित करता है। विधि डिजाइन तर्कसंगत है, प्रायोगिक सत्यापन व्यापक है, और कई बेंचमार्क डेटासेट पर महत्वपूर्ण प्रदर्शन सुधार प्राप्त किए गए हैं। हालांकि सैद्धांतिक विश्लेषण और कुछ तकनीकी विवरणों में सुधार की गुंजाइश है, लेकिन समग्र रूप से यह एक मूल्यवान अनुसंधान योगदान है।