2025-11-12T16:49:10.216931

iMoWM: Taming Interactive Multi-Modal World Model for Robotic Manipulation

Zhang, Wu, Lu et al.
Learned world models hold significant potential for robotic manipulation, as they can serve as simulator for real-world interactions. While extensive progress has been made in 2D video-based world models, these approaches often lack geometric and spatial reasoning, which is essential for capturing the physical structure of the 3D world. To address this limitation, we introduce iMoWM, a novel interactive world model designed to generate color images, depth maps, and robot arm masks in an autoregressive manner conditioned on actions. To overcome the high computational cost associated with three-dimensional information, we propose MMTokenizer, which unifies multi-modal inputs into a compact token representation. This design enables iMoWM to leverage large-scale pretrained VideoGPT models while maintaining high efficiency and incorporating richer physical information. With its multi-modal representation, iMoWM not only improves the visual quality of future predictions but also serves as an effective simulator for model-based reinforcement learning (MBRL) and facilitates real-world imitation learning. Extensive experiments demonstrate the superiority of iMoWM across these tasks, showcasing the advantages of multi-modal world modeling for robotic manipulation. Homepage: https://xingyoujun.github.io/imowm/
academic

iMoWM: रोबोटिक हेरफेर के लिए इंटरैक्टिव मल्टी-मोडल वर्ल्ड मॉडल को नियंत्रित करना

बुनियादी जानकारी

  • पेपर ID: 2510.09036
  • शीर्षक: iMoWM: रोबोटिक हेरफेर के लिए इंटरैक्टिव मल्टी-मोडल वर्ल्ड मॉडल को नियंत्रित करना
  • लेखक: चुआनरुई झांग¹, झेंगक्सियन वू², गुआनक्सिंग लू², यानसोंग तांग², ज़िवेई वांग¹
  • संस्थान: ¹नानयांग टेक्नोलॉजिकल यूनिवर्सिटी, ²त्सिंगहुआ विश्वविद्यालय
  • वर्गीकरण: cs.RO (रोबोटिक्स)
  • प्रकाशन तिथि: 10 अक्टूबर 2024 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.09036
  • प्रोजेक्ट होमपेज: https://xingyoujun.github.io/imowm/

सारांश

वर्ल्ड मॉडल सीखना रोबोटिक हेरफेर में विशाल संभावनाएं रखता है, जो वास्तविक दुनिया की बातचीत के सिम्युलेटर के रूप में कार्य कर सकता है। हालांकि 2D वीडियो-आधारित वर्ल्ड मॉडल में व्यापक प्रगति हुई है, ये विधियां अक्सर ज्यामितीय और स्थानिक तर्क क्षमता में कमी रखती हैं, जो 3D दुनिया की भौतिक संरचना को कैप्चर करने के लिए महत्वपूर्ण है। इस सीमा को दूर करने के लिए, लेखकों ने iMoWM प्रस्तावित किया है, जो एक नया इंटरैक्टिव वर्ल्ड मॉडल है जो क्रिया-सशर्त तरीके से रंगीन छवियां, गहराई मानचित्र और रोबोट आर्म मास्क को ऑटोरेग्रेसिव रूप से उत्पन्न कर सकता है। त्रि-आयामी जानकारी के कारण उच्च कम्प्यूटेशनल लागत को दूर करने के लिए, लेखकों ने MMTokenizer प्रस्तावित किया है, जो मल्टी-मोडल इनपुट को कॉम्पैक्ट टोकन प्रतिनिधित्व में एकीकृत करता है। यह डिज़ाइन iMoWM को बड़े पैमाने पर पूर्व-प्रशिक्षित VideoGPT मॉडल का लाभ उठाने में सक्षम बनाता है, जबकि उच्च दक्षता बनाए रखता है और समृद्ध भौतिक जानकारी को एकीकृत करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

रोबोटिक हेरफेर कार्यों को 3D वातावरण में भौतिक गतिशीलता की सटीक भविष्यवाणी की आवश्यकता है, लेकिन मौजूदा वर्ल्ड मॉडल मुख्य रूप से निम्नलिखित समस्याओं का सामना करते हैं:

  1. ज्यामितीय समझ की कमी: अधिकांश विधियां केवल RGB वीडियो भविष्यवाणी पर आधारित हैं, 3D स्थानिक संरचना का स्पष्ट प्रतिनिधित्व नहीं करती हैं
  2. उच्च कम्प्यूटेशनल लागत: 3D जानकारी (जैसे 3D गॉसियन) को सीधे संसाधित करने में विशाल कम्प्यूटेशनल ओवरहेड होता है
  3. सीमित सामान्यीकरण क्षमता: क्रिया-सशर्त बाधाओं की कमी, विविध रोबोटिक हेरफेर परिदृश्यों के अनुकूल होना मुश्किल है

अनुसंधान प्रेरणा

रोबोटिक हेरफेर त्रि-आयामी स्थान में होता है, केवल RGB जानकारी पर निर्भरता दृश्य परिवर्तन और जटिल वस्तु बातचीत के तहत त्रुटियों का कारण बन सकती है। GWM जैसी मौजूदा 3D विधियां 3D गॉसियन वितरण का उपयोग करती हैं, लेकिन उच्च-गुणवत्ता वाली 3DGS पुनर्निर्माण पर निर्भर हैं, एकल-दृश्य परिदृश्यों में सीमित प्रभावशीलता है और स्केल करना मुश्किल है।

मुख्य योगदान

  1. iMoWM फ्रेमवर्क प्रस्तावित करना: पहला इंटरैक्टिव मल्टी-मोडल वर्ल्ड मॉडल जो रंगीन छवियों, गहराई मानचित्रों और रोबोट आर्म मास्क को एक साथ भविष्यवाणी कर सकता है
  2. MMTokenizer डिज़ाइन करना: नवीन मल्टी-मोडल टोकनाइज़र, विषम इनपुट को कॉम्पैक्ट टोकन प्रतिनिधित्व में एकीकृत करता है, कम्प्यूटेशनल लागत में उल्लेखनीय कमी
  3. बहु-कार्य अनुप्रयोग को लागू करना: क्रिया-सशर्त वीडियो जनरेशन, मॉडल-आधारित सुदृढ़ीकरण सीखना (MBRL) और वास्तविक दुनिया की नकल सीखना समर्थन करता है
  4. उच्च प्रदर्शन को सत्यापित करना: सार्वजनिक बेंचमार्क और वास्तविक दुनिया के प्रयोगों में अत्याधुनिक प्रदर्शन प्राप्त करता है

विधि विवरण

कार्य परिभाषा

प्रारंभिक अवलोकन O₁ (रंगीन छवि, गहराई मानचित्र, रोबोट आर्म मास्क युक्त) और क्रिया अनुक्रम {aₜ}ᵀₜ₌₁ दिए गए, iMoWM को भविष्य के मल्टी-मोडल अवलोकन अनुक्रम {Oₜ}ᵀₜ₌₂ की भविष्यवाणी करनी चाहिए।

मॉडल आर्किटेक्चर

MMTokenizer डिज़ाइन

MMTokenizer मुख्य नवाचार है, जो दोहरे एन्कोडर-डिकोडर फ्रेमवर्क {(Ec,Dc), (Ed,Dd)} को अपनाता है:

  1. संदर्भ एन्कोडिंग: प्रारंभिक फ्रेम को संसाधित करने के लिए संदर्भ एन्कोडर का उपयोग
    Zᶜₜ = Ec(Oₜ), Ôₜ = Dc(Zᶜₜ) t = 1,...,T₀
  2. गतिशील एन्कोडिंग: सशर्त एन्कोडर गतिशील क्षेत्रों पर ध्यान केंद्रित करता है
    Zᵈₜ = Ep(Oₜ|O₁:T₀), Ôₜ = Dc(Zᵈₜ|O₁:T₀) t = T₀+1,...,T
  3. मोडल अनुकूलन: विभिन्न मोडल के विशेषता वितरण अंतर को संभालने के लिए पहली और अंतिम परतों की प्रतिलिपि बनाएं, मोडल-विशिष्ट एम्बेडिंग का परिचय दें

ऑटोरेग्रेसिव ट्रांसफॉर्मर

LLaMA शैली के ट्रांसफॉर्मर आर्किटेक्चर को अपनाता है, जिसमें शामिल हैं:

  • RMSNorm सामान्यीकरण
  • SwiGLU सक्रियण फ़ंक्शन
  • घूर्णन स्थिति एन्कोडिंग
  • क्रिया-सशर्त स्लॉट टोकन इंजेक्शन तंत्र

क्रिया-सशर्त स्लॉट टोकन के माध्यम से लागू किया जाता है:

[Sₜ] = [S] + Linear(aₜ)

प्रशिक्षण उद्देश्य क्रॉस-एंट्रॉपी हानि है:

Ltransformer = -∑ᵀₜ₌T₀₊₁ log(Xₜ|Xₜ₋₁)

तकनीकी नवाचार बिंदु

  1. एकीकृत मल्टी-मोडल प्रतिनिधित्व: पहली बार RGB, गहराई, मास्क को एकीकृत रूप से एन्कोड करता है, मोडल के बीच जानकारी हानि से बचता है
  2. कम्प्यूटेशनल दक्षता अनुकूलन: गतिशील एन्कोडर केवल परिवर्तन क्षेत्रों पर ध्यान केंद्रित करता है, टोकन संख्या में उल्लेखनीय कमी
  3. पूर्व-प्रशिक्षित मॉडल पुनः उपयोग: मौजूदा VideoGPT पूर्व-प्रशिक्षित वजन के साथ संगत डिज़ाइन, अभिसरण को तेज़ करता है

प्रयोगात्मक सेटअप

डेटासेट

  1. BAIR रोबोट पुश डेटासेट: 43K प्रशिक्षण वीडियो, 256 परीक्षण वीडियो, 64×64 रिज़ॉल्यूशन
  2. RoboNet डेटासेट: 19K प्रशिक्षण वीडियो सबसेट का उपयोग, 256 परीक्षण वीडियो
  3. स्व-संग्रहीत डेटासेट: 1K प्रशिक्षण वीडियो, 150 परीक्षण वीडियो, 256×256 उच्च रिज़ॉल्यूशन
  4. Meta-World बेंचमार्क: सुदृढ़ीकरण सीखने के मूल्यांकन के लिए 6 रोबोटिक हेरफेर कार्य

मूल्यांकन मेट्रिक्स

  • दृश्य गुणवत्ता: FVD, PSNR, SSIM, LPIPS
  • गहराई सटीकता: AbsRel (निरपेक्ष सापेक्ष त्रुटि)
  • हेरफेर प्रदर्शन: कार्य सफलता दर

तुलनात्मक विधियां

  • MaskViT, SVG, GHVAE (वीडियो भविष्यवाणी बेसलाइन)
  • iVideoGPT (सबसे मजबूत RGB बेसलाइन)
  • GWM (3D गॉसियन वितरण विधि)

कार्यान्वयन विवरण

  • Video Depth Anything का उपयोग करके गहराई मानचित्र उत्पन्न करना
  • Grounding DINO + SAM2 रोबोट आर्म मास्क निकालने के लिए
  • पूर्व-प्रशिक्षित वजन ट्रांसफॉर्मर को आरंभ करता है
  • निष्पक्ष तुलना के लिए 4 rollout

प्रयोगात्मक परिणाम

मुख्य परिणाम

वीडियो जनरेशन प्रदर्शन

BAIR डेटासेट पर:

  • FVD: 60.9 (बनाम iVideoGPT 65.01)
  • PSNR: 23.82 (बनाम iVideoGPT 23.40)
  • SSIM: 0.896 (बनाम iVideoGPT 0.882)
  • LPIPS: 0.051 (बनाम iVideoGPT 0.058)
  • AbsRel: 0.045 (बनाम iVideoGPT 0.059)

RoboNet डेटासेट पर सभी बेसलाइन विधियों से व्यापक रूप से बेहतर, उच्च-रिज़ॉल्यूशन वास्तविक डेटा पर PSNR 38.33 तक पहुंचता है।

सुदृढ़ीकरण सीखने का प्रदर्शन

Meta-World के 6 कार्यों पर iVideoGPT और GWM दोनों से बेहतर, तेज़ अभिसरण गति, अंतिम सफलता दर अधिक है। ज्यामितीय-जागरूक rollout ने RL प्रदर्शन में उल्लेखनीय सुधार किया।

वास्तविक दुनिया तैनाती

GALAXEA A1 रोबोट पर कप स्टैकिंग और ब्रेड लेने के कार्यों में:

  • कुल सफलता दर: 29/35 (बनाम iVideoGPT 13/35, GT 27/35)
  • वास्तविक डेटा प्रदर्शन के करीब, मल्टी-मोडल rollout की उच्च निष्ठा को सत्यापित करता है

विलोपन प्रयोग

  1. MMTokenizer प्रभाव: मूल tokenizer की तुलना में, अनुमान समय 860s से 10s तक गिरता है, साथ ही सभी दृश्य मेट्रिक्स में सुधार
  2. मोडल योगदान विश्लेषण:
    • RGB+Depth+Mask (पूर्ण विधि): FVD 67.6
    • केवल RGB: FVD 70.2
    • RGB+Mask: FVD 70.6
    • RGB+Depth: FVD 67.5

प्रत्येक मोडल प्रदर्शन सुधार में योगदान देता है, गहराई जानकारी सबसे बड़ा योगदान देती है।

प्रयोगात्मक निष्कर्ष

  1. रिज़ॉल्यूशन संवेदनशीलता: उच्च-रिज़ॉल्यूशन इनपुट प्रदर्शन में उल्लेखनीय सुधार करता है, क्योंकि यह अधिक सटीक गहराई और मास्क जानकारी प्रदान करता है
  2. ज्यामितीय जानकारी का महत्व: गहराई मानचित्र मास्क की तुलना में अधिक समृद्ध ज्यामितीय बाधाएं प्रदान करते हैं
  3. कम्प्यूटेशनल दक्षता: MMTokenizer प्रदर्शन को बनाए रखते हुए अनुमान गति में उल्लेखनीय सुधार करता है

संबंधित कार्य

वर्ल्ड मॉडल सीखना

प्रारंभिक विधियां VideoGPT से प्रेरित RGB वीडियो टोकनाइज़ेशन के लिए, हाल ही में विसरण मॉडल ने संभावित स्थान भविष्यवाणी को आगे बढ़ाया है। GWM 3DGS को अपनाता है लेकिन एकल-दृश्य परिदृश्य गुणवत्ता से सीमित है।

4D वीडियो भविष्यवाणी

TesserAct जैसी विधियां RGB-D जनरेशन की खोज करती हैं, लेकिन स्पष्ट क्रिया-सशर्त की कमी, रोबोटिक अनुप्रयोगों को सीमित करता है।

रोबोटिक हेरफेर वर्ल्ड मॉडल

मुख्य रूप से डेटा संवर्धन और RL सिम्युलेशन के लिए उपयोग किया जाता है, लेकिन आमतौर पर 3D जानकारी की कमी, सिम्युलेटर और डेटा जनरेटर के रूप में प्रभावशीलता को सीमित करता है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. मल्टी-मोडल वर्ल्ड मॉडल शुद्ध RGB विधियों से काफी बेहतर है
  2. MMTokenizer दक्षता और प्रदर्शन के बीच अच्छा संतुलन प्राप्त करता है
  3. ज्यामितीय जानकारी रोबोटिक हेरफेर कार्यों के लिए महत्वपूर्ण है
  4. विधि सिम्युलेशन और वास्तविक वातावरण दोनों में उत्कृष्ट प्रदर्शन करती है

सीमाएं

  1. पूर्व-प्रशिक्षण निर्भरता: मल्टी-मोडल वर्ल्ड मॉडल की सामान्यीकरण क्षमता को पूरी तरह से विकसित करने के लिए अभी भी बड़े पैमाने पर पूर्व-प्रशिक्षण की आवश्यकता है
  2. कम्प्यूटेशनल संसाधन: 3DGS विधि की तुलना में अधिक कुशल होने के बावजूद, शुद्ध RGB विधि की तुलना में अभी भी अधिक कम्प्यूटेशनल मात्रा है
  3. गहराई गुणवत्ता निर्भरता: प्रदर्शन गहराई अनुमान गुणवत्ता से प्रभावित है

भविष्य की दिशा

  1. बड़े पैमाने पर मल्टी-मोडल पूर्व-प्रशिक्षण की खोज करना
  2. अधिक कुशल 3D प्रतिनिधित्व विधियों का अनुसंधान करना
  3. अधिक रोबोटिक प्लेटफॉर्म और कार्य प्रकारों तक विस्तार करना

गहन मूल्यांकन

शक्तियां

  1. मजबूत नवाचार: पहली बार मल्टी-मोडल जानकारी को वर्ल्ड मॉडल में व्यवस्थित रूप से पेश करता है, तकनीकी मार्ग नवीन है
  2. इंजीनियरिंग पूर्णता: सैद्धांतिक डिज़ाइन से वास्तविक तैनाती तक पूर्ण बंद लूप बनाता है
  3. पर्याप्त प्रयोग: सिम्युलेशन, बेंचमार्क परीक्षण और वास्तविक रोबोट सत्यापन को कवर करता है
  4. उल्लेखनीय प्रदर्शन: कई मेट्रिक्स पर स्पष्ट सुधार प्राप्त करता है

कमियां

  1. अपर्याप्त सैद्धांतिक विश्लेषण: यह समझाने के लिए कि मल्टी-मोडल जानकारी प्रदर्शन में सुधार क्यों करती है, गहन सैद्धांतिक विश्लेषण की कमी है
  2. सीमित सामान्यीकरण सत्यापन: मुख्य रूप से विशिष्ट रोबोटिक प्लेटफॉर्म पर सत्यापित, क्रॉस-प्लेटफॉर्म सामान्यीकरण क्षमता को आगे सत्यापन की आवश्यकता है
  3. कम्प्यूटेशनल ओवरहेड विश्लेषण: हालांकि दक्षता सुधार का उल्लेख किया गया है, विस्तृत कम्प्यूटेशनल जटिलता विश्लेषण की कमी है

प्रभाव

  1. शैक्षणिक मूल्य: वर्ल्ड मॉडल अनुसंधान के लिए नई मल्टी-मोडल दिशा प्रदान करता है
  2. व्यावहारिक मूल्य: वास्तविक रोबोटिक प्रणालियों में सीधे अनुप्रयोग, उच्च व्यावहारिकता
  3. पुनरुत्पादनशीलता: विस्तृत कार्यान्वयन विवरण और ओपन-सोर्स प्रतिबद्धता प्रदान करता है

लागू परिदृश्य

  1. सटीक ज्यामितीय समझ की आवश्यकता वाले रोबोटिक हेरफेर कार्य
  2. डेटा-दुर्लभ रोबोटिक सीखने के परिदृश्य
  3. उच्च-निष्ठा सिम्युलेशन की आवश्यकता वाले सुदृढ़ीकरण सीखने के अनुप्रयोग

संदर्भ

यह पेपर 63 संबंधित संदर्भों का हवाला देता है, जो वर्ल्ड मॉडल, वीडियो भविष्यवाणी, रोबोटिक सीखना और अन्य क्षेत्रों के महत्वपूर्ण कार्यों को कवर करता है, अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करता है।

समग्र मूल्यांकन: यह एक उच्च-गुणवत्ता वाला रोबोटिक सीखने का पेपर है, जो मल्टी-मोडल वर्ल्ड मॉडल दिशा में महत्वपूर्ण योगदान देता है। तकनीकी नवाचार बिंदु स्पष्ट हैं, प्रयोगात्मक सत्यापन पर्याप्त है, मजबूत शैक्षणिक और व्यावहारिक मूल्य है।