Multimodal reasoning aims to enhance the capabilities of MLLMs by incorporating intermediate reasoning steps before reaching the final answer. It has evolved from text-only reasoning to the integration of visual information, enabling the thought process to be conveyed through both images and text. Despite its effectiveness, current multimodal reasoning methods depend on explicit reasoning steps that require labor-intensive vision-text annotations and inherently introduce significant inference latency. To address these issues, we introduce multimodal latent reasoning with the advantages of multimodal representation, reduced annotation, and inference efficiency. To facilicate it, we propose Interleaved Vision-Text Latent Reasoning (IVT-LR), which injects both visual and textual information in the reasoning process within the latent space. Specifically, IVT-LR represents each reasoning step by combining two implicit parts: latent text (the hidden states from the previous step) and latent vision (a set of selected image embeddings). We further introduce a progressive multi-stage training strategy to enable MLLMs to perform the above multimodal latent reasoning steps. Experiments on M3CoT and ScienceQA demonstrate that our IVT-LR method achieves an average performance increase of 5.45% in accuracy, while simultaneously achieving a speed increase of over 5 times compared to existing approaches. Code available at https://github.com/FYYDCC/IVT-LR.
- পেপার আইডি: 2510.12603
- শিরোনাম: Reasoning in the Dark: Interleaved Vision-Text Reasoning in Latent Space
- লেখক: Chao Chen, Zhixin Ma, Yongqi Li, Yupeng Hu, Yinwei Wei, Wenjie Li, Liqiang Nie
- শ্রেণীবিভাগ: cs.CV cs.AI cs.CL
- প্রকাশনার সময়/সম্মেলন: arXiv ২০২৫ সালের ১৪ জানুয়ারি
- পেপার লিঙ্ক: https://arxiv.org/abs/2510.12603
বহুমাধ্যম যুক্তিবিদ্যার লক্ষ্য হল চূড়ান্ত উত্তর প্রদানের আগে মধ্যবর্তী যুক্তিবিদ্যার পদক্ষেপগুলি অন্তর্ভুক্ত করে বহুমাধ্যম বৃহৎ ভাষা মডেল (MLLMs) এর ক্ষমতা বৃদ্ধি করা। এই ক্ষেত্রটি বিশুদ্ধ পাঠ্য যুক্তিবিদ্যা থেকে দৃশ্যমান তথ্যের একীকরণে বিকশিত হয়েছে, যা চিন্তার প্রক্রিয়াকে চিত্র এবং পাঠ্যের মাধ্যমে যৌথভাবে প্রকাশ করতে সক্ষম করে। কার্যকর হওয়া সত্ত্বেও, বর্তমান বহুমাধ্যম যুক্তিবিদ্যা পদ্ধতিগুলি স্পষ্ট যুক্তিবিদ্যার পদক্ষেপের উপর নির্ভর করে, যার জন্য শ্রম-নিবিড় দৃশ্য-পাঠ্য মন্তব্য প্রয়োজন এবং উল্লেখযোগ্য যুক্তিবিদ্যার বিলম্ব অন্তর্নিহিত করে। এই সমস্যাগুলি সমাধানের জন্য, এই পেপারটি বহুমাধ্যম সুপ্ত যুক্তিবিদ্যা প্রবর্তন করে, যা বহুমাধ্যম প্রতিনিধিত্ব, হ্রাসকৃত মন্তব্য এবং যুক্তিবিদ্যার দক্ষতার সুবিধা সহ। এই উদ্দেশ্যে, আন্তঃবিজন-পাঠ্য সুপ্ত যুক্তিবিদ্যা (IVT-LR) পদ্ধতি প্রস্তাব করা হয়েছে, যা সুপ্ত স্থানের মধ্যে যুক্তিবিদ্যার প্রক্রিয়ায় দৃশ্য এবং পাঠ্য তথ্য প্রবেশ করায়। নির্দিষ্টভাবে, IVT-LR দুটি অন্তর্নিহিত অংশ একত্রিত করে প্রতিটি যুক্তিবিদ্যার পদক্ষেপ প্রতিনিধিত্ব করে: সুপ্ত পাঠ্য (পূর্ববর্তী পদক্ষেপ থেকে লুকানো অবস্থা) এবং সুপ্ত দৃশ্য (নির্বাচিত চিত্র এম্বেডিংগুলির একটি সেট)। ক্রমবর্ধমান বহু-পর্যায়ের প্রশিক্ষণ কৌশলও প্রবর্তন করা হয়েছে, যা MLLMs কে উপরোক্ত বহুমাধ্যম সুপ্ত যুক্তিবিদ্যার পদক্ষেপগুলি সম্পাদন করতে সক্ষম করে। M3CoT এবং ScienceQA-তে পরীক্ষা-নিরীক্ষা দেখায় যে IVT-LR পদ্ধতি নির্ভুলতায় গড়ে ৫.৪৫% উন্নতি করে, একই সাথে ৫ গুণেরও বেশি গতি বৃদ্ধি অর্জন করে।
বর্তমান বহুমাধ্যম যুক্তিবিদ্যা তিনটি মূল সমস্যার সম্মুখীন হয়:
- মন্তব্যের উচ্চ খরচ: বিদ্যমান পদ্ধতিগুলির জন্য প্রচুর পরিমাণে মানব-মন্তব্যকৃত দৃশ্য-পাঠ্য আন্তঃবিজন যুক্তিবিদ্যার ডেটা প্রয়োজন
- বড় যুক্তিবিদ্যার বিলম্ব: স্পষ্ট যুক্তিবিদ্যার পদক্ষেপগুলির দীর্ঘ প্রজন্ম যুক্তিবিদ্যার গতি ধীর করে
- সীমিত প্রতিনিধিত্ব ক্ষমতা: স্পষ্ট পাঠ্য যুক্তিবিদ্যা জটিল বহুমাধ্যম তথ্য পর্যাপ্তভাবে প্রকাশ করতে পারে না
বহুমাধ্যম যুক্তিবিদ্যা MLLMs এর ক্ষমতা উন্নত করার জন্য একটি মূল প্রযুক্তি, যা দৃশ্য প্রশ্ন উত্তর (VQA), বৈজ্ঞানিক প্রশ্ন সমাধান এবং অন্যান্য কাজে গুরুত্বপূর্ণ প্রয়োগ মূল্য রয়েছে। যুক্তিবিদ্যার দক্ষতা এবং নির্ভুলতা উন্নত করা বাস্তব স্থাপনার জন্য অত্যন্ত গুরুত্বপূর্ণ।
- পাঠ্য যুক্তিবিদ্যা পদ্ধতি: প্রাথমিক পদ্ধতিগুলি প্রধানত বিশুদ্ধ পাঠ্য যুক্তিবিদ্যা পরিচালনা করে, দৃশ্যমান তথ্য কার্যকরভাবে ব্যবহার করতে পারে না
- দৃশ্য-পাঠ্য আন্তঃবিজন যুক্তিবিদ্যা: যদিও দৃশ্যমান তথ্য একত্রিত করে, তবে মধ্যবর্তী পদক্ষেপগুলি স্পষ্টভাবে উৎপন্ন করতে হয়, যা গণনার ওভারহেড বৃদ্ধি করে
- সুপ্ত যুক্তিবিদ্যা: বিদ্যমান সুপ্ত যুক্তিবিদ্যা প্রধানত এককভাবে মডেলের জন্য, বহুমাধ্যম সংমিশ্রণের অভাব রয়েছে
বৃহৎ ভাষা মডেলের সুপ্ত যুক্তিবিদ্যার সাফল্য দ্বারা অনুপ্রাণিত, লেখক বিশ্বাস করেন যে সুপ্ত যুক্তিবিদ্যা বহুমাধ্যম পরিস্থিতিতে আরও বড় সম্ভাবনা রয়েছে:
- বহুমাধ্যম প্রতিনিধিত্ব সম্ভাবনা: সুপ্ত স্থান সমৃদ্ধ বহুমাধ্যম তথ্য আরও ভালভাবে প্রতিনিধিত্ব করতে পারে
- হ্রাসকৃত মন্তব্য প্রয়োজন: স্পষ্ট দৃশ্য-পাঠ্য আন্তঃবিজন ডেটার উপর নির্ভরতা হ্রাস করে
- যুক্তিবিদ্যার দক্ষতা: দীর্ঘ স্পষ্ট যুক্তিবিদ্যা শৃঙ্খল উৎপন্ন করা এড়ায়
- প্রথম সম্পূর্ণ বহুমাধ্যম সুপ্ত যুক্তিবিদ্যা কাঠামো: IVT-LR প্রস্তাব করে, সুপ্ত স্থানে পাঠ্য এবং দৃশ্য তথ্যের যৌথ যুক্তিবিদ্যা বাস্তবায়ন করে
- উপন্যাস প্রশিক্ষণ প্যারাডাইম: ক্রমবর্ধমান বহু-পর্যায়ের প্রশিক্ষণ কৌশল প্রস্তাব করে, যা ডেটা দক্ষ এবং গণনা দক্ষ উভয়ই
- উল্লেখযোগ্য কর্মক্ষমতা উন্নতি: নির্ভুলতা এবং যুক্তিবিদ্যার দক্ষতায় নতুন SOTA স্তর অর্জন করে
- গভীর প্রক্রিয়া বিশ্লেষণ: মনোযোগ বিশ্লেষণের মাধ্যমে সুপ্ত যুক্তিবিদ্যার অন্তর্নিহিত প্রক্রিয়া প্রকাশ করে
পাঠ্য ক্রম X=(x1,...,xI) এবং দৃশ্য এম্বেডিং সেট Z=(z1,...,zJ) দেওয়া, মান VLM পরবর্তী টোকেনের শর্তসাপেক্ষ বিতরণ পূর্বাভাস দেয়:
M(xt+1∣x1:t,Z)=softmax(W⋅etfused)
যেখানে etfused=f(e1:ttext,Z) হল পাঠ্য এবং দৃশ্য বৈশিষ্ট্য একীভূত করার পরে লুকানো অবস্থা।
IVT-LR এর মূল হল সুপ্ত স্থানে যুক্তিবিদ্যা পরিচালনা করা, প্রতিটি যুক্তিবিদ্যার পদক্ষেপ দুটি অংশ অন্তর্ভুক্ত করে:
- সুপ্ত পাঠ্য: পূর্ববর্তী পদক্ষেপের লুকানো অবস্থা ht−1hidden ব্যবহার করে স্পষ্ট পাঠ্য টোকেন প্রতিস্থাপন করে
- সুপ্ত দৃশ্য: মনোযোগ স্কোরের উপর ভিত্তি করে k সবচেয়ে প্রাসঙ্গিক চিত্র এম্বেডিং নির্বাচন করে
নির্দিষ্টভাবে, ধাপ t এ ইনপুট হল:
Et=[e1,...,eN,h1latent,z1selected,...,ht−1latent,zt−1selected]
মনোযোগ প্রক্রিয়া ব্যবহার করে গতিশীলভাবে মূল দৃশ্য বৈশিষ্ট্য নির্বাচন করে:
- সমস্ত স্তরের মনোযোগ ওজন সমষ্টি গণনা করে
- সর্বোচ্চ সংগৃহীত স্কোর সহ k চিত্র এম্বেডিং অবস্থান নির্বাচন করে
- নির্বাচিত বৈশিষ্ট্যগুলি লুকানো অবস্থার সাথে সংযুক্ত করে
প্রশিক্ষণ N পর্যায়ে বিভক্ত:
- পর্যায় 0: মান CoT তদারকি, সমস্ত যুক্তিবিদ্যার পদক্ষেপ স্পষ্টভাবে উৎপন্ন
- পর্যায় 1-N: ধীরে ধীরে স্পষ্ট পদক্ষেপগুলি সুপ্ত যুক্তিবিদ্যা দিয়ে প্রতিস্থাপন করে, প্রথম পদক্ষেপ থেকে শুরু করে
প্রশিক্ষণ ক্ষতি শুধুমাত্র অবশিষ্ট স্পষ্ট পদক্ষেপ এবং চূড়ান্ত উত্তরের জন্য গণনা করা হয়, সুপ্ত প্রতিনিধিত্বের সাথে অতিরিক্ত সারিবদ্ধতা এড়ায়।
গতিশীল মূল দৃশ্য অঞ্চল নির্বাচনের মাধ্যমে, বাস্তবায়ন করে:
- সম্পূর্ণ চিত্র প্রক্রিয়াকরণের গণনা ওভারহেড এড়ায়
- কাজ-সম্পর্কিত দৃশ্য তথ্যে ফোকাস করে
- ক্রমবর্ধমান দৃশ্য বোঝাপড়া সমর্থন করে
- M3CoT: বৃহৎ-স্কেল বহুমাধ্যম চিন্তা শৃঙ্খল যুক্তিবিদ্যা বেঞ্চমার্ক, বিজ্ঞান, সাধারণ জ্ঞান, গণিত ইত্যাদি ক্ষেত্র জুড়ে
- ScienceQA: বৈচিত্র্যময় বৈজ্ঞানিক প্রশ্ন উত্তর ডেটাসেট, প্রাকৃতিক বিজ্ঞান, ভাষা বিজ্ঞান এবং সামাজিক বিজ্ঞান অন্তর্ভুক্ত
- নির্ভুলতা: নির্ভুল ম্যাচ উত্তর নির্ভুলতা
- স্ব-পুনরাবৃত্তিমূলক পদক্ষেপ: উত্তর উৎপন্ন করার জন্য প্রয়োজনীয় টোকেন সংখ্যা
- গড় প্রতিক্রিয়া সময়: প্রতিটি প্রশ্নের যুক্তিবিদ্যার বিলম্ব
- পাঠ্য যুক্তিবিদ্যা: CCoT
- দৃশ্য-পাঠ্য যুক্তিবিদ্যা: Chain-of-Focus, SCAFFOLD, ICoT, Multimodal-CoT
- যুক্তিবিদ্যা ছাড়াই বেসলাইন: No-CoT
- মেরুদণ্ড মডেল: Qwen2-VL-7B এবং Chameleon-7B
- প্রশিক্ষণ পর্যায় সংখ্যা: N=4 (3 যুক্তিবিদ্যার পদক্ষেপ)
- ব্যাচ আকার: 4
- শেখার হার: 4×10^-5
- হার্ডওয়্যার: 4টি NVIDIA A6000 GPU
| মেরুদণ্ড মডেল | পদ্ধতি | M3CoT নির্ভুলতা(%) | ScienceQA নির্ভুলতা(%) | স্ব-পুনরাবৃত্তিমূলক পদক্ষেপ | গড় সময় (s) |
|---|
| Qwen2-VL | Chain-of-Focus | 64.3 | 91.2 | 185.7 | 2.63 |
| Qwen2-VL | IVT-LR | 71.8 | 94.6 | 10.0 | 0.65 |
| Chameleon | Chain-of-Focus | 36.5 | 61.2 | 739.4 | 3.09 |
| Chameleon | IVT-LR | 41.8 | 64.0 | 10.0 | 1.13 |
- নির্ভুলতা উন্নতি: সবচেয়ে শক্তিশালী বেসলাইন Chain-of-Focus এর তুলনায়, M3CoT-তে 5-7.5% উন্নতি
- দক্ষতা উল্লেখযোগ্য বৃদ্ধি: স্ব-পুনরাবৃত্তিমূলক পদক্ষেপ কমপক্ষে 9 গুণ হ্রাস, যুক্তিবিদ্যার সময় 3-8 গুণ বৃদ্ধি
- ক্রস-মডেল সামঞ্জস্য: বিভিন্ন মেরুদণ্ড মডেলে উল্লেখযোগ্য উন্নতি অর্জন করে
| বৈকল্পিক | M3CoT | ScienceQA |
|---|
| IVT-LR | 71.83 | 94.1 |
| সুপ্ত পাঠ্য ছাড়াই | 52.20 (-19.63) | 84.7 (-9.8) |
| সুপ্ত দৃশ্য ছাড়াই | 46.64 (-25.19) | 82.3 (-11.8) |
| সম্পূর্ণ সুপ্ত অংশ ছাড়াই | 58.02 (-13.81) | 86.4 (-7.7) |
মূল আবিষ্কার:
- সুপ্ত দৃশ্যের অবদান সর্বাধিক (-25.19%)
- সুপ্ত পাঠ্যও গুরুত্বপূর্ণ ভূমিকা পালন করে (-19.63%)
- দুটি উপাদান সহযোগিতামূলকভাবে সেরা প্রভাব কাজ করে
প্রতিটি পদক্ষেপে সুপ্ত দৃশ্য দৈর্ঘ্য বৃদ্ধির সাথে, নির্ভুলতা ধারাবাহিকভাবে উন্নত হয়, যা দীর্ঘতর সুপ্ত দৃশ্য ক্রম আরও সমৃদ্ধ দৃশ্য সূত্র প্রদান করে তা নির্দেশ করে।
| সুপ্ত পর্যায় | বিজ্ঞান | সাধারণ জ্ঞান | গণিত | মোট |
|---|
| 1 | 56.66% | 64.40% | 38.59% | 56.30% |
| 2 | 61.71% | 70.11% | 43.57% | 61.48% |
| 3 | 70.90% | 79.78% | 63.07% | 71.83% |
বিজ্ঞান এবং গণিত ক্ষেত্র সবচেয়ে বেশি উপকৃত হয়, যা কাঠামোগত যুক্তিবিদ্যা কাজগুলি বিশেষভাবে সুপ্ত স্থান যুক্তিবিদ্যার জন্য উপযুক্ত তা নির্দেশ করে।
- গতিশীল মনোযোগ অনুপাত: সুপ্ত যুক্তিবিদ্যা মোড-এ, মনোযোগ দৃশ্য থেকে ধীরে ধীরে পাঠ্যে স্থানান্তরিত হয়
- মনোযোগ ফোকাস উন্নতি: যুক্তিবিদ্যার পদক্ষেপে মনোযোগ ক্রমবর্ধমান কেন্দ্রীভূত হয়, মানুষের সমস্যা সমাধান প্রক্রিয়ার মতো
- পাঠ্য যুক্তিবিদ্যা: দৃশ্য তথ্যকে পাঠ্য বর্ণনায় রূপান্তরিত করার পরে যুক্তিবিদ্যা পরিচালনা করে
- দৃশ্য-পাঠ্য আন্তঃবিজন যুক্তিবিদ্যা: যুক্তিবিদ্যার প্রক্রিয়ায় একযোগে চিত্র এবং পাঠ্য ব্যবহার করে
- বিশেষ টোকেন পদ্ধতি: , ইত্যাদি টোকেন ব্যবহার করে যুক্তিবিদ্যা পরিচালনা করে
- ক্রমাগত লুকানো অবস্থা পদ্ধতি: সরাসরি লুকানো অবস্থা যুক্তিবিদ্যার জন্য ব্যবহার করে
- বহুমাধ্যম সম্প্রসারণ: সুপ্ত যুক্তিবিদ্যা দৃশ্য ক্ষেত্রে সম্প্রসারিত করে
- IVT-LR প্রথম সম্পূর্ণ বহুমাধ্যম সুপ্ত যুক্তিবিদ্যা কাঠামো বাস্তবায়ন করে
- নির্ভুলতা এবং দক্ষতা উভয় ক্ষেত্রেই বিদ্যমান পদ্ধতির চেয়ে উল্লেখযোগ্যভাবে উন্নত
- সুপ্ত স্থান যুক্তিবিদ্যা বহুমাধ্যম কাজের জন্য একটি নতুন সমাধান প্যারাডাইম প্রদান করে
- স্থির টোকেন ওভারহেড: প্রতিটি পদক্ষেপে অতিরিক্ত সুপ্ত দৃশ্য টোকেন প্রয়োজন
- প্রশিক্ষণ জটিলতা: বিশেষ বহু-পর্যায়ের প্রশিক্ষণ কৌশল প্রয়োজন
- পর্যায় সংখ্যা স্থির: বর্তমানে স্থির যুক্তিবিদ্যার পদক্ষেপ সংখ্যা ব্যবহার করে
- অভিযোজিত যুক্তিবিদ্যার পদক্ষেপ: প্রশ্নের জটিলতা অনুযায়ী গতিশীলভাবে যুক্তিবিদ্যার পদক্ষেপ নির্ধারণ করে
- আরও বিস্তৃত প্রয়োগ: পরিকল্পনা এবং সিদ্ধান্ত গ্রহণ ইত্যাদি ক্রম বহুমাধ্যম কাজে সম্প্রসারিত করে
- আরও দক্ষ দৃশ্য নির্বাচন: আরও সূক্ষ্ম দৃশ্য মনোযোগ প্রক্রিয়া বিকাশ করে
- শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো সম্পূর্ণ বহুমাধ্যম সুপ্ত যুক্তিবিদ্যা বাস্তবায়ন, প্রযুক্তি রুট নতুন
- পর্যাপ্ত পরীক্ষা: একাধিক ডেটাসেট এবং মেরুদণ্ড মডেলে যাচাই, বিলোপন পরীক্ষা ব্যাপক
- উল্লেখযোগ্য প্রভাব: নির্ভুলতা এবং দক্ষতা উভয় ক্ষেত্রে বড় উন্নতি
- গভীর বিশ্লেষণ: মনোযোগ বিশ্লেষণের মাধ্যমে অন্তর্নিহিত প্রক্রিয়া প্রকাশ করে
- প্রয়োগযোগ্যতা সীমাবদ্ধতা: প্রধানত VQA কাজের জন্য, অন্যান্য বহুমাধ্যম কাজের প্রয়োগযোগ্যতা যাচাইয়ের অপেক্ষায়
- গণনা জটিলতা: বহু-পর্যায়ের প্রশিক্ষণ প্রশিক্ষণ জটিলতা বৃদ্ধি করে
- ব্যাখ্যাযোগ্যতা: সুপ্ত যুক্তিবিদ্যার প্রক্রিয়া স্পষ্ট ব্যাখ্যার অভাব, ব্যাখ্যাযোগ্যতা কম
- একাডেমিক মূল্য: বহুমাধ্যম যুক্তিবিদ্যার জন্য নতুন গবেষণা দিকনির্দেশনা প্রদান করে
- ব্যবহারিক মূল্য: উল্লেখযোগ্য দক্ষতা উন্নতি বাস্তব স্থাপনার জন্য গুরুত্বপূর্ণ
- পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং কোড প্রদান করে
- সম্পদ সীমিত পরিবেশ: উচ্চ-দক্ষতা যুক্তিবিদ্যা প্রয়োজনীয় মোবাইল বা এজ কম্পিউটিং পরিস্থিতি
- রিয়েল-টাইম প্রয়োগ: যুক্তিবিদ্যার গতির জন্য কঠোর প্রয়োজনীয়তা সহ ইন্টারেক্টিভ সিস্টেম
- বড় আকারের স্থাপনা: প্রচুর অনুরোধ প্রক্রিয়া করার প্রয়োজনীয় অনলাইন সেবা
- Wei et al. (2022): Chain-of-thought prompting elicits reasoning in large language models
- Hao et al. (2024): Training large language models to reason in a continuous latent space
- Zhang et al. (2024): Multimodal chain-of-thought reasoning in language models
- Chen et al. (2024): M3cot: A novel benchmark for multi-domain multi-step multi-modal chain-of-thought
সামগ্রিক মূল্যায়ন: এই পেপারে প্রস্তাবিত IVT-LR পদ্ধতি বহুমাধ্যম যুক্তিবিদ্যা ক্ষেত্রে গুরুত্বপূর্ণ উদ্ভাবন মূল্য রয়েছে, সুপ্ত স্থান ডিজাইন এবং ক্রমবর্ধমান প্রশিক্ষণ কৌশলের মাধ্যমে, উচ্চ নির্ভুলতা বজায় রেখে যুক্তিবিদ্যার দক্ষতা উল্লেখযোগ্যভাবে উন্নত করে। যদিও কিছু সীমাবদ্ধতা রয়েছে, তবে এই ক্ষেত্রের উন্নয়নের জন্য মূল্যবান নতুন চিন্তাভাবনা প্রদান করে।