2025-11-13T20:28:11.151929

NinA: Normalizing Flows in Action. Training VLA Models with Normalizing Flows

Tarasov, Nikulin, Zisman et al.

Recent advances in Vision-Language-Action (VLA) models have established a two-component architecture, where a pre-trained Vision-Language Model (VLM) encodes visual observations and task descriptions, and an action decoder maps these representations to continuous actions. Diffusion models have been widely adopted as action decoders due to their ability to model complex, multimodal action distributions. However, they require multiple iterative denoising steps at inference time or downstream techniques to speed up sampling, limiting their practicality in real-world settings where high-frequency control is crucial. In this work, we present NinA (Normalizing Flows in Action), a fast and expressive alternative to diffusion-based decoders for VLAs. NinA replaces the diffusion action decoder with a Normalizing Flow (NF) that enables one-shot sampling through an invertible transformation, significantly reducing inference time. We integrate NinA into the FLOWER VLA architecture and fine-tune on the LIBERO benchmark. Our experiments show that NinA matches the performance of its diffusion-based counterpart under the same training regime, while achieving substantially faster inference. These results suggest that NinA offers a promising path toward efficient, high-frequency VLA control without compromising performance.

academic

NinA: নর্মালাইজিং ফ্লোজ ইন অ্যাকশন। নর্মালাইজিং ফ্লোজ সহ VLA মডেল প্রশিক্ষণ

মৌলিক তথ্য

পেপার আইডি: 2508.16845
শিরোনাম: NinA: Normalizing Flows in Action. Training VLA Models with Normalizing Flows
লেখক: Denis Tarasov, Alexander Nikulin, Ilya Zisman, Albina Klepach, Nikita Lyubaykin, Andrei Polubarov, Alexander Derevyagin, Vladislav Kurenkov
শ্রেণীবিভাগ: cs.CV cs.AI cs.LG
প্রকাশিত সম্মেলন: NeurIPS 2025 Workshop: Space in Vision, Language, and Embodied AI
পেপার লিঙ্ক: https://arxiv.org/abs/2508.16845

সারসংক্ষেপ

সম্প্রতি, ভিশন-ল্যাঙ্গুয়েজ-অ্যাকশন (VLA) মডেলের অগ্রগতি একটি দ্বি-উপাদান স্থাপত্য প্রতিষ্ঠা করেছে: প্রাক-প্রশিক্ষিত ভিশন-ল্যাঙ্গুয়েজ মডেল (VLM) ভিজ্যুয়াল পর্যবেক্ষণ এবং কাজের বর্ণনা এনকোড করে, এবং একটি অ্যাকশন ডিকোডার এই প্রতিনিধিত্বগুলিকে ক্রমাগত অ্যাকশনে ম্যাপ করে। ডিফিউশন মডেলগুলি জটিল মাল্টিমোডাল অ্যাকশন বিতরণ মডেল করার ক্ষমতার কারণে অ্যাকশন ডিকোডার হিসাবে ব্যাপকভাবে গৃহীত হয়েছে। তবে, অনুমানের সময় তাদের একাধিক পুনরাবৃত্তিমূলক ডিনোইজিং পদক্ষেপের প্রয়োজন, যা উচ্চ-ফ্রিকোয়েন্সি নিয়ন্ত্রণের প্রয়োজন এমন বাস্তব-বিশ্বের পরিস্থিতিতে ব্যবহারিকতা সীমিত করে। এই পেপারটি NinA (Normalizing Flows in Action) প্রস্তাব করে, VLA ডিফিউশন ডিকোডারের জন্য একটি দ্রুত এবং প্রকাশনীয় বিকল্প হিসাবে। NinA ডিফিউশন অ্যাকশন ডিকোডারকে নর্মালাইজিং ফ্লো (NF) দিয়ে প্রতিস্থাপন করে, যা বিপরীতমুখী রূপান্তরের মাধ্যমে এক-শট স্যাম্পলিং সক্ষম করে, অনুমানের সময় উল্লেখযোগ্যভাবে হ্রাস করে। পরীক্ষাগুলি দেখায় যে NinA একই প্রশিক্ষণ ব্যবস্থার অধীনে ডিফিউশন-ভিত্তিক সমকক্ষের সাথে কর্মক্ষমতা মেলে, যখন উল্লেখযোগ্যভাবে দ্রুত অনুমানের গতি অর্জন করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

বর্তমান VLA মডেলগুলি সর্বজনীনভাবে অ্যাকশন ডিকোডার হিসাবে ডিফিউশন মডেল গ্রহণ করে, যা জটিল মাল্টিমোডাল অ্যাকশন বিতরণ মডেল করতে পারে, তবে অনুমানের বিলম্ব সমস্যা রয়েছে:

অনুমানের দক্ষতা বাধা: ডিফিউশন মডেলগুলির একাধিক ফরওয়ার্ড পাস জুড়ে স্বয়ংক্রিয় ডিনোইজিং প্রক্রিয়া প্রয়োজন
রিয়েল-টাইম নিয়ন্ত্রণ চাহিদা: রোবোটিক সূক্ষ্ম-দানাদার নিয়ন্ত্রণের জন্য উচ্চ-ফ্রিকোয়েন্সি প্রতিক্রিয়া প্রয়োজন, বিলম্ব একটি মূল সীমাবদ্ধতা
গণনামূলক সম্পদ খরচ: বহু-পদক্ষেপ স্যাম্পলিং গণনামূলক ওভারহেড বৃদ্ধি করে

গবেষণা প্রেরণা

রোবোটিক নিয়ন্ত্রণ অত্যন্ত রিয়েল-টাইম প্রয়োজনীয়তার জন্য দাবি করে, এবং বর্তমান ডিফিউশন মডেলের বহু-পদক্ষেপ স্যাম্পলিং প্রক্রিয়া স্থাপনার বাধা হয়ে ওঠে। নর্মালাইজিং ফ্লো একটি জেনারেটিভ মডেল হিসাবে নিম্নলিখিত সুবিধা রয়েছে:

একক ফরওয়ার্ড পাস দিয়ে নমুনা তৈরি করুন
সঠিক সম্ভাবনা অনুমান প্রদান করুন
পরিবর্তনশীল অনুমান এবং অনিশ্চয়তা পরিমাণ সমর্থন করুন
অনুকরণ শেখা এবং শক্তিশালী শেখায় সম্ভাবনা প্রদর্শন করুন

মূল অবদান

NinA ফ্রেমওয়ার্ক প্রস্তাব: VLA মডেলের অ্যাকশন ডিকোডারে নর্মালাইজিং ফ্লো প্রথমবারের মতো প্রয়োগ করা, দক্ষ এক-শট অ্যাকশন প্রজন্ম অর্জন করা
দ্বি-স্থাপত্য ডিজাইন: MLP এবং ট্রান্সফর্মার-ভিত্তিক দুটি নর্মালাইজিং ফ্লো ভেরিয়েন্ট বিকাশ করা, দক্ষতা এবং কর্মক্ষমতা ভারসাম্য রাখা
কর্মক্ষমতা যাচাইকরণ: LIBERO বেঞ্চমার্কে NinA এবং ডিফিউশন মডেলের সমান কর্মক্ষমতা প্রমাণ করা, একই সাথে 7-10 গুণ অনুমান ত্বরণ অর্জন করা
ব্যাপক বিশ্লেষণ: বিস্তারিত অ্যাবলেশন পরীক্ষা এবং হাইপারপ্যারামিটার বিশ্লেষণ প্রদান করা, রোবোটিক নিয়ন্ত্রণে নর্মালাইজিং ফ্লো প্রয়োগের জন্য নির্দেশনা প্রদান করা

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

ভিজ্যুয়াল পর্যবেক্ষণ $o_t$ এবং পাঠ্য নির্দেশনা $g$ দেওয়া, VLA মডেলকে সংশ্লিষ্ট রোবোটিক অ্যাকশন $a_t$ তৈরি করতে হবে। লক্ষ্য হল বিশেষজ্ঞ অ্যাকশনের লগ সম্ভাবনা সর্বাধিক করা:

$\mathcal{L}_{VLA}(\theta) = \mathbb{E}_{(o_t,g,a_t)\sim D} [\log \pi_\theta(a_t | \text{VLM}(o_t,g))]$

মডেল স্থাপত্য

সামগ্রিক ফ্রেমওয়ার্ক

NinA একটি মডুলার ডিজাইন গ্রহণ করে, FLOWER এর VLM এনকোডার অপরিবর্তিত রাখে, শুধুমাত্র অ্যাকশন ডিকোডার প্রতিস্থাপন করে:

VLM এনকোডার: $h_t = \text{VLM}(o_t, g)$ মাল্টিমোডাল এম্বেডিং তৈরি করে
নর্মালাইজিং ফ্লো ডিকোডার: $a_t \sim \pi_\theta(\cdot | h_t)$ অ্যাকশন সিকোয়েন্স তৈরি করে

নর্মালাইজিং ফ্লো ডিজাইন

RealNVP স্থাপত্যের উপর ভিত্তি করে, বিপরীতমুখী রূপান্তরের সিকোয়েন্স প্রয়োগ করা:

$\log p_\theta(z_K) = \log p_0(z_0) - \sum_{k=1}^K \log \left|\det \frac{\partial f_k}{\partial z_{k-1}}\right|$

যেখানে $z_0 \sim \mathcal{N}(0, I)$ ভিত্তি বিতরণ, এবং $f_\theta = f_K \circ \cdots \circ f_1$ বিপরীতমুখী রূপান্তরের সিকোয়েন্স।

দ্বি-ভেরিয়েন্ট স্থাপত্য

MLP ভেরিয়েন্ট:

অ্যাকশন ভেক্টর উপাদান-অনুযায়ী বিভক্ত: $(x_1, x_2)$
শর্তসাপেক্ষ নেটওয়ার্ক: $g_{\phi_k}(x_1, h_t)$ সংযোগের মাধ্যমে শর্তসাপেক্ষতা প্রয়োগ করা
অ্যাফাইন রূপান্তর: $y_2 = \exp(s) \cdot x_2 + b$
প্যারামিটার সংখ্যা: 2M, দ্রুততম অনুমানের গতি

ট্রান্সফর্মার ভেরিয়েন্ট:

অ্যাকশন সিকোয়েন্স সিকোয়েন্স-অনুযায়ী বিভক্ত
শর্তসাপেক্ষ নেটওয়ার্ক: স্ব-মনোযোগ + ক্রস-মনোযোগ প্রক্রিয়া
শক্তিশালী প্রকাশনীয় ক্ষমতা এবং স্কেলেবিলিটি
প্যারামিটার সংখ্যা: 38M, উন্নত কর্মক্ষমতা

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

শব্দ ইনজেকশন কৌশল: প্রশিক্ষণের সময় অ্যাকশনে গাউসিয়ান শব্দ যোগ করা $\mathcal{N}(0, \sigma^2_{noise})$ , নিয়মিতকরণ কৌশল হিসাবে
PLU স্তর একীকরণ: প্রকাশনীয় ক্ষমতা বৃদ্ধির জন্য প্রশিক্ষণযোগ্য বিপরীতমুখী রৈখিক স্তর প্রবর্তন করা
শর্তসাপেক্ষতা প্রক্রিয়া: MLP সংযোগের মাধ্যমে, ট্রান্সফর্মার ক্রস-মনোযোগের মাধ্যমে VLM বৈশিষ্ট্য শর্তসাপেক্ষতা প্রয়োগ করা
স্থিতিশীলতা অপ্টিমাইজেশন: প্রশিক্ষণ অস্থিরতা প্রতিরোধের জন্য স্কেল প্যারামিটারে tanh সক্রিয়করণ ফাংশন প্রয়োগ করা

পরীক্ষা সেটআপ

ডেটাসেট

LIBERO বেঞ্চমার্ক ব্যবহার করা, যাতে 5টি উপকাজ রয়েছে:

LIBERO Spatial: স্থানিক যুক্তি কাজ
LIBERO Object: বস্তু ম্যানিপুলেশন কাজ
LIBERO Goal: লক্ষ্য-চালিত কাজ
LIBERO 10: 10-কাজ সংমিশ্রণ
LIBERO 90: 90-কাজ সংমিশ্রণ

মূল্যায়ন মেট্রিক্স

কাজের সাফল্যের হার প্রধান মূল্যায়ন মেট্রিক হিসাবে গ্রহণ করা, প্রতিটি উপকাজ এবং গড় সাফল্যের হার রিপোর্ট করা।

তুলনামূলক পদ্ধতি

FLOWER (330M): মূল ডিফিউশন নীতি মডেল
FLOWER (31M): প্যারামিটার-ম্যাচড হ্রাসকৃত ডিফিউশন মডেল
অ্যাবলেশন ভেরিয়েন্ট: PLU স্তর, শব্দ ইনজেকশন, রোবোটিক প্রাক-প্রশিক্ষণ অপসারণ করা ইত্যাদি

বাস্তবায়ন বিবরণ

হার্ডওয়্যার: NVIDIA H100 GPU প্রশিক্ষণ, RTX 3060 পরীক্ষা অনুমান
প্রশিক্ষণ: 100 যুগ, ব্যাচ আকার 80
VLM: Florence-2 Large
হাইপারপ্যারামিটার LIBERO-10 এ সুর করা হয়েছে তারপর সমস্ত কাজে প্রয়োগ করা হয়েছে

পরীক্ষার ফলাফল

প্রধান ফলাফল

মডেল	LIBERO Spatial	LIBERO Object	LIBERO Goal	LIBERO 10	LIBERO 90	গড়
Diffusion (330M)	0.982	0.976	0.942	0.906	0.954	0.952
Diffusion (31M)	0.890	0.984	0.952	0.864	0.894	0.916
NinA Transformer (38M)	0.970	0.978	0.938	0.920	0.887	0.938
NinA MLP (2M)	0.878	0.982	0.902	0.928	0.856	0.909

অনুমানের দক্ষতা তুলনা

মডেল	প্যারামিটার সংখ্যা	H100 অনুমান সময়	RTX 3060 অনুমান সময়
Diffusion (330M)	330M	0.110s	0.163s
Diffusion (31M)	31M	0.120s	0.181s
NinA Transformer (38M)	38M	0.021s	0.023s
NinA MLP (2M)	2M	0.015s	0.019s

অ্যাবলেশন পরীক্ষা

শব্দ ইনজেকশন প্রভাব:

NinA Transformer: 0.938 → 0.896 (শব্দ অপসারণ করা)
NinA MLP: 0.909 → 0.880 (শব্দ অপসারণ করা)

PLU স্তর প্রভাব:

ট্রান্সফর্মারে হালকা উন্নতি (0.934 বনাম 0.938)
MLP এ মিশ্র প্রভাব

হাইপারপ্যারামিটার বিশ্লেষণ:

সর্বোত্তম প্রবাহ গভীরতা: ট্রান্সফর্মারের জন্য 18, MLP এর জন্য 28
সর্বোত্তম লুকানো মাত্রা: ট্রান্সফর্মারের জন্য 256, MLP এর জন্য 64
সর্বোত্তম শব্দ মান বিচ্যুতি: উভয়ের জন্য 0.03

পরীক্ষামূলক অনুসন্ধান

দক্ষতা সুবিধা উল্লেখযোগ্য: NinA 7-10 গুণ অনুমান ত্বরণ অর্জন করে, প্যারামিটার সংখ্যা 8.7 গুণ হ্রাস করে
কর্মক্ষমতা স্থিতিশীল থাকে: শুধুমাত্র 1.4% কর্মক্ষমতা হ্রাস (0.938 বনাম 0.952)
স্থাপত্য ট্রেড-অফ স্পষ্ট: MLP দ্রুত কিন্তু কর্মক্ষমতা সামান্য কম, ট্রান্সফর্মার কর্মক্ষমতা এবং দক্ষতা ভারসাম্য রাখে
শব্দ ইনজেকশন গুরুত্বপূর্ণ: গুরুত্বপূর্ণ নিয়মিতকরণ কৌশল হিসাবে উল্লেখযোগ্যভাবে কর্মক্ষমতা উন্নত করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

সম্ভাব্যতা যাচাইকরণ: নর্মালাইজিং ফ্লো ডিফিউশন মডেলের একটি কার্যকর বিকল্প হতে পারে
দক্ষতা উন্নতি: অনুমানের সময় এবং প্যারামিটার প্রয়োজনীয়তা উল্লেখযোগ্যভাবে হ্রাস করে
কর্মক্ষমতা বজায় রাখা: দক্ষতা উল্লেখযোগ্যভাবে উন্নত করার সময় প্রতিযোগিতামূলক কর্মক্ষমতা বজায় রাখে
ব্যবহারিক মূল্য: রিয়েল-টাইম রোবোটিক নিয়ন্ত্রণের জন্য একটি নতুন প্রযুক্তিগত পথ প্রদান করে

সীমাবদ্ধতা

মূল্যায়ন পরিসীমা সীমিত: শুধুমাত্র LIBERO বেঞ্চমার্কে যাচাই করা, বাস্তব রোবোট পরীক্ষা অনুপস্থিত
প্রাক-প্রশিক্ষণ অনুপস্থিত: সম্পূর্ণ VLA প্রাক-প্রশিক্ষণ পরিচালনা করা হয়নি, শুধুমাত্র অ্যাকশন ডিকোডার সূক্ষ্ম-সুর করা
কাজের জটিলতা: LIBERO কাজ তুলনামূলকভাবে সহজ, জটিল ম্যানিপুলেশনের কর্মক্ষমতা অজানা
তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: অ্যাকশন মডেলিংয়ে নর্মালাইজিং ফ্লোর সুবিধার তাত্ত্বিক ব্যাখ্যা অনুপস্থিত

ভবিষ্যত দিকনির্দেশনা

বড় আকারের প্রাক-প্রশিক্ষণ: সম্পূর্ণ VLA প্রাক-প্রশিক্ষণে নর্মালাইজিং ফ্লোর কর্মক্ষমতা অন্বেষণ করা
বাস্তব স্থাপনা যাচাইকরণ: বাস্তব রোবোট সিস্টেমে রিয়েল-টাইম নিয়ন্ত্রণ প্রভাব যাচাই করা
তাত্ত্বিক গভীরতা: ডিফিউশন মডেলের তুলনায় নর্মালাইজিং ফ্লোর তাত্ত্বিক সুবিধা বিশ্লেষণ করা
প্রয়োগ সম্প্রসারণ: শক্তিশালী শেখা, অনিশ্চয়তা অনুমানে প্রয়োগ অন্বেষণ করা

গভীর মূল্যায়ন

শক্তি

শক্তিশালী উদ্ভাবনী: VLA মডেলে নর্মালাইজিং ফ্লো প্রথমবারের মতো প্রবর্তন করা, নতুন এবং ব্যবহারিক চিন্তাভাবনা
পরীক্ষা ব্যাপক: ব্যাপক তুলনামূলক পরীক্ষা এবং অ্যাবলেশন বিশ্লেষণ প্রদান করা
প্রকৌশল মূল্য উচ্চ: দক্ষতার উল্লেখযোগ্য উন্নতি প্রকৃত স্থাপনার জন্য গুরুত্বপূর্ণ
পদ্ধতি সর্বজনীন: বিদ্যমান VLA স্থাপত্যে সহজে একীভূত করা যায়

অপূর্ণতা

তাত্ত্বিক গভীরতা সীমিত: পদ্ধতির কার্যকারিতার তাত্ত্বিক বিশ্লেষণ অনুপস্থিত
মূল্যায়ন সীমাবদ্ধতা: শুধুমাত্র সিমুলেশন পরিবেশে পরীক্ষা করা, বাস্তব রোবোট যাচাইকরণ অনুপস্থিত
জটিল কাজ যাচাইকরণ অপর্যাপ্ত: LIBERO কাজ তুলনামূলকভাবে সহজ, জটিল ম্যানিপুলেশন ক্ষমতা অজানা
দীর্ঘমেয়াদী নির্ভরতা মডেলিং: দীর্ঘ সিকোয়েন্স অ্যাকশন মডেলিংয়ে নর্মালাইজিং ফ্লোর ক্ষমতা আরও যাচাইকরণ প্রয়োজন

প্রভাব

প্রযুক্তিগত অবদান: VLA মডেলের জন্য একটি নতুন দক্ষ সমাধান প্রদান করা
ব্যবহারিক মূল্য: অনুমানের দক্ষতার উল্লেখযোগ্য উন্নতি গুরুত্বপূর্ণ প্রকৌশল মূল্য রয়েছে
গবেষণা অনুপ্রেরণা: রোবোটিক নিয়ন্ত্রণে নর্মালাইজিং ফ্লোর নতুন প্রয়োগ দিক খুলে দেয়
পুনরুৎপাদনযোগ্যতা: কোড ওপেন সোর্স, পুনরুৎপাদন এবং সম্প্রসারণ সহজতর করে

প্রযোজ্য পরিস্থিতি

রিয়েল-টাইম নিয়ন্ত্রণ: উচ্চ-ফ্রিকোয়েন্সি প্রতিক্রিয়া প্রয়োজন এমন রোবোটিক নিয়ন্ত্রণ কাজ
সম্পদ-সীমিত পরিবেশ: সীমিত গণনামূলক সম্পদ সহ এজ স্থাপনা পরিস্থিতি
অনিশ্চয়তা পরিমাণ: অ্যাকশন সম্ভাবনা অনুমান প্রয়োজন এমন প্রয়োগ
অনলাইন শেখা: দ্রুত অনুমান প্রয়োজন এমন অনলাইন অভিযোজন পরিস্থিতি

তথ্যসূত্র

Black et al. π0: A vision-language-action flow model for general robot control
Reuss et al. FLOWER: Democratizing generalist robot policies with efficient vision-language-action flow policies
Dinh et al. Density estimation using real nvp
Liu et al. LIBERO: Benchmarking knowledge transfer for lifelong robot learning
Ghugare & Eysenbach. Normalizing flows are capable models for rl

সংক্ষিপ্ত বিবরণ: NinA একটি উদ্ভাবনী এবং ব্যবহারিক সমাধান প্রস্তাব করে, নর্মালাইজিং ফ্লোর মাধ্যমে VLA মডেলের অনুমানের দক্ষতা উল্লেখযোগ্যভাবে উন্নত করে, একই সাথে প্রতিযোগিতামূলক কর্মক্ষমতা বজায় রাখে। যদিও তাত্ত্বিক বিশ্লেষণ এবং জটিল কাজ যাচাইকরণে আরও উন্নতির অবকাশ রয়েছে, তবে রিয়েল-টাইম রোবোটিক নিয়ন্ত্রণে এর প্রয়োগের সম্ভাবনা বিশাল, এই ক্ষেত্রে মূল্যবান প্রযুক্তিগত অবদান প্রদান করে।