2025-11-25T22:34:18.624435

Efficient Autoregressive Inference for Transformer Probabilistic Models

Hassan, Loka, Li et al.

Transformer-based models for amortized probabilistic inference, such as neural processes, prior-fitted networks, and tabular foundation models, excel at single-pass marginal prediction. However, many real-world applications, from signal interpolation to multi-column tabular predictions, require coherent joint distributions that capture dependencies between predictions. While purely autoregressive architectures efficiently generate such distributions, they sacrifice the flexible set-conditioning that makes these models powerful for meta-learning. Conversely, the standard approach to obtain joint distributions from set-based models requires expensive re-encoding of the entire augmented conditioning set at each autoregressive step. We introduce a causal autoregressive buffer that preserves the advantages of both paradigms. Our approach decouples context encoding from updating the conditioning set. The model processes the context once and caches it. A dynamic buffer then captures target dependencies: as targets are incorporated, they enter the buffer and attend to both the cached context and previously buffered targets. This enables efficient batched autoregressive generation and one-pass joint log-likelihood evaluation. A unified training strategy allows seamless integration of set-based and autoregressive modes at minimal additional cost. Across synthetic functions, EEG signals, cognitive models, and tabular data, our method matches predictive accuracy of strong baselines while delivering up to 20 times faster joint sampling. Our approach combines the efficiency of autoregressive generative models with the representational power of set-based conditioning, making joint prediction practical for transformer-based probabilistic models.

academic

ট্রান্সফর্মার সম্ভাব্যতামূলক মডেলের জন্য দক্ষ অটোরিগ্রেসিভ অনুমান

মৌলিক তথ্য

পেপার আইডি: 2510.09477
শিরোনাম: ট্রান্সফর্মার সম্ভাব্যতামূলক মডেলের জন্য দক্ষ অটোরিগ্রেসিভ অনুমান
লেখক: কনর হাসান, নাসরুল্লোহ লোকা, সেন-ইউ লি, ডাওলাং হুয়াং, পল ই. চ্যাং, ইয়াং ইয়াং, ফ্রান্সেস্কো সিলভেস্ট্রিন, স্যামুয়েল কাস্কি, লুইজি এসার্বি
শ্রেণীবিভাগ: stat.ML cs.LG
প্রকাশনার সময়: ২০২৫ সালের অক্টোবর ১০ (arXiv প্রি-প্রিন্ট)
পেপার লিঙ্ক: https://arxiv.org/abs/2510.09477

সারসংক্ষেপ

ট্রান্সফর্মার-ভিত্তিক পরিশোধিত সম্ভাব্যতামূলক অনুমান মডেল (যেমন নিউরাল প্রসেস, প্রাথমিক-ফিটেড নেটওয়ার্ক এবং ট্যাবুলার ভিত্তি মডেল) একক প্রান্তিক পূর্বাভাসে চমৎকার কর্মক্ষমতা প্রদর্শন করে। তবে, সংকেত ইন্টারপোলেশন থেকে শুরু করে বহু-স্তম্ভ ট্যাবুলার পূর্বাভাস পর্যন্ত অনেক ব্যবহারিক প্রয়োগের জন্য পূর্বাভাস-মধ্যস্থ নির্ভরতা ক্যাপচার করে এমন সুসংগত যৌথ বিতরণ প্রয়োজন। খাঁটি অটোরিগ্রেসিভ আর্কিটেকচার এই ধরনের বিতরণ দক্ষতার সাথে তৈরি করতে পারে, কিন্তু এই মডেলগুলিকে মেটা-লার্নিংয়ে শক্তিশালী করে এমন নমনীয় সেট শর্তযুক্তকরণ ক্ষমতা ত্যাগ করে। বিপরীতভাবে, সেট-ভিত্তিক মডেল থেকে যৌথ বিতরণ পাওয়ার মান পদ্ধতি প্রতিটি অটোরিগ্রেসিভ ধাপে সম্পূর্ণ বর্ধিত শর্তযুক্ত সেটের ব্যয়বহুল পুনঃএনকোডিং প্রয়োজন। এই পেপারটি কার্যকর অটোরিগ্রেসিভ বাফার প্রবর্তন করে যা উভয় প্যারাডাইমের সুবিধা ধরে রাখে। এই পদ্ধতি প্রসঙ্গ এনকোডিং এবং শর্তযুক্ত সেট আপডেটকে বিচ্ছিন্ন করে, মডেল প্রসঙ্গ একবার প্রক্রিয়া করে এবং ক্যাশ করে, গতিশীল বাফার লক্ষ্য নির্ভরতা ক্যাপচার করে। সিন্থেটিক ফাংশন, ইইজি সংকেত, জ্ঞানীয় মডেল এবং ট্যাবুলার ডেটায়, এই পদ্ধতি শক্তিশালী বেসলাইন পূর্বাভাস নির্ভুলতার সাথে মিলিত হওয়ার সময় যৌথ নমুনা গতি ২০ গুণ পর্যন্ত উন্নত করে।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

বিদ্যমান ট্রান্সফর্মার-ভিত্তিক সম্ভাব্যতামূলক মডেলগুলি একটি মৌলিক দক্ষতা বাধার সম্মুখীন হয়: যখন যৌথ বিতরণ তৈরি করার প্রয়োজন হয়, তখন প্রতিটি অটোরিগ্রেসিভ ধাপে সম্পূর্ণ শর্তযুক্ত সেট পুনঃএনকোড করতে হবে। নির্দিষ্টভাবে:

১. সেট শর্তযুক্তকরণ মডেলের সীমাবদ্ধতা: নিউরাল প্রসেস (NPs), প্রাথমিক-ফিটেড নেটওয়ার্ক (PFNs) এবং অন্যান্য মডেল প্রান্তিক পূর্বাভাসে দক্ষ, কিন্তু অটোরিগ্রেসিভ স্থাপনায় প্রসঙ্গ বারবার পুনঃএনকোড করতে হয়, যা O(K(N+K)²) গণনামূলক জটিলতার দিকে পরিচালিত করে

২. খাঁটি অটোরিগ্রেসিভ মডেলের অপর্যাপ্ততা: যদিও গণনামূলকভাবে দক্ষ, তবে নমনীয় সেট শর্তযুক্তকরণ ক্ষমতার অভাব রয়েছে, যা মেটা-লার্নিং কাজে প্রয়োগ সীমিত করে

গুরুত্ব

যৌথ বিতরণ পূর্বাভাস একাধিক গুরুত্বপূর্ণ প্রয়োগে অপরিহার্য:

সংকেত ইন্টারপোলেশনে সময়গত নির্ভরতা
বহু-স্তম্ভ ট্যাবুলার পূর্বাভাসে বৈশিষ্ট্য সম্পর্ক
আচরণগত ডেটা মডেলিংয়ে ক্রমিক নির্ভরতা
বেয়েসিয়ান মডেল নির্বাচনে যৌথ সম্ভাবনা মূল্যায়ন

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

১. TNP-D অটোরিগ্রেসিভ স্থাপনা: প্রতিটি ধাপে ক্রমবর্ধমান শর্তযুক্ত সেট পুনঃএনকোড করা প্রয়োজন २. TNP-A: প্রশিক্ষণ এবং অনুমান উভয়ই পুনরাবৃত্ত লক্ষ্য সেট পরিচালনা করতে হয়, বিশাল গণনামূলক ওভারহেড ३. TNP-ND: শুধুমাত্র বহুভিন্ন গাউসিয়ান বিতরণে সীমাবদ্ধ, প্রকাশক্ষমতা সীমিত

মূল অবদান

१. কার্যকর অটোরিগ্রেসিভ বাফার প্রক্রিয়া প্রস্তাব: সেট শর্তযুক্তকরণের প্রসঙ্গ এনকোডিং এবং ক্রমিক পূর্বাভাসকে বিচ্ছিন্ন করে, দক্ষ যৌথ নমুনা এবং সম্ভাবনা মূল্যায়ন সক্ষম করে

२. একীভূত প্রশিক্ষণ কৌশল ডিজাইন: মুখোশ মনোযোগ এবং বাফার আকার পাঠ্যক্রম শিক্ষা ব্যবহার করে, একক মডেল ন্যূনতম অতিরিক্ত খরচে দুটি অপারেশন মোড শিখতে সক্ষম করে

३. ব্যাপক প্রযোজ্যতা যাচাইকরণ: TNPs/PFNs এবং ট্যাবুলার ভিত্তি মডেলে ২০ গুণ পর্যন্ত যৌথ নমুনা ত্বরণ অর্জন করে, তুলনীয় পূর্বাভাস নির্ভুলতা বজায় রেখে

४. তাত্ত্বিক জটিলতা অপ্টিমাইজেশন: গণনামূলক জটিলতা O(K(N+K)²) থেকে O(N²+NK+K²) এ হ্রাস করে

পদ্ধতির বিস্তারিত ব্যাখ্যা

কাজের সংজ্ঞা

প্রসঙ্গ সেট C = {(xₙ, yₙ)}ᴺₙ₌₁ এবং লক্ষ্য সেট T = {(xₘ, yₘ)}ᴹₘ₌₁ দেওয়া, লক্ষ্য হল পূর্বাভাস বিতরণ p_θ(y₁:ₘ|x₁:ₘ; C) শিখা, যেখানে θ মডেল পরামিতি।

মডেল আর্কিটেকচার

মূল উপাদান

१. প্রসঙ্গ এনকোডার rC: প্রসঙ্গ জোড় প্রক্রিয়া করে, দ্বিমুখী মাল্টি-হেড স্ব-মনোযোগ ব্যবহার করে, প্রতিটি স্তরে কী-মূল্য জোড়া ক্যাশ করে २. বাফার এনকোডার rB: কঠোর কার্যকর মাল্টি-হেড স্ব-মনোযোগ ব্যবহার করে বাফার উপসর্গে ३. লক্ষ্য ডিকোডার rtgt: ক্যাশ করা প্রসঙ্গ এবং দৃশ্যমান বাফার উপসর্গ জুড়ে ক্রস-মনোযোগের মাধ্যমে অনুসন্ধান করে

পূর্বাভাস বিতরণ প্যারামিটারাইজেশন

p_θ(y*₁:K|x*₁:K; C) = ∏ᴷₖ₌₁ p_θ(y*ₖ|rtgt(x*ₖ, [rC(C), b₁:ₖ₋₁]))

যেখানে bₖ = rB((xₖ, yₖ), rC(C), b₁:ₖ₋₁)

মনোযোগ মুখোশ ডিজাইন

চারটি মূল প্রয়োজনীয়তা বাস্তবায়ন করে:

(R1) প্রসঙ্গ অপরিবর্তনীয়: একবার এনকোড করা এবং শুধুমাত্র-পড়ার জন্য ক্যাশ করা
(R2) বাফার কঠোর কার্যকর: টোকেন j শুধুমাত্র <j অবস্থানে মনোযোগ দিতে পারে
(R3) তথ্য একমুখী প্রসঙ্গ থেকে প্রবাহ: C-তে কোন পিছনের লেখা নেই
(R4) লক্ষ্য ক্যাশ করা প্রসঙ্গ এবং দৃশ্যমান বাফার উপসর্গে মনোযোগ দেয়

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. বিচ্ছিন্ন ডিজাইন

স্ট্যাটিক প্রসঙ্গ ক্যাশ: একবার এনকোড করা, একাধিকবার পুনঃব্যবহার করা
গতিশীল বাফার: ক্রমবর্ধমান আপডেট, লক্ষ্য-মধ্যস্থ নির্ভরতা ক্যাপচার করে

२. প্রশিক্ষণ পাঠ্যক্রম

५०% লক্ষ্য শুধুমাত্র প্রসঙ্গে মনোযোগ দেয়
५०% লক্ষ্য প্রসঙ্গ + র্যান্ডম দৈর্ঘ্য বাফার উপসর্গে মনোযোগ দেয়
বিভিন্ন বাফার অবস্থায় মডেল ভালভাবে কাজ করে তা নিশ্চিত করে

३. দক্ষ অনুমান মোড

অটোরিগ্রেসিভ নমুনা: প্রসঙ্গ প্রি-ফিল করা, ক্রমিক ডিকোড লক্ষ্য
যৌথ সম্ভাবনা মূল্যায়ন: সমস্ত শর্তযুক্ত সম্ভাবনা গণনা করতে একক ফরওয়ার্ড পাস
ব্যাচ নমুনা: ভাগ করা প্রসঙ্গ ক্যাশ, স্বাধীন বাফার অবস্থা

পরীক্ষামূলক সেটআপ

ডেটাসেট

१. সিন্থেটিক ফাংশন:

গাউসিয়ান প্রসেস (GP): RBF, Matérn-3/2, Matérn-5/2 কার্নেল
সাঁতার কাটা ফাংশন: অ-গাউসিয়ান, বিচ্ছিন্ন ডেরিভেটিভ

२. ইইজি ডেটা: ११,५२० ট্রায়াল, १२२ বিষয়, ७ প্রাসঙ্গিক চ্যানেল, २५६ সময় পয়েন্ট

३. মাল্টিসেন্সরি কার্যকারণ অনুমান মডেল: অডিও-ভিজ্যুয়াল স্থানীয়করণ পরীক্ষা ডেটা, १५ অংশগ্রহণকারী

४. ট্যাবুলার ডেটা: UCI ডেটাসেট (বিদ্যুৎ খরচ, গ্যাস টারবাইন নির্গমন, বাইক শেয়ারিং)

মূল্যায়ন মেট্রিক্স

গড় লগ সম্ভাবনা: পূর্বাভাস গুণমান মূল্যায়ন করে
ওয়াল ঘড়ি সময়: নমুনা, সম্ভাবনা মূল্যায়ন, প্রশিক্ষণ ধাপের প্রকৃত চলমান সময়
লগ প্রান্তিক সম্ভাবনা RMSE: মডেল নির্বাচন কাজের নির্ভুলতা

তুলনামূলক পদ্ধতি

TNP-D-Ind: স্বাধীন পূর্বাভাস, দ্রুত কিন্তু কোন নির্ভরতা মডেলিং নেই
TNP-D-AR: অটোরিগ্রেসিভ স্থাপনা, শক্তিশালী প্রকাশক্ষমতা কিন্তু পুনঃএনকোডিং প্রয়োজন
TNP-ND: বহুভিন্ন গাউসিয়ান যৌথ বিতরণ, সীমিত প্রকাশক্ষমতা
TNP-A: সম্পূর্ণ অটোরিগ্রেসিভ মডেলিং, প্রশিক্ষণ এবং নমুনা উভয়ই ধীর

বাস্তবায়ন বিবরণ

অপ্টিমাইজার: Adam, শেখার হার १×१०⁻⁴
আর্কিটেকচার: ६ স্তর ট্রান্সফর্মার, ४ মনোযোগ মাথা, মাত্রা १२८
পূর্বাভাস মাথা: २० উপাদান গাউসিয়ান মিশ্রণ মডেল
বাফার আকার: K=१६ (প্রধান পরীক্ষা)

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

গণনামূলক দক্ষতা

অটোরিগ্রেসিভ নমুনা: TNP-A এবং TNP-D-AR থেকে ३-२० গুণ দ্রুত
সম্ভাবনা মূল্যায়ন: TNP-A এর সাথে তুলনীয়, TNP-D-AR থেকে K গুণ দ্রুত
প্রশিক্ষণ গতি: TNP-A থেকে ४-१२ গুণ দ্রুত, দ্রুততম বেসলাইনের সাথে তুলনীয়

পূর্বাভাস নির্ভুলতা

ডেটাসেট	TNP-D-AR	TNP-A	এই পদ্ধতি(K=१६)	এই পদ্ধতি(K=१)
GP	२.५७	०.८०	२.५१	२.५६
সাঁতার কাটা	१.०५	-०.४३	१.००	१.०९
ইইজি-Int	०.५१	०.४६	०.५२	०.५४
ইইজি-For	१.०७	-०.०४	०.८५	१.२१

বিলোপন পরীক্ষা

বাফার আকার প্রভাব: K=१ সময় মান অটোরিগ্রেসিভের সমতুল্য, K=१६ সময় সামান্য কর্মক্ষমতা হ্রাস কিন্তু উল্লেখযোগ্য গতি বৃদ্ধি
কাস্টম Triton কার্নেল: বড় ব্যাচে উল্লেখযোগ্য ত্বরণ প্রদান করে
মনোযোগ প্যাটার্ন: FlashAttention অক্ষম করলেও, TNP-A অন্যান্য পদ্ধতির চেয়ে বেশ কয়েক অর্ডার ধীর থাকে

কেস স্টাডি

মাল্টিসেন্সরি কার্যকারণ অনুমান কাজে:

মডেল নির্বাচন: LML RMSE ३.५६, TNP-D-AR এর ३.४७ এর কাছাকাছি
ডেটা পূর্বাভাস: গড় লগ সম্ভাবনা -२.७६, সমস্ত শক্তিশালী বেসলাইনের সাথে তুলনীয়
সত্য মূল্যের সাথে সম্পর্ক: R²=१.०० (LML), R²=०.९२ (ΔLML)

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. দক্ষতা অগ্রগতি: অটোরিগ্রেসিভ ট্রান্সফর্মারের দক্ষতা সফলভাবে NP/PFN ফ্রেমওয়ার্কে প্রবর্তন করা २. কর্মক্ষমতা সংরক্ষণ: উল্লেখযোগ্য গতি বৃদ্ধির সময় পূর্বাভাস নির্ভুলতা বজায় রাখা ३. ব্যাপক প্রযোজ্যতা: একাধিক ডোমেইন এবং কাজে পদ্ধতির কার্যকারিতা যাচাই করা

সীমাবদ্ধতা

१. বাফার দৈর্ঘ্য সম্প্রসারণ: K বৃদ্ধির সাথে এখনও O(K²) পদ রয়েছে, এবং বর্তমানে স্থির অবস্থান এম্বেডিং ব্যবহার করে २. দীর্ঘ বাফার গুণমান বিচ্যুতি: প্রতিটি ধাপে পুনঃএনকোডিং করা সঠিক অটোরিগ্রেসিভের তুলনায় সম্ভাব্য গুণমান হ্রাস ३. স্মৃতি দখল: প্রসঙ্গ ক্যাশ এবং বাফার অবস্থা বজায় রাখা প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

१. অবস্থান এনকোডিং উন্নতি: দীর্ঘ ক্রম সমর্থন করতে RoPE বা ALiBi ব্যবহার করা २. অনুমানমূলক ডিকোডিং: খসড়া-যাচাই প্রক্রিয়ার স্ব-অভিযোজিত অনুমান কৌশল ३. পরামিতি-দক্ষ সূক্ষ্ম-সুর: প্রাক-প্রশিক্ষিত মডেলে অ্যাডাপ্টার বা LoRA ব্যবহার করে বাফার কার্যকারিতা যোগ করা

গভীর মূল্যায়ন

শক্তি

१. শক্তিশালী উদ্ভাবনী: সেট শর্তযুক্তকরণ এবং অটোরিগ্রেসিভ দক্ষতার মধ্যে ট্রেড-অফ সমস্যা চতুরভাবে সমাধান করে २. দৃঢ় তত্ত্ব: স্পষ্ট জটিলতা বিশ্লেষণ এবং গাণিতিক ডেরিভেশন প্রদান করে ३. ব্যাপক পরীক্ষা: সিন্থেটিক ডেটা, বাস্তব ডেটা, একাধিক প্রয়োগ ডোমেইন কভার করে ४. প্রকৌশল অপ্টিমাইজেশন: কাস্টম CUDA কার্নেল ইত্যাদি নিম্ন-স্তরের অপ্টিমাইজেশন অন্তর্ভুক্ত করে ५. পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং খোলা উৎস কোড প্রদান করবে

অপূর্ণতা

१. প্রযোজ্যতার পরিধি: প্রধানত মধ্যম দৈর্ঘ্যের লক্ষ্য ক্রমের জন্য উপযুক্ত, অতি-দীর্ঘ ক্রম এখনও চ্যালেঞ্জের সম্মুখীন २. তাত্ত্বিক বিশ্লেষণ: বাফার অনুমান ত্রুটির তাত্ত্বিক সীমানা বিশ্লেষণের অভাব ३. তুলনামূলক পরীক্ষা: সর্বশেষ দক্ষ মনোযোগ প্রক্রিয়া (যেমন রৈখিক মনোযোগ) এর সাথে তুলনা নেই

প্রভাব

१. একাডেমিক মূল্য: সম্ভাব্যতামূলক মডেলের দক্ষ অনুমানের জন্য নতুন চিন্তাভাবনা প্রদান করে २. ব্যবহারিক মূল্য: যৌথ পূর্বাভাসের গণনামূলক খরচ উল্লেখযোগ্যভাবে হ্রাস করে, ব্যবহারিক প্রয়োগ সম্ভব করে ३. স্কেলেবিলিটি: পদ্ধতি ভাল সাধারণত্ব রয়েছে, একাধিক ট্রান্সফর্মার ভেরিয়েন্টে প্রয়োগ করা যায়

প্রযোজ্য পরিস্থিতি

ঘন ঘন যৌথ নমুনা প্রয়োজন এমন প্রয়োগ (যেমন অনিশ্চয়তা পরিমাণ)
বড় প্রসঙ্গ সহ ক্রমিক পূর্বাভাস কাজ
উচ্চ রিয়েল-টাইম অনুমান প্রয়োজনীয়তা সহ পরিস্থিতি
মাল্টিমোডাল ডেটার যৌথ মডেলিং

রেফারেন্স

প্রধান রেফারেন্সগুলির মধ্যে রয়েছে:

Garnelo et al. (२०१८): নিউরাল প্রসেস মূল পেপার
Nguyen & Grover (२०२२): ট্রান্সফর্মার নিউরাল প্রসেস
Müller et al. (२०२२): প্রাথমিক-ফিটেড নেটওয়ার্ক
Bruinsma et al. (२०२३): অটোরিগ্রেসিভ শর্তযুক্ত নিউরাল প্রসেস
Jingang et al. (२०२५): TabICL ট্যাবুলার ভিত্তি মডেল

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের গবেষণা পেপার যা তাত্ত্বিক উদ্ভাবন, পরীক্ষামূলক যাচাইকরণ এবং প্রকৌশল বাস্তবায়নে চমৎকার কর্মক্ষমতা প্রদর্শন করে। এই পদ্ধতি সম্ভাব্যতামূলক মডেলে একটি গুরুত্বপূর্ণ দক্ষতা বাধা সফলভাবে সমাধান করে, ব্যাপক প্রয়োগ সম্ভাবনা এবং একাডেমিক মূল্য সহ।