2025-11-20T08:25:14.880374

Titans: Learning to Memorize at Test Time

Behrouz, Zhong, Mirrokni

Over more than a decade there has been an extensive research effort on how to effectively utilize recurrent models and attention. While recurrent models aim to compress the data into a fixed-size memory (called hidden state), attention allows attending to the entire context window, capturing the direct dependencies of all tokens. This more accurate modeling of dependencies, however, comes with a quadratic cost, limiting the model to a fixed-length context. We present a new neural long-term memory module that learns to memorize historical context and helps attention to attend to the current context while utilizing long past information. We show that this neural memory has the advantage of fast parallelizable training while maintaining a fast inference. From a memory perspective, we argue that attention due to its limited context but accurate dependency modeling performs as a short-term memory, while neural memory due to its ability to memorize the data, acts as a long-term, more persistent, memory. Based on these two modules, we introduce a new family of architectures, called Titans, and present three variants to address how one can effectively incorporate memory into this architecture. Our experimental results on language modeling, common-sense reasoning, genomics, and time series tasks show that Titans are more effective than Transformers and recent modern linear recurrent models. They further can effectively scale to larger than 2M context window size with higher accuracy in needle-in-haystack tasks compared to baselines.

academic

Titans: পরীক্ষার সময়ে স্মরণ করতে শেখা

মৌলিক তথ্য

পেপার আইডি: 2501.00663
শিরোনাম: Titans: Learning to Memorize at Test Time
লেখক: Ali Behrouz, Peilin Zhong, Vahab Mirrokni (Google Research)
শ্রেণীবিভাগ: cs.LG cs.AI cs.CL
প্রকাশনার সময়: ২০২৪ সালের ৩১ ডিসেম্বর
পেপার লিংক: https://arxiv.org/abs/2501.00663

সারসংক্ষেপ

এই পেপারে একটি নতুন নিউরাল দীর্ঘমেয়াদী স্মৃতি মডিউল প্রস্তাব করা হয়েছে যা ঐতিহাসিক প্রসঙ্গ স্মরণ করতে শিখতে পারে এবং মনোযোগ প্রক্রিয়াকে দীর্ঘমেয়াদী অতীত তথ্য ব্যবহার করার সাথে সাথে বর্তমান প্রসঙ্গে মনোযোগ দিতে সাহায্য করে। লেখকরা স্মৃতির দৃষ্টিকোণ থেকে যুক্তি দেন যে মনোযোগ প্রক্রিয়া সীমিত প্রসঙ্গ কিন্তু নির্ভুল নির্ভরতা মডেলিংয়ের কারণে স্বল্পমেয়াদী স্মৃতি হিসাবে কাজ করে, যখন নিউরাল স্মৃতি তার ডেটা স্মরণ করার ক্ষমতার কারণে দীর্ঘমেয়াদী, আরও স্থায়ী স্মৃতি হিসাবে কাজ করে। এই দুটি মডিউলের উপর ভিত্তি করে, লেখকরা Titans নামের একটি নতুন স্থাপত্য পরিবার প্রবর্তন করেন এবং স্মৃতিকে স্থাপত্যে কার্যকরভাবে একীভূত করার জন্য তিনটি রূপান্তর প্রস্তাব করেন। পরীক্ষামূলক ফলাফল দেখায় যে Titans ভাষা মডেলিং, সাধারণ জ্ঞান যুক্তি, জিনোমিক্স এবং সময় সিরিজ কাজে Transformers এবং আধুনিক রৈখিক পুনরাবৃত্তিমূলক মডেলের চেয়ে বেশি কার্যকর, এবং ২M এর বেশি প্রসঙ্গ উইন্ডো আকারে কার্যকরভাবে স্কেল করতে পারে।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

বিদ্যমান ক্রম মডেলিং স্থাপত্য দক্ষতা এবং কর্মক্ষমতার মধ্যে একটি ট্রেড-অফের সম্মুখীন:

Transformers: যদিও নির্ভরতা সম্পর্ক সঠিকভাবে মডেল করতে পারে, কিন্তু গণনামূলক জটিলতা O(n²), যা প্রসঙ্গ দৈর্ঘ্য সীমিত করে
রৈখিক Transformers/RNNs: যদিও দক্ষ, কিন্তু তথ্য একটি নির্দিষ্ট আকারের অবস্থায় সংকুচিত করে, যা দীর্ঘ ক্রমের কর্মক্ষমতা হ্রাস করে
স্মৃতি ব্যবস্থার অভাব: বিদ্যমান স্থাপত্য মানব মস্তিষ্কের মতো বহুস্তরীয় স্মৃতি ব্যবস্থা (স্বল্পমেয়াদী স্মৃতি, দীর্ঘমেয়াদী স্মৃতি, মেটা-স্মৃতি ইত্যাদি) অনুপস্থিত

গবেষণা প্রেরণা

লেখকরা মানব স্মৃতি ব্যবস্থা দ্বারা অনুপ্রাণিত, বিশ্বাস করেন যে কার্যকর শেখার প্যারাডাইম প্রয়োজন:

বিভিন্ন কিন্তু পারস্পরিক সংযুক্ত মডিউল, প্রতিটি শেখার প্রক্রিয়ায় মূল উপাদান দায়িত্বশীল
সক্রিয়ভাবে ডেটা থেকে শিখতে এবং অতীত ইতিহাসের বিমূর্ততা স্মরণ করার ক্ষমতা
পরীক্ষার সময় ক্রমাগত শিখতে এবং খাপ খাইয়ে নিতে পারে এমন একটি প্রক্রিয়া

মূল অবদান

নিউরাল দীর্ঘমেয়াদী স্মৃতি মডিউল: একটি গভীর নিউরাল নেটওয়ার্ক প্রস্তাব করা হয়েছে যা পরীক্ষার সময়ে তার পরামিতিতে ডেটা কীভাবে স্মরণ/সংরক্ষণ করতে হয় তা শিখতে পারে
স্মৃতি ব্যবস্থাপনা প্রক্রিয়া: "অবাক করা" ভিত্তিক স্মৃতি আপডেট প্রক্রিয়া এবং অভিযোজিত বিস্মৃতি প্রক্রিয়া ডিজাইন করা হয়েছে
Titans স্থাপত্য পরিবার: গভীর শেখার স্থাপত্যে স্মৃতি একীভূত করার তিনটি উপায় প্রস্তাব করা হয়েছে: Memory as Context (MAC), Memory as Gate (MAG), Memory as Layer (MAL)
সমান্তরাল প্রশিক্ষণ অ্যালগরিদম: দ্রুত সমান্তরালকৃত প্রশিক্ষণ অ্যালগরিদম প্রদান করা হয়েছে যা গভীর স্মৃতি মডিউল প্রশিক্ষণ দক্ষ করে তোলে
ব্যাপক পরীক্ষামূলক যাচাইকরণ: একাধিক কাজে Titans এর কার্যকারিতা যাচাই করা হয়েছে, যার মধ্যে ভাষা মডেলিং, সাধারণ জ্ঞান যুক্তি, জিনোমিক্স এবং সময় সিরিজ পূর্বাভাস রয়েছে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

এই পেপারটি ক্রম মডেলিং কাজ অধ্যয়ন করে, যেখানে ইনপুট হল ক্রম $x \in \mathbb{R}^{N \times d_{in}}$ , লক্ষ্য হল এমন একটি মডেল শিখা যা দীর্ঘ ক্রম কার্যকরভাবে প্রক্রিয়া করতে পারে, এই মডেলটির প্রয়োজন:

পরীক্ষার সময় ক্রমাগত শিখতে এবং স্মরণ করতে পারা
স্বল্পমেয়াদী এবং দীর্ঘমেয়াদী স্মৃতির ব্যবহার ভারসাম্য রাখা
রৈখিক জটিলতা কিন্তু উচ্চ প্রকাশনীয়তা বজায় রাখা

নিউরাল দীর্ঘমেয়াদী স্মৃতি মডিউল

মূল ডিজাইন ধারণা

মানব দীর্ঘমেয়াদী স্মৃতি দ্বারা অনুপ্রাণিত, প্রত্যাশা লঙ্ঘন করা (অবাক করা) ঘটনাগুলি আরও সহজে মনে রাখা হয়। লেখকরা ইনপুটের সাপেক্ষে নিউরাল নেটওয়ার্কের গ্রেডিয়েন্ট ব্যবহার করে "অবাক করা" পরিমাপ করেন।

স্মৃতি আপডেট প্রক্রিয়া

মৌলিক আপডেট নিয়ম:

M_t = M_{t-1} - θ_t ∇ℓ(M_{t-1}; x_t)

উন্নত আপডেট নিয়ম (গতিবেগ প্রবর্তন):

M_t = M_{t-1} + S_t
S_t = η_t S_{t-1} - θ_t ∇ℓ(M_{t-1}; x_t)

যেখানে:

S_t: অবাক করা গতিবেগ, অতীত অবাক করা এবং তাৎক্ষণিক অবাক করা অন্তর্ভুক্ত করে
η_t: ডেটা নির্ভরশীল অবাক করা ক্ষয় পরামিতি
θ_t: তাৎক্ষণিক অবাক করা একীভূত করার ডিগ্রি নিয়ন্ত্রণ করে এমন পরামিতি

বিস্মৃতি প্রক্রিয়া

দীর্ঘ ক্রম পরিচালনার জন্য, অভিযোজিত বিস্মৃতি প্রক্রিয়া প্রবর্তন করা হয়:

M_t = (1 - α_t)M_{t-1} + S_t

যেখানে α_t ∈ [0,1] একটি গেট প্রক্রিয়া যা বিস্মৃতির ডিগ্রি নিয়ন্ত্রণ করে।

উদ্দেশ্য ফাংশন

সহযোগী স্মৃতি ক্ষতি ফাংশন ব্যবহার করা হয়:

ℓ(M_{t-1}; x_t) = ||M_{t-1}(k_t) - v_t||²₂

যেখানে k_t = x_t W_K, v_t = x_t W_V

Titans স্থাপত্য রূপান্তর

১. Memory as Context (MAC)

স্মৃতিকে বর্তমান তথ্যের প্রসঙ্গ হিসাবে ব্যবহার করা
ক্রম খণ্ড প্রক্রিয়াকরণ, প্রতিটি খণ্ড দীর্ঘমেয়াদী স্মৃতি প্রশ্ন করে প্রাসঙ্গিক ঐতিহাসিক তথ্য পেতে
মনোযোগ প্রক্রিয়া দীর্ঘমেয়াদী স্মৃতি তথ্য প্রয়োজন কিনা তা নির্ধারণ করে

২. Memory as Gate (MAG)

একটি শাখা স্লাইডিং উইন্ডো মনোযোগ স্বল্পমেয়াদী স্মৃতি হিসাবে ব্যবহার করে
অন্য শাখা নিউরাল স্মৃতি মডিউল দীর্ঘমেয়াদী স্মৃতি হিসাবে ব্যবহার করে
গেট প্রক্রিয়ার মাধ্যমে দুটি শাখার আউটপুট একত্রিত করা

३. Memory as Layer (MAL)

নিউরাল স্মৃতিকে গভীর নেটওয়ার্কের একটি স্তর হিসাবে ব্যবহার করা
ক্রমিক প্রক্রিয়াকরণ: প্রথমে স্মৃতি স্তরের মাধ্যমে, তারপর মনোযোগ স্তরের মাধ্যমে
বিদ্যমান হাইব্রিড মডেলের স্তরীয় ডিজাইনের মতো

সমান্তরাল প্রশিক্ষণ

প্রশিক্ষণ প্রক্রিয়াকে ম্যাট্রিক্স গুণন এবং যোগ অপারেশন ব্যবহার করে পুনর্নির্ধারণ করে, উচ্চ দক্ষ সমান্তরাল প্রশিক্ষণ বাস্তবায়ন করা হয়েছে:

ক্রমকে আকার b এর খণ্ডে বিভক্ত করা
সমান্তরাল সহযোগী স্ক্যান ব্যবহার করে গতিবেগ পদ গণনা করা
টেনসর ছোট ব্যাচ গ্রেডিয়েন্ট ডিসেন্ট মাধ্যমে দ্রুত প্রশিক্ষণ বাস্তবায়ন করা

পরীক্ষামূলক সেটআপ

ডেটাসেট

ভাষা মডেলিং: FineWeb-Edu ডেটাসেট, 15B/30B টোকেন
সাধারণ জ্ঞান যুক্তি: PIQA, HellaSwag, WinoGrande, ARC-easy/challenge, SIQA, BoolQ
দীর্ঘ প্রসঙ্গ কাজ: RULER বেঞ্চমার্ক (S-NIAH), BABILong বেঞ্চমার্ক
সময় সিরিজ: ETT, ECL, Traffic, Weather ডেটাসেট
জিনোমিক্স: GenomicsBenchmarks ডেটাসেট

মডেল আকার

170M, 340M, 400M, 760M পরামিতি মডেল
প্রশিক্ষণ দৈর্ঘ্য: 4K টোকেন
প্রসঙ্গ উইন্ডো: 2M+ টোকেন পর্যন্ত স্কেলযোগ্য

তুলনামূলক পদ্ধতি

Transformers: Transformer++
রৈখিক পুনরাবৃত্তিমূলক মডেল: RetNet, GLA, Mamba, Mamba2, DeltaNet, TTT, Gated DeltaNet
হাইব্রিড মডেল: Samba, Gated DeltaNet-H2
বড় মডেল: GPT-4, Llama3, RecurrentGemma, Mistral

পরীক্ষামূলক ফলাফল

ভাষা মডেলিং কর্মক্ষমতা

340M পরামিতি মডেলে:

Titans (LMM): বিভ্রান্তি 26.18 (Wiki), 29.97 (LMB)
সেরা বেসলাইন TTT: বিভ্রান্তি 27.44 (Wiki), 34.19 (LMB)
হাইব্রিড মডেলে Titans (MAG) সেরা কর্মক্ষমতা: বিভ্রান্তি 25.07 (Wiki), 28.72 (LMB)

দীর্ঘ প্রসঙ্গ কাজ

S-NIAH কাজে (16K ক্রম দৈর্ঘ্য):

Titans (MAC): S-NIAH-PK 98.4%, S-NIAH-N 97.4%, S-NIAH-W 95.2%
Mamba2: S-NIAH-PK 5.4%, S-NIAH-N 0.0%, S-NIAH-W 0.0%
TTT: S-NIAH-PK 88.4%, S-NIAH-N 4.4%, S-NIAH-W 0.0%

BABILong বেঞ্চমার্ক পরীক্ষা

Titans সমস্ত বেসলাইন অতিক্রম করে, GPT-4 সহ, কয়েক-শট সেটিংয়ে
ফাইন-টিউনিং সেটিংয়ে, ছোট Titans 70 গুণ বড় পরামিতি সহ GPT-4 অতিক্রম করে

সময় সিরিজ পূর্বাভাস

নিউরাল স্মৃতি মডিউল সমস্ত ডেটাসেটে বেসলাইন পদ্ধতি অতিক্রম করে, Mamba, Transformer এবং রৈখিক মডেল ভিত্তিক পদ্ধতি সহ।

অ্যাবলেশন পরীক্ষা

প্রতিটি উপাদানের অবদান (গুরুত্বের ক্রম অনুযায়ী):

ওজন ক্ষয় (বিস্মৃতি প্রক্রিয়া)
গতিবেগ প্রক্রিয়া
কনভোলিউশনাল স্তর
স্থায়ী স্মৃতি
গভীর স্মৃতি বনাম রৈখিক স্মৃতি

উপসংহার এবং আলোচনা

প্রধান উপসংহার

স্মৃতি ব্যবস্থার গুরুত্ব: বহুস্তরীয় স্মৃতি ব্যবস্থা (স্বল্পমেয়াদী + দীর্ঘমেয়াদী + স্থায়ী স্মৃতি) ক্রম মডেলিংয়ের জন্য গুরুত্বপূর্ণ
পরীক্ষা সময় শেখার কার্যকারিতা: পরীক্ষার সময় ক্রমাগত শেখা এবং স্মরণ দীর্ঘ ক্রম প্রক্রিয়াকরণ ক্ষমতা উল্লেখযোগ্যভাবে উন্নত করতে পারে
স্থাপত্য ডিজাইনের প্রভাব: MAC এবং MAG স্থাপত্য ঐতিহ্যবাহী MAL স্তরীয় ডিজাইনের চেয়ে উন্নত
স্কেলেবিলিটি যাচাইকরণ: Titans 2M+ প্রসঙ্গ উইন্ডোতে কার্যকরভাবে স্কেল করতে পারে

সীমাবদ্ধতা

গণনামূলক ওভারহেড: গভীর স্মৃতি মডিউল সাধারণ ম্যাট্রিক্স অবস্থার চেয়ে বেশি গণনামূলক সম্পদ প্রয়োজন
স্মৃতি গভীরতা ট্রেড-অফ: গভীর স্মৃতি মডিউল আরও ভাল ফলাফল দেয় কিন্তু প্রশিক্ষণ আরও ধীর
পরামিতি সংবেদনশীলতা: অবাক করা সম্পর্কিত পরামিতি সাবধানে সামঞ্জস্য করা প্রয়োজন
তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: স্মৃতি ক্ষমতা এবং বিস্মৃতি কৌশলের তাত্ত্বিক গ্যারান্টি অনুপস্থিত

ভবিষ্যত দিকনির্দেশনা

স্মৃতি স্থাপত্য অপ্টিমাইজেশন: আরও দক্ষ নিউরাল স্মৃতি স্থাপত্য ডিজাইন অন্বেষণ করা
তাত্ত্বিক বিশ্লেষণ: স্মৃতি ক্ষমতা, বিস্মৃতি কৌশলের তাত্ত্বিক বিশ্লেষণ প্রদান করা
বড় আকার যাচাইকরণ: বড় আকারের মডেলে পদ্ধতির কার্যকারিতা যাচাই করা
প্রয়োগ সম্প্রসারণ: আরও বেশি ক্ষেত্রে প্রয়োগ সম্ভাবনা অন্বেষণ করা

গভীর মূল্যায়ন

শক্তি

ধারণাগত উদ্ভাবন শক্তিশালী: মানব স্মৃতি ব্যবস্থার দৃষ্টিকোণ থেকে ক্রম মডেলিং পুনর্বিবেচনা করে, নতুন বহুস্তরীয় স্মৃতি স্থাপত্য প্রস্তাব করে
প্রযুক্তিগত অবদান সম্পূর্ণ: শুধুমাত্র নিউরাল স্মৃতি মডিউল প্রস্তাব করে না, বরং স্থাপত্যে একীভূত করার তিনটি উপায় এবং উচ্চ দক্ষ সমান্তরাল অ্যালগরিদম ডিজাইন করে
পরীক্ষামূলক যাচাইকরণ ব্যাপক: একাধিক ক্ষেত্রে (NLP, সময় সিরিজ, জিনোমিক্স) ব্যাপক পরীক্ষা পরিচালনা করে, ফলাফল প্রভাবশালী
তাত্ত্বিক ভিত্তি দৃঢ়: স্মৃতি আপডেটকে গ্রেডিয়েন্ট ডিসেন্ট, গতিবেগ, ওজন ক্ষয়ের সাথে সংযুক্ত করে, তাত্ত্বিক ব্যাখ্যা প্রদান করে

অপূর্ণতা

গণনামূলক জটিলতা বিশ্লেষণ অপর্যাপ্ত: যদিও রৈখিক জটিলতা দাবি করে, কিন্তু গভীর স্মৃতি মডিউলের প্রকৃত গণনামূলক খরচ বিশ্লেষণ অপর্যাপ্ত
হাইপারপ্যারামিটার সংবেদনশীলতা: একাধিক ডেটা নির্ভরশীল পরামিতি (α_t, θ_t, η_t) সেটিং জটিল হতে পারে
মানব স্মৃতির সাথে সাদৃশ্য সীমিত: যদিও মানব স্মৃতি দ্বারা অনুপ্রাণিত, কিন্তু "অবাক করা" এর সংজ্ঞা তুলনামূলকভাবে সহজ
বড় আকারের মডেল যাচাইকরণ অপর্যাপ্ত: সর্ববৃহৎ মডেল মাত্র 760M পরামিতি, বিলিয়ন-স্তরের পরামিতি মডেলের যাচাইকরণ অনুপস্থিত

প্রভাব

একাডেমিক মূল্য: ক্রম মডেলিংয়ের জন্য নতুন স্মৃতি দৃষ্টিকোণ প্রদান করে, আরও সম্পর্কিত গবেষণা অনুপ্রাণিত করতে পারে
ব্যবহারিক মূল্য: দীর্ঘ ক্রম প্রক্রিয়াকরণ কাজে চমৎকার কর্মক্ষমতা, ব্যবহারিক প্রয়োগ সম্ভাবনা রয়েছে
পুনরুৎপাদনযোগ্যতা: লেখকরা কোড ওপেন-সোর্স করার প্রতিশ্রুতি দেন, পদ্ধতির প্রচার এবং যাচাইকরণে সহায়তা করে

প্রযোজ্য পরিস্থিতি

দীর্ঘ ডকুমেন্ট প্রক্রিয়াকরণ: দীর্ঘ ডকুমেন্ট প্রক্রিয়াকরণের প্রয়োজন এমন NLP কাজের জন্য উপযুক্ত
সময় সিরিজ বিশ্লেষণ: বিশেষ করে দীর্ঘমেয়াদী ঐতিহাসিক তথ্যের প্রয়োজন এমন পূর্বাভাস কাজের জন্য উপযুক্ত
অনলাইন শেখার পরিস্থিতি: পরীক্ষার সময় ক্রমাগত খাপ খাইয়ে নেওয়ার প্রয়োজন এমন প্রয়োগের জন্য উপযুক্ত
স্মৃতি-নিবিড় কাজ: প্রশ্ন উত্তর ব্যবস্থা, সংলাপ ব্যবস্থা ইত্যাদি বড় পরিমাণ তথ্য স্মরণের প্রয়োজন এমন কাজের জন্য উপযুক্ত

সংদর্ভ

পেপারটি 138টি সম্পর্কিত সংদর্ভ উদ্ধৃত করে, যা Transformer, পুনরাবৃত্তিমূলক নিউরাল নেটওয়ার্ক, মনোযোগ প্রক্রিয়া, স্মৃতি নেটওয়ার্ক, পরীক্ষা সময় প্রশিক্ষণ ইত্যাদি একাধিক সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, এই গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।