In natural language processing, current methods for understanding Transformers are successful at identifying intermediate predictions during a model's inference. However, these approaches function as limited diagnostic checkpoints, lacking a mathematical framework for mechanistically modeling how each layer facilitates transitions between these evolving states. This interpretability gap and past successes of interdisciplinary outlooks inspire us to turn to physics in search of a descriptive mathematical framework for Transformers. We observe that language models are intrinsically probabilistic, an attribute that is echoed in the core postulates of quantum mechanics. This parallel inspires us to translate insights from this discipline to that of natural language processing. Towards this objective, we propose QLENS a novel attempt to develop a physics-based perspective on the Transformer generation process. Under QLENS, a Transformer is studied by converting its latent activations into a state vector in a Hilbert space derived from the model's output units. This state subsequently evolves through hidden layers - reformulated as unitary operators and analogously defined Hamiltonians - during inference. The model's final probability distribution is obtained by applying the Born rule to the end state using a specific measurement operator. To demonstrate QLENS's potential, we conduct a proof-of-concept by probing a toy Transformer to investigate the influence of individual layers in a model's prediction trajectory. We present our work as a foundation for cross-domain insights to be leveraged towards a broader understanding of Transformers.
- পেপার আইডি: 2510.11963
- শিরোনাম: QLENS: ভাষা ট্রান্সফর্মারের একটি কোয়ান্টাম দৃষ্টিভঙ্গির দিকে
- লেখক: অদিত্য গুপ্ত (ইস্যাকোয়া হাই স্কুল), কিরণদীপ কৌর, বিনায়ক গুপ্ত (ওয়াশিংটন বিশ্ববিদ্যালয়)
- শ্রেণীবিভাগ: cs.LG (মেশিন লার্নিং)
- প্রকাশনার সময়: ২০২৫ সালের ১৩ অক্টোবর (প্রি-প্রিন্ট)
- পেপার লিঙ্ক: https://arxiv.org/abs/2510.11963
এই পেপারটি QLENS ফ্রেমওয়ার্ক প্রস্তাব করে, যা কোয়ান্টাম মেকানিক্সের নীতিগুলির উপর ভিত্তি করে ট্রান্সফর্মার মডেলগুলি বোঝার একটি উপন্যাস পদ্ধতি। ঐতিহ্যবাহী ট্রান্সফর্মার ব্যাখ্যাযোগ্যতা পদ্ধতিগুলি অনুমানের প্রক্রিয়ায় মধ্যবর্তী পূর্বাভাসগুলি চিহ্নিত করতে পারে, কিন্তু বিভিন্ন স্তর কীভাবে অবস্থার রূপান্তরকে সহজতর করে তা যান্ত্রিকভাবে মডেল করার জন্য একটি গাণিতিক কাঠামোর অভাব রয়েছে। লেখকরা পর্যবেক্ষণ করেছেন যে ভাষা মডেলগুলি মূলত সম্ভাব্যতামূলক, যা কোয়ান্টাম মেকানিক্সের মূল অনুমানের সাথে অনুরণিত হয়। QLENS ট্রান্সফর্মারের সুপ্ত সক্রিয়করণগুলিকে হিলবার্ট স্থানে অবস্থার ভেক্টরে রূপান্তরিত করে, পুনর্সংজ্ঞায়িত একক অপারেটর এবং হ্যামিলটোনিয়ানের মাধ্যমে লুকানো স্তরগুলির বিবর্তন প্রক্রিয়া বর্ণনা করে এবং অবশেষে জন্ম নিয়ম এবং পরিমাপ অপারেটরের মাধ্যমে সম্ভাব্যতা বিতরণ পায়।
বর্তমান ট্রান্সফর্মার ব্যাখ্যাযোগ্যতা পদ্ধতিগুলি (যেমন লজিট লেন্স এবং টিউনড লেন্স) প্রধানত নির্ণয়মূলক চেকপয়েন্ট হিসাবে কাজ করে, যা অনুমানের প্রক্রিয়ায় মধ্যবর্তী পূর্বাভাস অবস্থাগুলি চিহ্নিত করতে পারে, কিন্তু বিভিন্ন স্তর কীভাবে অবস্থার মধ্যে রূপান্তরকে সহজতর করে তা বর্ণনা করার জন্য একটি গাণিতিক কাঠামোর অভাব রয়েছে। এই ব্যাখ্যাযোগ্যতার ফাঁক ট্রান্সফর্মারের অভ্যন্তরীণ কার্যপ্রণালী সম্পর্কে আমাদের গভীর বোঝার সীমাবদ্ধতা রাখে।
ট্রান্সফর্মারের অভ্যন্তরীণ প্রক্রিয়া বোঝা নিম্নলিখিত বিষয়গুলির জন্য গুরুত্বপূর্ণ:
- কর্মক্ষমতা মেট্রিক্সের বাইরে মডেলের বিশ্বাসযোগ্যতা নিশ্চিত করা
- মডেলের পূর্বাভাস গতিপথ এবং সিদ্ধান্ত গ্রহণের প্রক্রিয়া বিশ্লেষণ করা
- মডেল উন্নতির জন্য তাত্ত্বিক নির্দেশনা প্রদান করা
- কৃত্রিম বুদ্ধিমত্তা সিস্টেমের ব্যাখ্যাযোগ্যতা এবং স্বচ্ছতা বৃদ্ধি করা
- লজিট লেন্স: পক্ষপাত সমস্যা রয়েছে, বিভিন্ন মডেল পরিবারে অস্থির কর্মক্ষমতা
- টিউনড লেন্স: যদিও পক্ষপাত সমস্যার উন্নতি করেছে, তবুও স্তরগুলির মধ্যে রূপান্তর বর্ণনা করার জন্য একটি গাণিতিক মডেলের অভাব রয়েছে
- অন্যান্য পদ্ধতি: অনেকটাই নির্দিষ্ট আচরণ বিশ্লেষণের মধ্যে সীমাবদ্ধ, সামগ্রিক তাত্ত্বিক কাঠামো প্রদান করতে পারে না
লেখকরা আন্তঃশৃঙ্খলামূলক সাফল্যের ক্ষেত্রে অনুপ্রাণিত হয়েছেন, পর্যবেক্ষণ করেছেন যে ভাষা মডেলগুলির সম্ভাব্যতামূলক প্রকৃতি কোয়ান্টাম মেকানিক্সের মূল অনুমানের সাথে অত্যন্ত সমান, তাই তারা ট্রান্সফর্মার বিশ্লেষণে কোয়ান্টাম মেকানিক্সের গাণিতিক কাঠামো প্রয়োগ করার প্রস্তাব দিয়েছেন।
- তাত্ত্বিক উদ্ভাবন: কোয়ান্টাম মেকানিক্স এবং ট্রান্সফর্মারের মধ্যে একটি ধারণামূলক সাদৃশ্য স্থাপন করেছে, কোয়ান্টাম মেকানিক্স অনুমানগুলির NLP ক্ষেত্রে সংশ্লিষ্ট সম্পর্ক আবিষ্কার করেছে
- ফ্রেমওয়ার্ক প্রস্তাব: QLENS ফ্রেমওয়ার্ক প্রস্তাব করেছে, ট্রান্সফর্মার অনুমানের প্রক্রিয়ার একটি সম্পূর্ণ কোয়ান্টাম মেকানিক্স সাদৃশ্য প্রদান করেছে
- অভিজ্ঞতামূলক যাচাইকরণ: সাধারণ অনুভূতি শ্রেণীবিভাগ ট্রান্সফর্মারের মাধ্যমে একটি ধারণামূলক প্রমাণ প্রদর্শন করেছে, স্তর-স্তরের ব্যাখ্যায় QLENS এর সম্ভাবনা প্রদর্শন করেছে
- তাত্ত্বিক বিশ্লেষণ: QLENS এর সুবিধা এবং সীমাবদ্ধতাগুলির সমালোচনামূলক বিশ্লেষণ করেছে, এই ক্ষেত্রে আরও অন্বেষণের জন্য ভিত্তি স্থাপন করেছে
QLENS ট্রান্সফর্মারের অনুমানের প্রক্রিয়ার জন্য কোয়ান্টাম মেকানিক্স-অনুপ্রাণিত গাণিতিক কাঠামো প্রদান করার লক্ষ্য রাখে, যা নির্দিষ্টভাবে অন্তর্ভুক্ত করে:
- ইনপুট: প্রশিক্ষিত ট্রান্সফর্মার মডেল এবং ইনপুট ক্রম
- আউটপুট: প্রতিটি স্তরের অবস্থা ভেক্টর, একক অপারেটর, হ্যামিলটোনিয়ান এবং সংশ্লিষ্ট ব্যাখ্যাযোগ্যতা অন্তর্দৃষ্টি
- সীমাবদ্ধতা: মূল ট্রান্সফর্মার ইনপুট-আউটপুটের সাথে সামঞ্জস্য বজায় রাখা
ট্রান্সফর্মারের আউটপুট স্থানকে একটি অর্থোনরমাল হিলবার্ট ভিত্তিতে রূপান্তরিত করুন C={∣c1⟩,∣c2⟩,...,∣cN⟩}, যেখানে প্রতিটি ভিত্তি ভেক্টর একটি আউটপুট ইউনিটের সাথে সামঞ্জস্যপূর্ণ।
বিভিন্ন আউটপুট অবস্থার পার্থক্যতা নিশ্চিত করুন:
⟨ci∣cj⟩={0,1,যখন i=jযখন i=j
মডেল অবস্থা ভেক্টর ∣Ψℓ⟩ সংজ্ঞায়িত করুন, যা সন্তুষ্ট করে:
P(ci)=∣⟨ci∣Ψℓ⟩∣2
যেখানে P(ci) আউটপুট ইউনিট ci এর সম্ভাবনা।
ট্রান্সফর্মার স্তরগুলিকে একক অপারেটর হিসাবে মডেল করুন:
∣Ψℓ⟩=Uℓ∣Ψℓ−1⟩
হ্যামিলটোনিয়ান Hℓ এর মাধ্যমে একক অপারেটর তৈরি করুন:
Uℓ=exp(−iαHℓ)
এবং উপপাদ্য 1 প্রমাণ করুন: অবস্থা ভেক্টরের পরিবর্তন সম্পূর্ণভাবে হ্যামিলটোনিয়ানের আইগেনভ্যালু এবং আইগেনভেক্টর দ্বারা নির্ধারিত হয়।
চূড়ান্ত সম্ভাব্যতা বিতরণ নিষ্কাশন করার জন্য পরিমাপ অপারেটর M সংজ্ঞায়িত করুন, যার ম্যাট্রিক্স উপাদানগুলি হল:
mkj=jδkj
- সম্ভাব্যতা বিতরণের কোয়ান্টাইজেশন প্রতিনিধিত্ব: ট্রান্সফর্মারের সম্ভাব্যতা আউটপুটকে কোয়ান্টাম অবস্থা ভেক্টরে ম্যাপ করা
- স্তর-স্তরের রূপান্তরের একক অপারেটর মডেলিং: স্তরগুলির মধ্যে অবস্থার বিবর্তন বর্ণনা করতে একক অপারেটর ব্যবহার করা, সম্ভাব্যতা সংরক্ষণ বজায় রাখা
- হ্যামিলটোনিয়ানের দ্বৈত দৃষ্টিভঙ্গি: অবশিষ্ট সংযোগের সাথে সংশ্লিষ্ট সংযোজনমূলক দৃষ্টিভঙ্গি প্রদান করা
- টিউনড লেন্সের সাথে সংমিশ্রণ: মধ্যবর্তী সম্ভাব্যতা বিতরণ নিষ্কাশন করতে টিউনড লেন্স ব্যবহার করা অবস্থা ভেক্টরের ভিত্তি হিসাবে
- ডেটা উৎস: Sentihood ডেটাসেট, যাতে লন্ডনের সম্প্রদায় পর্যালোচনা সম্পর্কে 5212টি মন্তব্যপূর্ণ বাক্য রয়েছে
- প্রাক-প্রক্রিয়াকরণ:
- একাধিক অবস্থান এবং একাধিক দিক উদাহরণ সরান
- 1,864টি উদাহরণ রাখুন (1,329 ইতিবাচক, 535 নেতিবাচক)
- 1:1 অনুপাতে ভারসাম্য করুন, চূড়ান্ত 1,070টি উদাহরণ
- 80:20 অনুপাতে প্রশিক্ষণ পরীক্ষা সেটে বিভক্ত করুন
- ভিত্তি মডেল: একক ডিকোডার ব্লক সহ সাধারণ ট্রান্সফর্মার
- এম্বেডিং: GPT-2 টোকেনাইজার এবং এম্বেডিং ম্যাট্রিক্স (768 মাত্রা 12 মাত্রায় সংকুচিত)
- মনোযোগ: 4-মাথা মনোযোগ স্তর
- ফিডফরওয়ার্ড নেটওয়ার্ক: ReLU সক্রিয়করণ, মধ্যবর্তী মাত্রা 48
- প্রশিক্ষণ: 12 যুগ, বাইনারি ক্রস-এন্ট্রপি ক্ষতি, পরীক্ষা নির্ভুলতা 79.44%
- একক অপারেটর সাদৃশ্য: Frobenius কোসাইন সাদৃশ্য
- হ্যামিলটোনিয়ান সাদৃশ্য: স্তর-স্তরের হ্যামিলটোনিয়ানের জোড়া সাদৃশ্য
- পরিসংখ্যানগত তাৎপর্য: দ্বি-নমুনা পারমুটেশন পরীক্ষা (p < 0.0001)
- একক অপারেটর ফর্ম সীমাবদ্ধ করতে Householder রূপান্তর ব্যবহার করা
- দুটি পক্ষপাত লেন্স প্রশিক্ষণ (এম্বেডিং লেন্স এবং মনোযোগ লেন্স)
- পরিসংখ্যানগত পরীক্ষার জন্য 1000 পারমুটেশন সিমুলেশন
| স্তর | একক অপারেটর গড় সাদৃশ্য | p মান | হ্যামিলটোনিয়ান গড় সাদৃশ্য | p মান | গড় ∥ΔΨ⟩∥ |
|---|
| মাল্টি-হেড মনোযোগ | 0.8398 | 0.0001 | 0.9193 | 0.0001 | (−0.1001,−0.0385) |
| মাল্টি-লেয়ার পার্সেপ্ট্রন | 0.4901 | 0.0001 | 0.7445 | 0.0001 | (−0.0009,0.0003) |
- Householder ভেক্টর ক্লাস্টারিং: দুটি কেন্দ্রীভূত ক্লাস্টার গঠন করে, যা নির্দেশ করে যে মনোযোগ স্তরগুলি সীমিত সম্ভাব্যতা আপডেট স্থান ব্যবহার করে
- পক্ষপাত প্রবণতা: গড় অবস্থা ভেক্টর পরিবর্তন ইতিবাচক অনুভূতির প্রতি পছন্দ প্রদর্শন করে
- প্রভাব: চূড়ান্ত পূর্বাভাসে উল্লেখযোগ্য প্রভাব ফেলে
- বৃহত্তর বিচ্ছুরণ: Householder ভেক্টর আরও বিস্তৃতভাবে বিতরণ করা হয়, যা নির্দেশ করে যে MLP স্তরগুলি আরও বৈচিত্র্যময় সম্ভাব্যতা আপডেট বাস্তবায়ন করতে পারে
- সূক্ষ্ম-সুর করা কাজ: অবস্থা ভেক্টর পরিবর্তন মূল বিন্দুর কাছাকাছি কেন্দ্রীভূত, প্রধানত সূক্ষ্ম সমন্বয় পরিচালনা করে
- ছোট প্রভাব: চূড়ান্ত পূর্বাভাসে অবদান তুলনামূলকভাবে ছোট
সমস্ত স্তরের একক অপারেটর এবং হ্যামিলটোনিয়ান সাদৃশ্য র্যান্ডম বেসলাইনের চেয়ে উল্লেখযোগ্যভাবে বেশি (p < 0.0001), যা নির্দেশ করে যে প্রতিটি স্তর বিভিন্ন ইনপুটে সামঞ্জস্যপূর্ণ রূপান্তর প্যাটার্ন বজায় রাখে।
- প্রোব পদ্ধতি: Jawahar এবং অন্যদের রৈখিক প্রোব গবেষণা দেখায় যে বিভিন্ন স্তরগুলি বিভিন্ন ভাষাগত বৈশিষ্ট্য প্রক্রিয়া করতে বিশেষজ্ঞ
- সক্রিয়করণ ব্যাখ্যা: Dalvi এবং অন্যদের স্নায়ু সক্রিয়করণ এবং শব্দ কাঠামো সম্পর্ক গবেষণা
- যান্ত্রিক ব্যাখ্যাযোগ্যতা: Bricken এবং অন্যদের বিরল স্বয়ংকোডার এবং সার্কিট আবিষ্কার পদ্ধতি
- ক্লাসিক্যাল পদ্ধতি: Hopfield নেটওয়ার্ক, Boltzmann মেশিন ইত্যাদি
- আধুনিক প্রয়োগ: LLM প্রশিক্ষণ গতিশীলতায় তাপগতিবিদ্যা এবং ক্লাসিক্যাল মেকানিক্স
- কোয়ান্টাম মেশিন লার্নিং: প্রধানত QML এবং ML4QM প্যারাডাইমে কেন্দ্রীভূত, এই পেপারের কোয়ান্টাম-অনুপ্রাণিত ব্যাখ্যাযোগ্যতা থেকে আলাদা
- QLENS সফলভাবে ট্রান্সফর্মার এবং কোয়ান্টাম মেকানিক্সের মধ্যে একটি গাণিতিক সাদৃশ্য স্থাপন করেছে
- এই ফ্রেমওয়ার্ক চূড়ান্ত আউটপুট সম্ভাব্যতা বিতরণে প্রতিটি স্তরের অবদান পরিমাপ করতে পারে
- মনোযোগ স্তর এবং MLP স্তরগুলি বিভিন্ন রূপান্তর প্যাটার্ন এবং প্রভাব মাত্রা প্রদর্শন করে
- কোয়ান্টাম মেকানিক্সের গাণিতিক কাঠামো ট্রান্সফর্মার বিশ্লেষণের জন্য নতুন তাত্ত্বিক সরঞ্জাম প্রদান করে
- অ-রৈখিক প্রক্রিয়াকরণ: কোয়ান্টাম মেকানিক্স মূলত রৈখিক, যখন ট্রান্সফর্মারের ক্ষমতা অ-রৈখিক উপাদানগুলি থেকে অনেকাংশে আসে
- বিমূর্ততার স্তর: বর্তমান বিশ্লেষণ স্তর ইনপুট-আউটপুট স্তরে থেমে থাকে, স্তরের মধ্যে প্রক্রিয়াগুলি গভীরভাবে মডেল করে না
- পরীক্ষার পরিসীমা: ধারণামূলক প্রমাণ সাধারণ খেলনা মডেলের মধ্যে সীমাবদ্ধ, সাধারণীকরণ যোগ্যতা যাচাই করা প্রয়োজন
- অপারেটর নির্বাচন: Householder রূপান্তরের নির্বাচন বিশ্লেষণের সম্পূর্ণতা সীমাবদ্ধ করতে পারে
- বড় আকারের মডেলে সম্প্রসারণ: QLENS কে প্রশিক্ষিত বড় ট্রান্সফর্মারে প্রয়োগ করা
- অ-রৈখিক প্রক্রিয়াকরণ: সক্রিয়করণ ফাংশনগুলি পরিচালনা করতে কোয়ান্টাম চ্যানেল এবং অ-রৈখিক শ্রোডিঙ্গার সমীকরণ অন্বেষণ করা
- কোয়ান্টাম ধারণা সম্প্রসারণ: কোয়ান্টাম জড়িত, অনিশ্চয়তা নীতি ইত্যাদি আরও কোয়ান্টাম ধারণা একীভূত করা
- নতুন মূল্যায়ন মেট্রিক্স: কোয়ান্টাম তথ্য তত্ত্বের উপর ভিত্তি করে ট্রান্সফর্মার মূল্যায়ন মেট্রিক্স বিকাশ করা
- শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো সিস্টেমেটিকভাবে কোয়ান্টাম মেকানিক্স ফ্রেমওয়ার্ক ট্রান্সফর্মার ব্যাখ্যাযোগ্যতায় প্রয়োগ করেছে
- গাণিতিক কঠোরতা: ছয়টি অনুমান এবং সংশ্লিষ্ট উপপাদ্য সহ একটি সম্পূর্ণ গাণিতিক সাদৃশ্য ব্যবস্থা স্থাপন করেছে
- অভিজ্ঞতামূলক সমর্থন: নির্দিষ্ট পরীক্ষার মাধ্যমে ফ্রেমওয়ার্কের সম্ভাব্যতা এবং কার্যকারিতা যাচাই করেছে
- আন্তঃশৃঙ্খলামূলক দৃষ্টিভঙ্গি: AI ব্যাখ্যাযোগ্যতা গবেষণার জন্য নতুন তাত্ত্বিক সরঞ্জাম প্রদান করেছে
- পরীক্ষার সীমাবদ্ধতা: শুধুমাত্র সাধারণ খেলনা মডেলে যাচাই করা হয়েছে, বড় আকারের পরীক্ষার অভাব
- তাত্ত্বিক ফাঁক: অ-রৈখিক উপাদানগুলির পরিচালনা এখনও একটি খোলা প্রশ্ন
- ব্যবহারিক যোগ্যতা অনিশ্চিত: বিদ্যমান পদ্ধতির তুলনায় প্রকৃত সুবিধা এখনও স্পষ্ট নয়
- গণনামূলক জটিলতা: বড় আকারের প্রয়োগের সময় গণনামূলক দক্ষতা আলোচনা করা হয়নি
- তাত্ত্বিক অবদান: ট্রান্সফর্মার বোঝার জন্য সম্পূর্ণ নতুন গাণিতিক কাঠামো প্রদান করেছে
- পদ্ধতিগত মূল্য: AI গবেষণায় আন্তঃশৃঙ্খলামূলক পদ্ধতির সম্ভাবনা প্রদর্শন করেছে
- অনুপ্রেরণামূলক: আরও বেশি পদার্থবিজ্ঞান-অনুপ্রাণিত AI ব্যাখ্যাযোগ্যতা গবেষণা উদ্দীপিত করতে পারে
- সীমাবদ্ধতা: বর্তমান পর্যায়ে আরও ধারণামূলক প্রমাণ, প্রকৃত প্রয়োগ মূল্য সীমিত
- তাত্ত্বিক গবেষণা: ট্রান্সফর্মার অভ্যন্তরীণ প্রক্রিয়া অন্বেষণের তাত্ত্বিক বিশ্লেষণের জন্য উপযুক্ত
- শিক্ষামূলক উদ্দেশ্য: ট্রান্সফর্মার বোঝার জন্য নতুন ধারণামূলক কাঠামো প্রদান করে
- পদ্ধতি উন্নয়ন: নতুন ব্যাখ্যাযোগ্যতা সরঞ্জাম বিকাশের জন্য ভিত্তি প্রদান করে
- আন্তঃশৃঙ্খলামূলক সহযোগিতা: AI এবং পদার্থবিজ্ঞানের মধ্যে ক্রস-ডোমেইন গবেষণা প্রচার করে
এই পেপারটি 54টি সম্পর্কিত সাহিত্য উদ্ধৃত করেছে, যা কোয়ান্টাম মেকানিক্স ভিত্তি, ট্রান্সফর্মার আর্কিটেকচার, ব্যাখ্যাযোগ্যতা পদ্ধতি এবং পদার্থবিজ্ঞান-অনুপ্রাণিত মেশিন লার্নিং সহ একাধিক ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, আন্তঃশৃঙ্খলামূলক গবেষণার জন্য একটি শক্তিশালী তাত্ত্বিক ভিত্তি প্রদান করে।
সামগ্রিক মূল্যায়ন: এটি একটি উদ্ভাবনী এবং অনুপ্রেরণামূলক আন্তঃশৃঙ্খলামূলক গবেষণা পেপার, যদিও ব্যবহারিক প্রয়োগে এখনও সীমাবদ্ধতা রয়েছে, তবে এটি ট্রান্সফর্মার ব্যাখ্যাযোগ্যতা গবেষণার জন্য সম্পূর্ণ নতুন তাত্ত্বিক দিক উন্মোচন করেছে। লেখকরা বর্তমান পদ্ধতির অপূর্ণতা সৎভাবে স্বীকার করেছেন এবং ভবিষ্যত গবেষণার জন্য দিকনির্দেশনা প্রদান করেছেন, যা উত্তম একাডেমিক মনোভাব প্রতিফলিত করে।