2025-11-16T07:28:12.353949

Representation in large language models

Yetman

The extraordinary success of recent Large Language Models (LLMs) on a diverse array of tasks has led to an explosion of scientific and philosophical theorizing aimed at explaining how they do what they do. Unfortunately, disagreement over fundamental theoretical issues has led to stalemate, with entrenched camps of LLM optimists and pessimists often committed to very different views of how these systems work. Overcoming stalemate requires agreement on fundamental questions, and the goal of this paper is to address one such question, namely: is LLM behavior driven partly by representation-based information processing of the sort implicated in biological cognition, or is it driven entirely by processes of memorization and stochastic table look-up? This is a question about what kind of algorithm LLMs implement, and the answer carries serious implications for higher level questions about whether these systems have beliefs, intentions, concepts, knowledge, and understanding. I argue that LLM behavior is partially driven by representation-based information processing, and then I describe and defend a series of practical techniques for investigating these representations and developing explanations on their basis. The resulting account provides a groundwork for future theorizing about language models and their successors.

academic

বৃহৎ ভাষা মডেলে প্রতিনিধিত্ব

মৌলিক তথ্য

পেপার আইডি: 2501.00885
শিরোনাম: বৃহৎ ভাষা মডেলে প্রতিনিধিত্ব
লেখক: ক্যামেরন সি. ইয়েটম্যান (টরন্টো বিশ্ববিদ্যালয়)
শ্রেণীবিভাগ: cs.CL cs.AI cs.LG
প্রকাশনার সময়: ২০২৫ সালের ১ জানুয়ারি (খসড়া সংস্করণ)
পেপার লিঙ্ক: https://arxiv.org/abs/2501.00885

সারসংক্ষেপ

বৃহৎ ভাষা মডেল (LLM) বিভিন্ন কাজে অসাধারণ সাফল্য তাদের কার্যপ্রণালী ব্যাখ্যা করার লক্ষ্যে প্রচুর বৈজ্ঞানিক এবং দার্শনিক তাত্ত্বিকীকরণ উদ্দীপিত করেছে। তবে মৌলিক তাত্ত্বিক প্রশ্নে মতবিরোধ একটি অচলাবস্থার দিকে পরিচালিত করেছে, যেখানে LLM আশাবাদী এবং নৈরাশ্যবাদীরা এই সিস্টেমগুলির কার্যপ্রণালী সম্পর্কে সম্পূর্ণ ভিন্ন দৃষ্টিভঙ্গি ধারণ করে। অচলাবস্থা অতিক্রম করার জন্য মৌলিক প্রশ্নে সম্মতি প্রয়োজন। এই পেপারের লক্ষ্য এই মৌলিক প্রশ্নগুলির একটি সমাধান করা: LLM-এর আচরণ কি আংশিকভাবে জৈব জ্ঞানীয় প্রক্রিয়ার মতো প্রতিনিধিত্ব-ভিত্তিক তথ্য প্রক্রিয়াকরণ দ্বারা চালিত হয়, নাকি সম্পূর্ণভাবে স্মৃতিকরণ এবং র্যান্ডম টেবিল অনুসন্ধান প্রক্রিয়া দ্বারা চালিত হয়? এটি LLM কী ধরনের অ্যালগরিদম বাস্তবায়ন করে তা সম্পর্কে একটি প্রশ্ন, এবং উত্তরটি উচ্চতর স্তরের প্রশ্নগুলির জন্য গুরুত্বপূর্ণ প্রভাব রাখে, যেমন এই সিস্টেমগুলি বিশ্বাস, অভিপ্রায়, ধারণা, জ্ঞান এবং বোঝাপড়া রাখে কিনা। লেখক যুক্তি দেন যে LLM আচরণ আংশিকভাবে প্রতিনিধিত্ব-ভিত্তিক তথ্য প্রক্রিয়াকরণ দ্বারা চালিত হয় এবং এই প্রতিনিধিত্বগুলি অধ্যয়ন করার জন্য এবং এর উপর ভিত্তি করে ব্যাখ্যা বিকাশের জন্য ব্যবহারিক কৌশলগুলির একটি সিরিজ বর্ণনা এবং রক্ষা করেন।

গবেষণা পটভূমি এবং প্রেরণা

মূল প্রশ্ন

এই গবেষণা যে মূল প্রশ্নটি সমাধান করতে চায় তা হল: বৃহৎ ভাষা মডেলের আচরণ কি প্রতিনিধিত্ব-ভিত্তিক তথ্য প্রক্রিয়াকরণ দ্বারা চালিত হয়, নাকি সম্পূর্ণভাবে স্মৃতিকরণ এবং র্যান্ডম টেবিল অনুসন্ধানের উপর নির্ভর করে?

সমস্যার গুরুত্ব

১. তাত্ত্বিক মতবিরোধের সমন্বয়: বর্তমান LLM গবেষণা ক্ষেত্রে গুরুতর তাত্ত্বিক মতবিরোধ বিদ্যমান, যেখানে আশাবাদীরা বিশ্বাস করে LLM-এর জ্ঞানীয় সদৃশ ক্ষমতা রয়েছে, এবং নৈরাশ্যবাদীরা মনে করে এগুলি শুধুমাত্র জটিল প্যাটার্ন ম্যাচিং সিস্টেম ২. জ্ঞানীয় বিজ্ঞান ভিত্তি: এই প্রশ্নটি সরাসরি LLM-কে জ্ঞানীয় মডেল হিসাবে ব্যবহার করা যায় কিনা এবং তারা নিজেরাই জ্ঞানীয় সিস্টেম কিনা তার সাথে সম্পর্কিত ३. উচ্চতর স্তরের ক্ষমতার ভিত্তি: উত্তরটি প্রভাবিত করবে যে LLM-এর বিশ্বাস, অভিপ্রায়, ধারণা, জ্ঞান এবং বোঝাপড়ার মতো উচ্চতর জ্ঞানীয় ক্ষমতা রয়েছে কিনা তার উপর আমাদের রায়

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

१. পরিভাষা অপব্যবহার: মেশিন লার্নিং অনুশীলনে "প্রতিনিধিত্ব" শব্দটি অত্যন্ত ব্যাপকভাবে ব্যবহৃত হয়, তাত্ত্বিক মূল্য হারিয়ে যায় २. আচরণ-কেন্দ্রিক সীমাবদ্ধতা: শুধুমাত্র আচরণগত কর্মক্ষমতা থেকে প্রতিনিধিত্বের অস্তিত্ব নির্ধারণ করা মৌলিক অনিশ্চয়তা উপস্থাপন করে ३. পদ্ধতিগত পদ্ধতির অভাব: LLM-এ প্রতিনিধিত্ব চিহ্নিত এবং যাচাই করার জন্য পদ্ধতিগত পদ্ধতির অভাব

গবেষণা প্রেরণা

লেখক বিশ্বাস করেন যে এই মৌলিক প্রশ্নটি সমাধান করা বর্তমান তাত্ত্বিক অচলাবস্থা ভাঙার জন্য অত্যন্ত গুরুত্বপূর্ণ এবং ভবিষ্যতের LLM তাত্ত্বিকীকরণের জন্য একটি দৃঢ় ভিত্তি প্রদান করে।

মূল অবদান

१. প্রতিনিধিত্বের চার-শর্ত বৈশিষ্ট্যকরণ প্রস্তাব: "প্রতিনিধিত্ব" ধারণার জন্য একটি বাস্তবসম্মত, কার্যকর সংজ্ঞা প্রদান করে, যা তথ্য (INFORMATION), ব্যবহারযোগ্যতা (EXPLOITABILITY), আচরণ (BEHAVIOR) এবং ভূমিকা (ROLE) চারটি শর্ত অন্তর্ভুক্ত করে

२. অনুসন্ধান টেবিল ব্যাখ্যা খণ্ডন: Othello-GPT এবং রঙ স্থান মডেল ইত্যাদি কেস বিশ্লেষণের মাধ্যমে প্রমাণ করে যে LLM-কে সম্পূর্ণভাবে সীমিত অবস্থা অটোমেটা বা অনুসন্ধান টেবিল দিয়ে ব্যাখ্যা করা যায় না

३. যান্ত্রিক ব্যাখ্যাযোগ্যতা কাঠামো প্রতিষ্ঠা: প্রতিনিধিত্বের অস্তিত্ব পরীক্ষা করার জন্য অনুসন্ধান (probing) এবং হস্তক্ষেপ (intervention) কৌশল ব্যবহার করার উপায় পদ্ধতিগতভাবে বর্ণনা করে

४. ব্যবহারিক গবেষণা পদ্ধতি প্রদান: LLM প্রতিনিধিত্ব অধ্যয়নের জন্য নির্দিষ্ট প্রযুক্তিগত সরঞ্জাম এবং পদ্ধতিগত নির্দেশনা প্রদান করে

পদ্ধতি বিস্তারিত

প্রতিনিধিত্বের চার-শর্ত সংজ্ঞা

লেখক প্রতিনিধিত্বের একটি কার্যকর সংজ্ঞা প্রস্তাব করেন, যেখানে সিস্টেম S বৈশিষ্ট্য z-এর জন্য প্রতিনিধিত্ব R রাখে যদি এবং শুধুমাত্র যদি নিম্নলিখিত চারটি শর্ত সন্তুষ্ট হয়:

REPRESENTATION

INFORMATION: R z সম্পর্কে তথ্য বহন করে
EXPLOITABILITY: R যে তথ্য z সম্পর্কে বহন করে তা S-এর জন্য ব্যবহারযোগ্য
BEHAVIOR: S, R দ্বারা বহনকৃত z সম্পর্কে তথ্য ব্যবহার করে যাতে S শক্তিশালী z-সম্পর্কিত আচরণ উৎপাদন করতে পারে
ROLE: R, S-এর শক্তিশালী z-সম্পর্কিত আচরণে একটি যান্ত্রিক ভূমিকা পালন করে

প্রযুক্তিগত বিবরণ

१. তথ্য শর্ত (INFORMATION)

পারস্পরিক তথ্য ব্যবহার করে সংজ্ঞায়িত: $I(X,Y) = H(X) - H(X|Y)$
যখন $I(R,z) > 0$ হয় তখন শর্ত সন্তুষ্ট হয়
তথ্য সম্পর্ক কারণগত উৎপাদনের সম্পর্ক বা কাঠামোগত সামঞ্জস্যের মাধ্যমে প্রতিষ্ঠিত হতে পারে

२. ব্যবহারযোগ্যতা শর্ত (EXPLOITABILITY)

S অবশ্যই R-এর সক্রিয়করণের উপর ভিত্তি করে সামগ্রী-প্রাসঙ্গিক উপায়ে তার z-সম্পর্কিত আচরণ নিয়ন্ত্রণ করতে সক্ষম হতে হবে
R-এর পরীক্ষা এবং হস্তক্ষেপের মাধ্যমে যাচাই করা হয়

३. আচরণ শর্ত (BEHAVIOR)

"শক্তিশালী" মানে চারপাশের অবস্থার হালকা বিঘ্নের প্রতি অসংবেদনশীল
প্রতিনিধিত্ব শক্তিশালী আচরণ সক্ষম করে, কিন্তু উপযুক্ত অ্যালগরিদমে এম্বেড করা প্রয়োজন

४. ভূমিকা শর্ত (ROLE)

R অবশ্যই আচরণ চালনাকারী প্রক্রিয়ায় একটি কারণগত ভূমিকা পালন করতে হবে
প্যান-প্রতিনিধিত্ববাদী সমস্যা এড়ান

অনুসন্ধান টেবিল অনুমানের সমালোচনা

লেখক LLM-কে অনুসন্ধান টেবিল হিসাবে দেখার দৃষ্টিভঙ্গি বিশ্লেষণ করেন:

१. সীমিত অবস্থা অটোমেটা দৃষ্টিভঙ্গি: LLM-কে বৃহৎ-স্কেল অনুসন্ধান টেবিল এনকোড করা সীমিত অবস্থা অটোমেটা হিসাবে দেখা হয় २. অ-উৎপাদনশীল বৈশিষ্ট্য: অনুসন্ধান টেবিল সিস্টেম বৈশিষ্ট্যগতভাবে অ-উৎপাদনশীল—"শুধুমাত্র ইতিমধ্যে ইনপুট করা সামগ্রী ফেরত দিতে পারে" ३. খণ্ডন প্রমাণ:

Othello-GPT: খেলার গাছের ২৫% ডেটা ছাড়াই প্রশিক্ষিত, তবুও সম্পূর্ণ ডেটাসেটে ৯৯.৯৮% আইনি চাল হার অর্জন করে
রঙ স্থান মডেল: ঘোরানো রঙ এনকোডিং জোড়ায় মূল ডেটার মতো কর্মক্ষমতা প্রদর্শন করে (৩৬% বনাম ৩৪% শীর্ষ-३ নির্ভুলতা)

পরীক্ষামূলক সেটআপ এবং ফলাফল

কেস স্টাডি १: Othello-GPT

পরীক্ষা ডিজাইন:

লক্ষ লক্ষ অথেলো গেম রেকর্ডে GPT মডেল প্রশিক্ষিত করা
রেকর্ডে শুধুমাত্র চাল ক্রম রয়েছে, কোন গেম নিয়ম বা বোর্ড বৈশিষ্ট্য তথ্য নেই
নিয়ন্ত্রণ গ্রুপ: সম্পূর্ণ ডেটাসেট প্রশিক্ষণ
পরীক্ষামূলক গ্রুপ: খেলার গাছের ২৫% ছাড়া তির্যক ডেটাসেট প্রশিক্ষণ

ফলাফল:

নিয়ন্ত্রণ গ্রুপ: ৯৯.৯৯% আইনি চাল সাফল্যের হার
পরীক্ষামূলক গ্রুপ: ৯৯.৯৮% আইনি চাল সাফল্যের হার
মূল আবিষ্কার: মডেল অদেখা বোর্ড কনফিগারেশনে সফল হয়, যা নির্দেশ করে এটি সহজ অনুসন্ধান টেবিল নয়

কেস স্টাডি २: রঙ স্থান মডেল

পরীক্ষা ডিজাইন:

রঙ এবং স্থান ডোমেইনে কাঠামোগত বৈশিষ্ট্য অনুমান পরীক্ষা করতে প্রাক-প্রশিক্ষিত GPT ব্যবহার করা
প্রসঙ্গ শিক্ষার প্যারাডাইম: ৬০টি প্রশিক্ষণ নমুনা
নিয়ন্ত্রণ গ্রুপ: RGB কোড এবং রঙের নাম জোড়ার সীমিত বর্ণালী অংশ
পরীক্ষামূলক গ্রুপ: সিস্টেমেটিক্যালি সাজানো "ঘোরানো" অবস্থা, কাঠামোগত সম্পর্ক অপরিবর্তিত রেখে

ফলাফল:

নিয়ন্ত্রণ গ্রুপ: ३४% শীর্ষ-३ নির্ভুলতা
ঘোরানো গ্রুপ: ३६% শীর্ষ-३ নির্ভুলতা
মূল আবিষ্কার: কাঠামোগত সম্পর্ক সংরক্ষিত কিন্তু নির্দিষ্ট জোড়া সম্পূর্ণ নতুন পরিস্থিতিতে তুলনীয় কর্মক্ষমতা

যান্ত্রিক ব্যাখ্যাযোগ্যতা যাচাইকরণ

অনুসন্ধান কৌশল (Probing)

লক্ষ্য নেটওয়ার্কের লুকানো স্তরের সক্রিয়করণ থেকে নির্দিষ্ট তথ্য ডিকোড করতে ছোট রৈখিক MLP ব্যবহার করা
INFORMATION এবং EXPLOITABILITY শর্ত যাচাই করা

হস্তক্ষেপ কৌশল (Intervention)

সক্রিয়করণ প্যাচিং: নির্দিষ্ট সক্রিয়করণ মূল্য পরিবর্তন করে আচরণ পরিবর্তন পর্যবেক্ষণ করা
বৈশিষ্ট্য গাইডিং: নির্দিষ্ট বৈশিষ্ট্যগুলি অস্বাভাবিক উচ্চ/নিম্ন মূল্যে ক্ল্যাম্প করা
BEHAVIOR এবং ROLE শর্ত যাচাই করা

Othello-GPT যাচাইকরণ ফলাফল:

রৈখিক অনুসন্ধান বোর্ড অবস্থা সফলভাবে শ্রেণীবদ্ধ করে ("আমার"/"আপনার"/"খালি")
সক্রিয়করণ হস্তক্ষেপ (চেস অংশ অবস্থা ফ্লিপ করা) মডেলের পূর্বাভাসকে সংশোধিত বোর্ড অবস্থার সাথে সামঞ্জস্যপূর্ণ করে তোলে

Claude 3 Sonnet যাচাইকরণ ফলাফল:

ব্যাখ্যাযোগ্য বৈশিষ্ট্য চিহ্নিত করতে বিরল স্বয়ংএনকোডার ব্যবহার করা (যেমন গোল্ডেন গেট ব্রিজ, মস্তিষ্ক বিজ্ঞান)
বৈশিষ্ট্য গাইডিং পরীক্ষা: গোল্ডেন গেট ব্রিজ বৈশিষ্ট্য ১০ গুণ সক্রিয় করা মডেলকে সেই সেতু উল্লেখ করতে নিয়ে যায়

উপসংহার এবং আলোচনা

প্রধান সিদ্ধান্ত

१. LLM বাস্তবসম্মত প্রতিনিধিত্ব রাখে: নির্দিষ্ট পরিস্থিতিতে, LLM আচরণ চার-শর্ত সংজ্ঞা সন্তুষ্ট করে এমন প্রতিনিধিত্ব দ্বারা চালিত হয় २. অনুসন্ধান টেবিল ব্যাখ্যা অপর্যাপ্ত: বিশুদ্ধ স্মৃতিকরণ এবং অনুসন্ধান টেবিল LLM-এর সাধারণীকরণ ক্ষমতা ব্যাখ্যা করতে পারে না ३. যান্ত্রিক ব্যাখ্যাযোগ্যতা পদ্ধতি কার্যকর: অনুসন্ধান এবং হস্তক্ষেপ কৌশল LLM প্রতিনিধিত্ব অধ্যয়নের জন্য কার্যকর পথ প্রদান করে

সীমাবদ্ধতা

१. শর্ত প্রয়োগের প্রসঙ্গ নির্ভরতা: প্রতিনিধিত্বের স্থিতিস্থাপকতা মূল্যায়ন নির্দিষ্ট কাজ এবং পরিবেশের উপর নির্ভর করে २. সামগ্রী নির্ধারণ সমস্যা অমীমাংসিত: প্রতিনিধিত্ব সামগ্রী কীভাবে নির্ধারিত হয় তা সম্পর্কে সিস্টেমেটিক্যালি সমাধান করা হয়নি ३. উচ্চতর জ্ঞানীয় ক্ষমতা অনির্ধারিত: LLM-এর বিশ্বাস, জ্ঞান, বোঝাপড়া ইত্যাদি আছে কিনা তা সরাসরি সমাধান করা হয়নি

ভবিষ্যত দিকনির্দেশনা

१. পদ্ধতিগত প্রতিনিধিত্ব মানচিত্র: কখন LLM-এর প্রতিনিধিত্ব বনাম অন্যান্য প্রক্রিয়ার উপর নির্ভর করার প্রত্যাশা করা যায় তার একটি পদ্ধতিগত অ্যাকাউন্ট প্রতিষ্ঠা করা २. সামগ্রী নির্ধারণ তত্ত্ব: LLM প্রতিনিধিত্ব সামগ্রী নির্ধারণের জন্য একটি তাত্ত্বিক কাঠামো বিকাশ করা ३. জ্ঞানীয় ক্ষমতা মূল্যায়ন: প্রতিনিধিত্ব বিশ্লেষণের উপর ভিত্তি করে LLM-এর উচ্চতর জ্ঞানীয় ক্ষমতা মূল্যায়ন করা

গভীর মূল্যায়ন

শক্তি

१. তাত্ত্বিক অবদান উল্লেখযোগ্য: কঠোর প্রতিনিধিত্ব সংজ্ঞা প্রদান করে, একটি গুরুত্বপূর্ণ তাত্ত্বিক শূন্যতা পূরণ করে २. পদ্ধতিগত উদ্ভাবন: জ্ঞানীয় বিজ্ঞানের প্রতিনিধিত্ব তত্ত্বকে মেশিন লার্নিংয়ের ব্যাখ্যাযোগ্যতা কৌশলের সাথে জৈবিকভাবে একত্রিত করে ३. অভিজ্ঞতামূলক প্রমাণ যথেষ্ট: একাধিক কেস স্টাডি এবং প্রযুক্তিগত যাচাইকরণের মাধ্যমে মূল যুক্তি সমর্থন করে ४. লেখা স্পষ্ট এবং কঠোর: যুক্তির যুক্তি স্পষ্ট, প্রযুক্তিগত বিবরণ নির্ভুল

অপূর্ণতা

१. কেস সীমিততা: প্রধানত কয়েকটি কেসের উপর ভিত্তি করে, আরও ব্যাপক যাচাইকরণ প্রয়োজন २. স্থিতিস্থাপকতা মান অস্পষ্ট: "শক্তিশালী আচরণ"-এর সংজ্ঞা এখনও তুলনামূলকভাবে বিষয়গত ३. ব্যবহারিক চ্যালেঞ্জ: প্রস্তাবিত পদ্ধতি বৃহৎ-স্কেল LLM-এ প্রয়োগ এখনও প্রযুক্তিগত চ্যালেঞ্জের সম্মুখীন

প্রভাব

१. তাত্ত্বিক প্রভাব: LLM জ্ঞানীয় ক্ষমতা গবেষণার জন্য গুরুত্বপূর্ণ তাত্ত্বিক ভিত্তি প্রদান করে २. পদ্ধতিগত প্রভাব: LLM গবেষণায় যান্ত্রিক ব্যাখ্যাযোগ্যতার প্রয়োগ চালিত করে ३. ব্যবহারিক মূল্য: AI নিরাপত্তা এবং ব্যাখ্যাযোগ্যতা গবেষণার জন্য নতুন সরঞ্জাম প্রদান করে

প্রযোজ্য পরিস্থিতি

१. LLM ক্ষমতা মূল্যায়ন: নির্দিষ্ট LLM-এর প্রকৃত জ্ঞানীয় ক্ষমতা আছে কিনা তা মূল্যায়ন করা २. মডেল উন্নতি: প্রতিনিধিত্ব বিশ্লেষণের উপর ভিত্তি করে মডেল আর্কিটেকচার এবং প্রশিক্ষণ পদ্ধতি উন্নত করা ३. AI নিরাপত্তা গবেষণা: সিস্টেম নিরাপত্তা উন্নত করার জন্য LLM অভ্যন্তরীণ প্রক্রিয়া বোঝা

তথ্যসূত্র

পেপারটি বিভিন্ন শৃঙ্খলা জুড়ে সমৃদ্ধ সাহিত্য উদ্ধৃত করে, প্রধানত অন্তর্ভুক্ত:

१. জ্ঞানীয় বিজ্ঞান ভিত্তি সাহিত্য: Fodor (1975), Marr (1982), Shea (2018) २. মেশিন লার্নিং ব্যাখ্যাযোগ্যতা: Olah et al. (2018), Elhage et al. (2021) ३. LLM সমালোচনামূলক গবেষণা: Bender & Koller (2020), Marcus & Davis (2020) ४. প্রযুক্তিগত পদ্ধতি সাহিত্য: Li et al. (2023), Templeton et al. (2024)

সারসংক্ষেপ: এই পেপারটি LLM প্রতিনিধিত্ব গবেষণা ক্ষেত্রে গুরুত্বপূর্ণ তাত্ত্বিক এবং পদ্ধতিগত অবদান করে। কঠোর ধারণা বিশ্লেষণ, অভিজ্ঞতামূলক গবেষণা এবং প্রযুক্তিগত উদ্ভাবনের মাধ্যমে, এটি LLM-এর অভ্যন্তরীণ প্রক্রিয়া বোঝার জন্য নতুন দৃষ্টিভঙ্গি প্রদান করে। যদিও কিছু সীমাবদ্ধতা রয়েছে, তবে এটি ভবিষ্যতের LLM জ্ঞানীয় ক্ষমতা গবেষণার জন্য একটি দৃঢ় ভিত্তি স্থাপন করে।