2025-11-21T07:40:15.798625

Artificial Impressions: Evaluating Large Language Model Behavior Through the Lens of Trait Impressions

Deas, McKeown

We introduce and study artificial impressions--patterns in LLMs' internal representations of prompts that resemble human impressions and stereotypes based on language. We fit linear probes on generated prompts to predict impressions according to the two-dimensional Stereotype Content Model (SCM). Using these probes, we study the relationship between impressions and downstream model behavior as well as prompt features that may inform such impressions. We find that LLMs inconsistently report impressions when prompted, but also that impressions are more consistently linearly decodable from their hidden representations. Additionally, we show that artificial impressions of prompts are predictive of the quality and use of hedging in model responses. We also investigate how particular content, stylistic, and dialectal features in prompts impact LLM impressions.

academic

কৃত্রিম প্রভাব: বৈশিষ্ট্য প্রভাবের লেন্সের মাধ্যমে বৃহৎ ভাষা মডেল আচরণ মূল্যায়ন

মৌলিক তথ্য

পেপার আইডি: 2510.08915
শিরোনাম: Artificial Impressions: Evaluating Large Language Model Behavior Through the Lens of Trait Impressions
লেখক: Nicholas Deas, Kathleen McKeown (কলাম্বিয়া বিশ্ববিদ্যালয়)
শ্রেণীবিভাগ: cs.CL (গণনামূলক ভাষাবিজ্ঞান)
প্রকাশনার সময়: ২০২৫ সালের ১০ অক্টোবর (arXiv প্রাক-প্রিন্ট)
পেপার লিঙ্ক: https://arxiv.org/abs/2510.08915

সারসংক্ষেপ

এই পেপারটি "কৃত্রিম প্রভাব" (artificial impressions) ধারণা প্রবর্তন এবং গবেষণা করে—বৃহৎ ভাষা মডেল (LLMs) এর অভ্যন্তরীণ প্রতিনিধিত্বে প্যাটার্ন যা মানুষের ভাষার উপর ভিত্তি করে গঠিত প্রভাব এবং স্টেরিওটাইপের অনুরূপ। গবেষকরা উৎপাদিত প্রম্পটগুলিতে প্রশিক্ষিত রৈখিক অনুসন্ধানকারী ব্যবহার করেছেন, দ্বিমাত্রিক স্টেরিওটাইপ কন্টেন্ট মডেল (Stereotype Content Model, SCM) অনুযায়ী প্রভাব পূর্বাভাস দিতে। এই অনুসন্ধানকারীগুলির মাধ্যমে, গবেষকরা প্রভাব এবং নিম্নস্থ মডেল আচরণ এবং এই প্রভাবগুলিকে প্রভাবিত করতে পারে এমন প্রম্পট বৈশিষ্ট্যগুলির মধ্যে সম্পর্ক অধ্যয়ন করেছেন। গবেষণায় দেখা গেছে যে LLMs যখন প্রম্পট করা হয় তখন অসামঞ্জস্যপূর্ণ প্রভাব রিপোর্ট করে, কিন্তু প্রভাবগুলি তার লুকানো প্রতিনিধিত্ব থেকে আরও সামঞ্জস্যপূর্ণভাবে রৈখিকভাবে ডিকোড করা যায়। অধিকন্তু, প্রম্পটের কৃত্রিম প্রভাব মডেল প্রতিক্রিয়ার গুণমান এবং সতর্কতামূলক ভাষা ব্যবহার পূর্বাভাস দিতে পারে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

মানুষ মিথস্ক্রিয়ায় দ্রুত অন্যদের সম্পর্কে প্রাথমিক প্রভাব গঠন করে, এই প্রভাবগুলি মনোভাব এবং আচরণে দীর্ঘস্থায়ী প্রভাব ফেলে। একইভাবে, বৃহৎ ভাষা মডেলগুলি প্রশিক্ষণ প্রক্রিয়ায় বিভিন্ন লেখকদের বিশাল পরিমাণ পাঠ্যের সংস্পর্শে আসে, এবং ভাষাগত বৈশিষ্ট্যের উপর ভিত্তি করে অনুরূপ "প্রভাব" গঠন করতে পারে।

গবেষণার গুরুত্ব

১. পক্ষপাত এবং ন্যায্যতা: LLMs কীভাবে ভাষাগত বৈশিষ্ট্যের উপর ভিত্তি করে প্রভাব গঠন করে তা বোঝা পক্ষপাত চিহ্নিত এবং প্রশমিত করার জন্য গুরুত্বপূর্ণ ২. মডেল আচরণ পূর্বাভাস: কৃত্রিম প্রভাব মডেলের নিম্নস্থ কর্মক্ষমতা যেমন প্রতিক্রিয়া গুণমান এবং ভাষা ব্যবহারকে প্রভাবিত করতে পারে ३. সামাজিক ভাষাবিজ্ঞান প্রভাব: বিভিন্ন উপভাষা এবং ভাষাগত বৈচিত্র্য বিভিন্ন প্রভাব ট্রিগার করতে পারে, প্রান্তিক গোষ্ঠীর ব্যবহারকারীর অভিজ্ঞতা প্রভাবিত করে

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

LLMs কে সরাসরি প্রম্পট করে প্রভাব রিপোর্ট করতে অসামঞ্জস্য এবং ইতিবাচক পক্ষপাত রয়েছে
LLMs এর অভ্যন্তরীণ প্রভাব পরিমাপ এবং বিশ্লেষণের জন্য সিস্টেমেটিক পদ্ধতির অভাব
প্রভাব কীভাবে নিম্নস্থ আচরণকে প্রভাবিত করে তার সীমিত বোঝাপড়া

মূল অবদান

১. "কৃত্রিম প্রভাব" ধারণা প্রস্তাব: প্রথমবারের মতো প্রম্পটের উপর ভিত্তি করে LLMs এর অভ্যন্তরীণ প্রভাবের সিস্টেমেটিক অধ্যয়ন २. রৈখিক অনুসন্ধানকারী পদ্ধতি উন্নয়ন: লুকানো অবস্থা থেকে প্রভাব ডিকোড করতে SCM কাঠামো ব্যবহার করে অনুসন্ধানকারী প্রশিক্ষণ ३. প্রভাব-আচরণ সম্পর্ক প্রতিষ্ঠা: কৃত্রিম প্রভাব প্রতিক্রিয়া গুণমান এবং সতর্কতামূলক ভাষা ব্যবহার পূর্বাভাস দিতে পারে প্রমাণ ४. প্রভাবশালী কারণ চিহ্নিত করা: LLM প্রভাব গঠনে বিষয়বস্তু, শৈলী এবং উপভাষা বৈশিষ্ট্যের প্রভাব বিশ্লেষণ ५. উপভাষা পক্ষপাত প্রকাশ: LLMs আফ্রিকান আমেরিকান ভাষা (AAL) এর প্রতি আরও নেতিবাচক প্রভাব রাখে তা আবিষ্কার

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

ব্যবহারকারীর প্রম্পট দেওয়া, লক্ষ্য হল: १. LLM লুকানো প্রতিনিধিত্ব থেকে SCM-ভিত্তিক প্রভাব স্কোর নিষ্কাশন २. প্রভাব এবং মডেল আচরণের সম্পর্ক বিশ্লেষণ ३. প্রভাব গঠনকে প্রভাবিত করে এমন প্রম্পট বৈশিষ্ট্য চিহ্নিত করা

স্টেরিওটাইপ কন্টেন্ট মডেল (SCM)

SCM দুটি মাত্রা অন্তর্ভুক্ত করে:

উষ্ণতা (Warmth): লক্ষ্যের অভিপ্রায়ের উপলব্ধি (যেমন বন্ধুত্ব, যুদ্ধশীলতা)
সক্ষমতা (Competence): লক্ষ্যের অভিপ্রায় সফলভাবে সম্পাদন করার ক্ষমতা (যেমন বুদ্ধিমত্তা, শক্তি)

ডেটা উৎপাদন প্রবাহ

१. সিন্থেটিক ডেটা উৎপাদন

পদক্ষেপ १: বৈশিষ্ট্য শব্দভাণ্ডার → প্রভাব নির্দিষ্টকরণ (যেমন "বন্ধুত্বপূর্ণ এবং সতর্ক")
পদক্ষেপ २: প্রভাব নির্দিষ্টকরণের উপর ভিত্তি করে সিন্থেটিক ব্যবহারকারী প্রম্পট উৎপাদন
পদক্ষেপ ३: LLM লুকানো প্রতিনিধিত্ব নিষ্কাশন
পদক্ষেপ ४: অনুসন্ধানকারী প্রশিক্ষণ ডেটা নির্মাণ (প্রতিনিধিত্ব-লেবেল জোড়া)

२. অনুসন্ধানকারী প্রশিক্ষণ

বহু-স্তরীয় পারসেপ্ট্রন (MLP) সক্রিয়করণ ইনপুট বৈশিষ্ট্য হিসাবে ব্যবহার
স্বাধীন উষ্ণতা এবং সক্ষমতা অনুসন্ধানকারী প্রশিক্ষণ
৫-ফোল্ড ক্রস-ভ্যালিডেশন মূল্যায়ন গ্রহণ
বিভিন্ন প্রশিক্ষণ ডেটা অনুপাত ব্যবহার (১০০%, ১০%, १%)

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. মনোবিজ্ঞান তত্ত্ব নির্দেশনা: LLM বিশ্লেষণে মনোবিজ্ঞানের SCM কাঠামো প্রয়োগ २. অনুসন্ধানকারী বনাম প্রম্পট তুলনা: অনুসন্ধানকারী পদ্ধতি এবং সরাসরি প্রম্পটের নির্ভরযোগ্যতা সিস্টেমেটিক তুলনা ३. বহু-স্তরীয় বিশ্লেষণ: বিভিন্ন মডেল স্তরে প্রভাব তথ্যের বিতরণ বিশ্লেষণ ४. আচরণ পূর্বাভাস যাচাইকরণ: নিম্নস্থ কাজের মাধ্যমে প্রভাবের কার্যকারিতা যাচাই

পরীক্ষামূলক সেটআপ

মডেল

Llama-3.1 (8B): ३२ স্তর, ४०९६ লুকানো মাত্রা
Llama-3.2 (1B): १६ স্তর, २०४८ লুকানো মাত্রা
OLMo-2 (7B): ३२ স্তর, ४०९६ লুকানো মাত্রা

ডেটাসেট

সিন্থেটিক ডেটা

१३१টি উষ্ণতা বৈশিষ্ট্য এবং १०४টি সক্ষমতা বৈশিষ্ট্যের উপর ভিত্তি করে
প্রতিটি প্রভাব নির্দিষ্টকরণের জন্য १० নমুনা উৎপাদন (তাপমাত্রা=०.९)
মোট २७४,८३० প্রম্পট/মডেল

বাস্তব ডেটা

LMSysChat: १ মিলিয়ন বাস্তব কথোপকথন থেকে २००० প্রথম-রাউন্ড প্রম্পট নমুনা
TwitterAAE: ४०० টুইট (२०० AAL, २०० WME)
Counterparts ডেটাসেট: অন্যান্য ভেরিয়েবল নিয়ন্ত্রণ করা সমান্তরাল কর্পাস

মূল্যায়ন মেট্রিক্স

অনুসন্ধানকারী কর্মক্ষমতা: F१ স্কোর, নির্ভুলতা
স্ব-সামঞ্জস্য: রিপোর্ট করা প্রভাব এবং প্রদত্ত বৈশিষ্ট্যের মিল
মানব মূল্যায়ন: ४-পয়েন্ট Likert স্কেল, Krippendorff's α = ०.७१

পরীক্ষামূলক ফলাফল

প্রধান আবিষ্কার

আবিষ্কার १: প্রম্পট পদ্ধতির সীমাবদ্ধতা

LLM দ্বারা রিপোর্ট করা প্রভাব সাধারণত ইতিবাচক বৈশিষ্ট্যের দিকে পক্ষপাতী (উষ্ণতা/সক্ষমতা), বিশেষত প্রথম ব্যক্তির পরিস্থিতিতে:

Llama-३.१ (८B) প্রথম ব্যক্তি উষ্ণতা স্ব-সামঞ্জস্য মাত্র ५१.६७%
তৃতীয় ব্যক্তির পরিস্থিতি কিছুটা উন্নত কিন্তু সীমিত (সর্বোচ্চ ८०.७७%)

আবিষ্কার २: মানব-মডেল প্রভাব সামঞ্জস্য

মানব টীকা এবং মূল বৈশিষ্ট্যের সামঞ্জস্য:

মোট Cohen's κ = ०.६८, Spearman r = ०.६८
বৈশিষ্ট্য শব্দভাণ্ডার এবং SCM লেবেলের কার্যকারিতা যাচাই

আবিষ্কার ३: অনুসন্ধানকারী পদ্ধতির কার্যকারিতা

রৈখিক অনুসন্ধানকারী লুকানো প্রতিনিধিত্ব থেকে প্রভাব সফলভাবে ডিকোড করে:

উষ্ণতা অনুসন্ধানকারী F१ স্কোর: ७५-९०%
সক্ষমতা অনুসন্ধানকারী F१ স্কোর: ७५-८५%
কর্মক্ষমতা মডেল মধ্য স্তরে শীর্ষে পৌঁছায়

আবিষ্কার ४: উষ্ণতা সুবিধা প্রভাব

মডেল উষ্ণতা মাত্রায় আরও ভাল কর্মক্ষমতা দেখায়:

উষ্ণতা অনুসন্ধানকারী কর্মক্ষমতা ধারাবাহিকভাবে সক্ষমতা অনুসন্ধানকারীর চেয়ে বেশি
মানব প্রভাব গঠনের "উষ্ণতা-প্রথম প্রভাব" অনুকরণ

প্রভাব-আচরণ সম্পর্ক পরীক্ষা

প্রতিক্রিয়া গুণমান পূর্বাভাস

প্রতিক্রিয়া গুণমানে প্রভাবের প্রভাব বিশ্লেষণের জন্য ক্রমবর্ধমান লজিস্টিক রিগ্রেশন ব্যবহার:

মডেল	উষ্ণতা সহগ	সক্ষমতা সহগ
Llama-३.२-१B	१.०७**	०.९०**
Llama-३.१-८B	०.४९*	०.३९*
OLMo-२-७B	०.७६**	०.३५*

আবিষ্কার ५: উষ্ণতা এবং সক্ষমতা প্রভাব উল্লেখযোগ্যভাবে প্রতিক্রিয়া গুণমান পূর্বাভাস দেয়

সতর্কতামূলক ভাষা বিশ্লেষণ

প্রভাবে সতর্কতামূলক ভাষা ব্যবহারের প্রভাব বিশ্লেষণের জন্য নেতিবাচক দ্বিপদ রিগ্রেশন ব্যবহার:

মডেল	উষ্ণতা সহগ	সক্ষমতা সহগ
Llama-३.२-१B	-०.४६*	-१.०६**
Llama-३.१-८B	-०.१४	-१.१८**
OLMo-२-७B	०.४०**	-०.६९**

আবিষ্কার ६: কম সক্ষমতা প্রভাব উল্লেখযোগ্যভাবে আরও সতর্কতামূলক ভাষা ব্যবহার পূর্বাভাস দেয়

প্রভাবশালী কারণ বিশ্লেষণ

বিষয়বস্তু এবং শৈলী বৈশিষ্ট্য

LIWC এবং IDP ব্যবহার করে বিশ্লেষণ আবিষ্কার করে:

উচ্চ উষ্ণতা বৈশিষ্ট্য:

পরীক্ষামূলক শব্দভাণ্ডার ("wondering", "might", "seem")
পার্থক্য শব্দভাণ্ডার ("would", "could", "hope")
শিষ্টাচার এবং মানসিক দূরত্ব প্রতিফলিত

নিম্ন উষ্ণতা বৈশিষ্ট্য:

প্রশ্ন শব্দ ("what", "how")
কারণ শব্দভাণ্ডার ("because", "effect")

উচ্চ সক্ষমতা বৈশিষ্ট্য:

অন্তর্দৃষ্টি শব্দভাণ্ডার ("rethink", "know", "informed")
আনুষ্ঠানিক ভাষা কাঠামো

নিম্ন সক্ষমতা বৈশিষ্ট্য:

অনানুষ্ঠানিক চিহ্ন ("yeah", "sure", ইমোজি)
নেট ভাষা ("aight", "gonna")

উপভাষা পক্ষপাত বিশ্লেষণ

আবিষ্কার ८: মডেল AAL পাঠ্যের প্রতি আরও নেতিবাচক প্রভাব রাখে

AAL বনাম WME উষ্ণতা সম্পর্ক: r = -०.३२ (p ≤ ०.००१)
AAL বনাম WME সক্ষমতা সম্পর্ক: r = -०.५२ (p ≤ ०.००१)
সমান্তরাল কর্পাস অনুরূপ প্রবণতা যাচাই করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. পদ্ধতি কার্যকারিতা: রৈখিক অনুসন্ধানকারী সরাসরি প্রম্পটের চেয়ে আরও নির্ভরযোগ্যভাবে LLM প্রভাব নিষ্কাশন করে २. আচরণ পূর্বাভাস শক্তি: কৃত্রিম প্রভাব প্রতিক্রিয়া গুণমান এবং ভাষা ব্যবহার প্যাটার্ন পূর্বাভাস দিতে পারে ३. পক্ষপাত চিহ্নিতকরণ: নির্দিষ্ট উপভাষা এবং গোষ্ঠীর প্রতি পক্ষপাত সিস্টেমেটিকভাবে আবিষ্কার ४. উষ্ণতা সুবিধা: LLMs মানব-সদৃশ উষ্ণতা-প্রথম প্রভাব প্রদর্শন করে

সীমাবদ্ধতা

१. পরিসীমা সীমাবদ্ধতা: শুধুমাত্র ইংরেজি কথোপকথনের প্রথম-রাউন্ড বার্তায় ফোকাস २. মডেল আকার: ८B প্যারামিটারের নিচে খোলা উৎস মডেলে সীমাবদ্ধ ३. তাত্ত্বিক কাঠামো: শুধুমাত্র SCM ব্যবহার, অন্যান্য স্টেরিওটাইপ মডেল অন্বেষণ করা হয়নি ४. সাংস্কৃতিক পার্থক্য: প্রভাব গঠনে ক্রস-সাংস্কৃতিক পার্থক্য বিবেচনা করা হয়নি

নৈতিক বিবেচনা

१. মানবিকীকরণ ঝুঁকি: LLMs এর অত্যধিক মানবিকীকরণ এড়াতে সতর্ক প্রয়োজন २. পক্ষপাত বৃদ্ধি: চিহ্নিত পক্ষপাত প্রান্তিক গোষ্ঠীর ক্ষতি করতে পারে ३. প্রয়োগ সীমানা: কোন পরিস্থিতিতে পার্থক্যপূর্ণ আচরণ যুক্তিসঙ্গত তা স্পষ্ট করা প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

१. বহু-রাউন্ড কথোপকথন: কথোপকথন প্রক্রিয়ায় প্রভাবের বিবর্তন অধ্যয়ন २. ক্রস-সাংস্কৃতিক গবেষণা: বিভিন্ন সাংস্কৃতিক পটভূমিতে প্রভাব গঠন অন্বেষণ ३. প্রশমন কৌশল: ক্ষতিকারক পক্ষপাত হ্রাস করার প্রযুক্তিগত পদ্ধতি উন্নয়ন ४. তাত্ত্বিক সম্প্রসারণ: আরও জটিল প্রভাব গঠন মডেল প্রয়োগ

গভীর মূল্যায়ন

শক্তি

१. উদ্ভাবন শক্তিশালী: প্রথমবারের মতো মনোবিজ্ঞান প্রভাব তত্ত্ব LLM বিশ্লেষণে প্রয়োগ २. পদ্ধতি কঠোর: সিন্থেটিক ডেটা উৎপাদন, অনুসন্ধানকারী প্রযুক্তি এবং মানব মূল্যায়ন সংমিশ্রণ ३. ব্যবহারিক মূল্য উচ্চ: LLM পক্ষপাত বোঝা এবং প্রশমিত করার জন্য নতুন সরঞ্জাম প্রদান ४. পরীক্ষা সম্পূর্ণ: বহু-মডেল, বহু-কাজের ব্যাপক যাচাইকরণ ५. সামাজিক তাৎপর্য: গুরুত্বপূর্ণ ন্যায্যতা সমস্যা প্রকাশ

অপূর্ণতা

१. তাত্ত্বিক সীমাবদ্ধতা: SCM সমস্ত প্রাসঙ্গিক প্রভাব মাত্রা ক্যাপচার করতে পারে না २. ডেটা পক্ষপাত: সিন্থেটিক ডেটা বাস্তব ব্যবহারের পরিস্থিতি সম্পূর্ণভাবে প্রতিফলিত নাও করতে পারে ३. কার্যকারণ সম্পর্ক: প্রভাব এবং আচরণের সম্পর্ক বিভ্রান্তিকারী ভেরিয়েবল থাকতে পারে ४. সাধারণীকরণ: বৃহত্তর মডেল এবং বিভিন্ন প্রশিক্ষণ প্যারাডাইমে ফলাফলের সাধারণীকরণ অজানা

প্রভাব

१. একাডেমিক অবদান: LLM পক্ষপাত গবেষণার জন্য নতুন তাত্ত্বিক কাঠামো এবং পদ্ধতি প্রদান २. ব্যবহারিক মূল্য: মডেল মূল্যায়ন এবং পক্ষপাত সনাক্তকরণে ব্যবহার করা যায় ३. নীতি তাৎপর্য: AI ন্যায্যতা নীতি প্রণয়নের জন্য বৈজ্ঞানিক প্রমাণ প্রদান ४. ক্রস-ডিসিপ্লিনারি প্রভাব: মনোবিজ্ঞান, সামাজিক ভাষাবিজ্ঞান এবং AI নিরাপত্তা ক্ষেত্র সংযোগ

প্রযোজ্য পরিস্থিতি

१. মডেল মূল্যায়ন: মডেল উন্নয়ন প্রক্রিয়ায় সম্ভাব্য পক্ষপাত সনাক্ত করা २. প্রয়োগ অডিট: স্থাপিত মডেলের ন্যায্যতা কর্মক্ষমতা মূল্যায়ন ३. গবেষণা সরঞ্জাম: সম্পর্কিত ক্ষেত্র গবেষণার জন্য বিশ্লেষণ কাঠামো প্রদান ४. শিক্ষামূলক ব্যবহার: AI সিস্টেমের সামাজিক প্রভাব বোঝা সহায়তা

সংদর্ভ

এই পেপারটি মনোবিজ্ঞান, সামাজিক ভাষাবিজ্ঞান এবং গণনামূলক ভাষাবিজ্ঞান সহ একাধিক ক্ষেত্রের গুরুত্বপূর্ণ কাজ উল্লেখ করে, বিশেষত:

Fiske et al. (२००२) এর স্টেরিওটাইপ কন্টেন্ট মডেল
Blodgett et al. (२०१६) এর উপভাষা গবেষণা ডেটাসেট
LLM পক্ষপাত এবং ন্যায্যতা সম্পর্কে সাম্প্রতিক গবেষণা

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের গবেষণা পেপার যা পদ্ধতি উদ্ভাবন, পরীক্ষামূলক ডিজাইন এবং সামাজিক তাৎপর্যে গুরুত্বপূর্ণ অবদান রাখে। "কৃত্রিম প্রভাব" ধারণা প্রবর্তনের মাধ্যমে, এটি LLM আচরণ বোঝার জন্য একটি নতুন দৃষ্টিভঙ্গি প্রদান করে এবং AI ন্যায্যতা গবেষণা অগ্রসর করতে গুরুত্বপূর্ণ মূল্য রাখে।