2025-11-18T04:19:13.869286

Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation

Huang, Datla, Zhu et al.

We propose a method for confidence estimation in retrieval-augmented generation (RAG) systems that aligns closely with the correctness of large language model (LLM) outputs. Confidence estimation is especially critical in high-stakes domains such as finance and healthcare, where the cost of an incorrect answer outweighs that of not answering the question. Our approach extends prior uncertainty quantification methods by leveraging raw feed-forward network (FFN) activations as auto-regressive signals, avoiding the information loss inherent in token logits and probabilities after projection and softmax normalization. We model confidence prediction as a sequence classification task, and regularize training with a Huber loss term to improve robustness against noisy supervision. Applied in a real-world financial industry customer-support setting with complex knowledge bases, our method outperforms strong baselines and maintains high accuracy under strict latency constraints. Experiments on Llama 3.1 8B model show that using activations from only the 16th layer preserves accuracy while reducing response latency. Our results demonstrate that activation-based confidence modeling offers a scalable, architecture-aware path toward trustworthy RAG deployment.

academic

আত্মবিশ্বাস-ভিত্তিক প্রতিক্রিয়া বিরত: সক্রিয়করণ-ভিত্তিক অনিশ্চয়তা অনুমানের মাধ্যমে LLM বিশ্বাসযোগ্যতা উন্নতি

মৌলিক তথ্য

পেপার আইডি: 2510.13750
শিরোনাম: Confidence-Based Response Abstinence: Improving LLM Trustworthiness via Activation-Based Uncertainty Estimation
লেখক: Zhiqi Huang, Vivek Datla, Chenyang Zhu, Alfy Samuel, Daben Liu, Anoop Kumar, Ritesh Soni (Capital One)
শ্রেণীবিভাগ: cs.CL (কম্পিউটেশনাল ভাষাবিজ্ঞান)
প্রকাশনার সময়: ২০২৫ সালের ১৬ অক্টোবর (arXiv v2)
পেপার লিংক: https://arxiv.org/abs/2510.13750v2

সারসংক্ষেপ

এই পেপারটি পুনরুদ্ধার-বর্ধিত প্রজন্ম (RAG) সিস্টেমের জন্য একটি আত্মবিশ্বাস অনুমান পদ্ধতি প্রস্তাব করে, যা বৃহৎ ভাষা মডেল (LLM) আউটপুটের সঠিকতার সাথে ঘনিষ্ঠভাবে সম্পর্কিত। আত্মবিশ্বাস অনুমান আর্থিক এবং চিকিৎসা সেবার মতো উচ্চ-ঝুঁকিপূর্ণ ক্ষেত্রে বিশেষভাবে গুরুত্বপূর্ণ, যেখানে ভুল উত্তরের খরচ প্রশ্নের উত্তর না দেওয়ার খরচের চেয়ে অনেক বেশি। এই পদ্ধতিটি মূল ফিডফরওয়ার্ড নেটওয়ার্ক (FFN) সক্রিয়করণকে স্বয়ংক্রিয় সংকেত হিসাবে ব্যবহার করে বিদ্যমান অনিশ্চয়তা পরিমাণীকরণ পদ্ধতিগুলি প্রসারিত করে, টোকেন লজিট এবং সম্ভাব্যতায় প্রজেকশন এবং সফটম্যাক্স নর্মালাইজেশনের পরে অন্তর্নিহিত তথ্য হ্রাসকে এড়ায়। লেখকরা আত্মবিশ্বাস পূর্বাভাসকে ক্রম শ্রেণীবিভাগ কাজ হিসাবে মডেল করেন এবং শব্দযুক্ত তত্ত্বাবধানের প্রতি দৃঢ়তা উন্নত করতে Huber ক্ষতি শব্দ ব্যবহার করে প্রশিক্ষণ নিয়ন্ত্রণ করেন। জটিল জ্ঞান ভিত্তি সহ বাস্তব আর্থিক শিল্প গ্রাহক সহায়তা পরিস্থিতিতে, এই পদ্ধতিটি কঠোর বিলম্ব সীমাবদ্ধতার অধীনে শক্তিশালী ভিত্তিরেখা অতিক্রম করে এবং উচ্চ নির্ভুলতা বজায় রাখে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

উচ্চ-ঝুঁকিপূর্ণ প্রয়োগ পরিস্থিতিতে, RAG সিস্টেমগুলি ভুল প্রতিক্রিয়া প্রদান করার পরিবর্তে প্রশ্নের উত্তর দিতে অস্বীকার করা উচিত। এটির জন্য একটি আত্মবিশ্বাস পরিমাপের প্রয়োজন যা প্রতিক্রিয়া সঠিকতার সাথে শক্তিশালীভাবে সম্পর্কিত, যখন আত্মবিশ্বাস স্কোর একটি থ্রেশহোল্ডের নীচে থাকে তখন প্রতিক্রিয়া মাস্ক করে।

সমস্যার গুরুত্ব

উচ্চ-ঝুঁকিপূর্ণ ক্ষেত্রের চাহিদা: আর্থিক, চিকিৎসা এবং অন্যান্য কঠোরভাবে নিয়ন্ত্রিত ক্ষেত্রে, ভুল উত্তর প্রদানের খ্যাতি এবং আর্থিক খরচ কোনো উত্তর প্রদান না করার খরচের চেয়ে অনেক বেশি
রিয়েল-টাইম স্থাপনার চ্যালেঞ্জ: বিদ্যমান পদ্ধতিগুলি দীর্ঘ বর্ণনামূলক প্রতিক্রিয়া এবং উৎপাদন পরিবেশের বিলম্ব প্রয়োজনীয়তার অধীনে দুর্বলভাবে কাজ করে
অনিশ্চয়তার উৎস: প্রধানত জ্ঞানতাত্ত্বিক অনিশ্চয়তা (মডেল জ্ঞান অপর্যাপ্ত) থেকে উদ্ভূত, দৈব অনিশ্চয়তা নয় (ডেটা অন্তর্নিহিত র্যান্ডমনেস)

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

নমুনা-ভিত্তিক পদ্ধতি: একাধিক প্রজন্মের প্রয়োজন, উৎপাদন পরিবেশে অত্যধিক গণনামূলক খরচ এবং বিলম্ব প্রবর্তন করে
টোকেন সম্ভাব্যতা পদ্ধতি: দীর্ঘ প্রতিক্রিয়ায় দুর্বলভাবে কাজ করে, একক কম সম্ভাব্যতা শব্দ সামগ্রিক ক্রম স্কোর অসমানুপাতিকভাবে হ্রাস করতে পারে
তথ্য হ্রাস: টোকেন সম্ভাব্যতা রৈখিক প্রজেকশন এবং সফটম্যাক্স রূপান্তরের পরে সমৃদ্ধ অভ্যন্তরীণ প্রতিনিধিত্ব তথ্য হারায়

মূল অবদান

সক্রিয়করণ-ভিত্তিক আত্মবিশ্বাস অনুমান পদ্ধতি প্রস্তাব: মূল FFN সক্রিয়করণকে স্বয়ংক্রিয় সংকেত হিসাবে ব্যবহার করে, টোকেন লজিটের তথ্য হ্রাস এড়ায়
ক্রম শ্রেণীবিভাগ কাঠামো: আত্মবিশ্বাস পূর্বাভাসকে ক্রম শ্রেণীবিভাগ কাজ হিসাবে মডেল করে, সক্রিয়করণ ক্রম প্রক্রিয়া করতে LSTM ব্যবহার করে
Huber ক্ষতি নিয়ন্ত্রণ: পুনরুদ্ধার পর্যায়ে শব্দযুক্ত তত্ত্বাবধানের প্রতি দৃঢ়তা উন্নত করতে Huber ক্ষতি প্রবর্তন করে
উৎপাদন পরিবেশ যাচাইকরণ: বাস্তব আর্থিক গ্রাহক সহায়তা পরিস্থিতিতে পদ্ধতির কার্যকারিতা এবং স্কেলেবিলিটি যাচাই করে
দক্ষতা অপ্টিমাইজেশন: প্রমাণ করে যে শুধুমাত্র ১৬তম স্তরের সক্রিয়করণ ব্যবহার করে নির্ভুলতা বজায় রেখে উল্লেখযোগ্যভাবে বিলম্ব হ্রাস করা যায়

পদ্ধতির বিস্তারিত বিবরণ

কাজের সংজ্ঞা

ইনপুট x এবং উৎপাদিত ক্রম s দেওয়া, লক্ষ্য হল একটি আত্মবিশ্বাস স্কোর c অনুমান করা যা প্রতিক্রিয়া সঠিকতার সাথে শক্তিশালীভাবে সম্পর্কিত। যখন c একটি থ্রেশহোল্ডের নীচে থাকে, সিস্টেম প্রতিক্রিয়া প্রদর্শন করতে অস্বীকার করে।

মডেল স্থাপত্য

সামগ্রিক কাঠামো

ইনপুট ক্রম নির্মাণ:

x = xI ⊕ xQ ⊕ xC ⊕ s ⊕ xEOS

যেখানে xI (নির্দেশনা), xQ (প্রশ্ন), xC (প্রসঙ্গ), s (উত্তর), xEOS (সমাপ্তি চিহ্ন)

সক্রিয়করণ নিষ্কাশন

Transformer এর ℓ স্তর থেকে লুকানো অবস্থা সক্রিয়করণ নিষ্কাশন:

Hℓ = (h¹ℓ, ..., h^(T+L+1)ℓ)

শুধুমাত্র উত্তর অংশের সাথে সম্পর্কিত সক্রিয়করণ সংরক্ষণ:

Sin = (h^(T+1)ℓ, h^(T+2)ℓ, ..., h^(T+L+1)ℓ)

ক্রম শ্রেণীবিভাগকারী

ক্রম শ্রেণীবিভাগকারী হিসাবে LSTM ব্যবহার করে g(Sin), যা 2-মাত্রিক লজিট ভেক্টর z আউটপুট করে, আত্মবিশ্বাস স্কোর:

c = softmax(z)₁ = e^z₁/(e^z₀ + e^z₁)

প্রশিক্ষণ কৌশল

ক্ষতি ফাংশন

ক্রস-এন্ট্রপি ক্ষতি এবং Huber ক্ষতি নিয়ন্ত্রণ সংমিশ্রণ:

LTotal = LCE + λLHuber

Huber ক্ষতি সংজ্ঞায়িত:

Hδ(x) = {
  ½x² যখন |x| ≤ δ
  δ(|x| - ½δ) অন্যথায়
}

ব্যাচ-স্তরের Huber ক্ষতি:

LHuber = Hδ(1/|B| Σci - 1/|B| ΣI(ŷi = yi))

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

মূল সক্রিয়করণ বনাম টোকেন সম্ভাব্যতা: রৈখিক প্রজেকশন এবং সফটম্যাক্স দ্বারা সৃষ্ট তথ্য সংকোচন এবং বিকৃতি এড়ায়
স্বয়ংক্রিয় ক্রম মডেলিং: উৎপাদন প্রক্রিয়ায় সময়গত নির্ভরতা ক্যাপচার করতে LSTM ব্যবহার করে
দৃঢ়তা নিয়ন্ত্রণ: Huber ক্ষতি পুনরুদ্ধার ত্রুটি দ্বারা প্রবর্তিত শব্দ লেবেলের প্রতি আরও শক্তিশালী
স্তর অপ্টিমাইজেশন: পরীক্ষার মাধ্যমে সক্রিয়করণ নিষ্কাশনের সর্বোত্তম স্তর নির্ধারণ করে

পরীক্ষামূলক সেটআপ

ডেটাসেট

উৎস: Capital One অভ্যন্তরীণ আর্থিক গ্রাহক সহায়তা জ্ঞান ভিত্তি
স্কেল: ৮.৫k ডকুমেন্ট, প্রায় ৪৫k খণ্ড
বৈশিষ্ট্য: আধা-কাঠামোগত ডকুমেন্ট, জটিল শ্রেণীবিন্যাস কাঠামো, টেবিল, তালিকা অন্তর্ভুক্ত
টীকা: রিয়েল-টাইম প্রতিক্রিয়া এবং SME বিশেষজ্ঞ মূল্যায়নের দুই-স্তরের যাচাইকরণ প্রক্রিয়া

মূল্যায়ন মেট্রিক্স

AUROC: আত্মবিশ্বাস স্কোরের বিভেদকারী ক্ষমতা
নির্ভুলতা (P): প্রদর্শিত প্রতিক্রিয়ার নির্ভুলতা
স্মরণ (R): সঠিক প্রতিক্রিয়ার স্মরণ হার
ROUGE-L: প্রতিক্রিয়া গুণমান মূল্যায়ন
মাস্ক হার: মাস্ক করা প্রতিক্রিয়ার অনুপাত
বিলম্ব: গড় এবং P99 প্রতিক্রিয়া সময়

তুলনামূলক পদ্ধতি

Vectara (HHEM2.1): অন্তর্ভুক্তি-ভিত্তিক শব্দার্থ সামঞ্জস্য মডেল
VectaraFT: Vectara এর সূক্ষ্ম-সুর সংস্করণ
Logits-ভিত্তিক: টোকেন লজিটের উপর ভিত্তি করে অনিশ্চয়তা মডেল

বাস্তবায়ন বিবরণ

মডেল: Llama 3.1 8B
সক্রিয়করণ স্তর: ১৬তম এবং ৩২তম স্তর
প্রসঙ্গ আকার: Top-1, Top-3, Top-5, Full (Top-7)
অনুমান কাঠামো: Hugging Face, vLLM

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

পদ্ধতি	AUROC
Vectara	0.590
VectaraFT	0.634
Logits-ভিত্তিক	0.663
আমাদের মডেল (ক্যালিব্রেশন ছাড়া)	0.741
আমাদের মডেল (ক্যালিব্রেশন সহ)	0.772

আত্মবিশ্বাস থ্রেশহোল্ড বিশ্লেষণ

থ্রেশহোল্ড	নির্ভুলতা	স্মরণ	ROUGE-L (প্রদর্শিত/মাস্ক)	মাস্ক হার
0.5	0.95	0.73	0.65/0.57	29.9%
0.7	0.96	0.65	0.66/0.57	38.6%
0.9	0.97	0.52	0.67/0.58	52.0%

স্তর এবং প্রসঙ্গ অপ্টিমাইজেশন

১৬তম স্তর বনাম ৩২তম স্তর:

১৬তম স্তর অনুরূপ কর্মক্ষমতা বজায় রেখে উল্লেখযোগ্যভাবে বিলম্ব হ্রাস করে (প্রায় ৪২.৫%)
Full প্রসঙ্গ সেটিংয়ে, ১৬তম স্তর ০.৯৭ নির্ভুলতা, ৩১.৩% মাস্ক হার অর্জন করে

বিলম্ব বিশ্লেষণ:

কাঠামো	স্তর	প্রসঙ্গ	গড় বিলম্ব (ms)	P99 বিলম্ব (ms)
vLLM	16	Full	127	267
vLLM	32	Full	206	354

বিলোপন পরীক্ষা

Huber ক্ষতির ভূমিকা: ০.৭৪১ থেকে ০.৭৭২ AUROC এ উন্নতি
সক্রিয়করণ স্তর নির্বাচন: ১৬তম স্তর ৩২তম স্তরের কাছাকাছি কর্মক্ষমতা কিন্তু কম বিলম্ব
প্রসঙ্গ আকারের প্রভাব: বৃহত্তর প্রসঙ্গ নির্ভুলতা বৃদ্ধি করে কিন্তু বিলম্ব বাড়ায়

উপসংহার এবং আলোচনা

প্রধান সিদ্ধান্ত

কার্যকারিতা: সক্রিয়করণ-ভিত্তিক পদ্ধতি বিদ্যমান ভিত্তিরেখা থেকে উল্লেখযোগ্যভাবে উন্নত, AUROC ০.৭৭২ এ পৌঁছায়
ব্যবহারিকতা: উৎপাদন পরিবেশে ০.৯৫ নির্ভুলতা এবং ২৯.৯% মাস্ক হারের ভাল ভারসাম্য অর্জন করে
দক্ষতা: ১৬তম স্তরের সক্রিয়করণ কর্মক্ষমতা বজায় রেখে বিলম্ব উল্লেখযোগ্যভাবে হ্রাস করে
দৃঢ়তা: Huber ক্ষতি শব্দযুক্ত তত্ত্বাবধানের প্রতি দৃঢ়তা কার্যকরভাবে উন্নত করে

সীমাবদ্ধতা

সাদা-বক্স নির্ভরতা: মডেল অভ্যন্তরীণ সক্রিয়করণে অ্যাক্সেসের প্রয়োজন, সার্বজনীনতা সীমিত করে
স্থাপত্য-নির্দিষ্ট: পদ্ধতি নির্দিষ্ট মডেল স্থাপত্যের জন্য কাস্টমাইজ করা, স্থানান্তর পুনঃকনফিগারেশন প্রয়োজন
দুই-পর্যায়ের প্রক্রিয়াকরণ: আত্মবিশ্বাস স্কোর গণনা করতে অতিরিক্ত ফরওয়ার্ড পাসের প্রয়োজন
ডেটা সীমাবদ্ধতা: পরীক্ষামূলক ডেটা প্রকাশ করা যায় না, পুনরুৎপাদনযোগ্যতা প্রভাবিত করে

ভবিষ্যত দিকনির্দেশনা

শেষ-থেকে-শেষ একীকরণ: আত্মবিশ্বাস অনুমান সরাসরি প্রজন্ম প্রক্রিয়ায় একীভূত করা
স্থাপত্য-অজ্ঞেয়বাদী: একাধিক LLM স্থাপত্যের জন্য প্রযোজ্য সর্বজনীন পদ্ধতি বিকাশ করা
গণনামূলক অপ্টিমাইজেশন: আত্মবিশ্বাস অনুমানের গণনামূলক ওভারহেড আরও হ্রাস করা
তাত্ত্বিক বিশ্লেষণ: FFN সক্রিয়করণ এবং আত্মবিশ্বাসের মধ্যে তাত্ত্বিক সম্পর্ক গভীরভাবে বোঝা

গভীর মূল্যায়ন

শক্তি

প্রযুক্তিগত উদ্ভাবন: প্রথমবারের মতো RAG আত্মবিশ্বাস অনুমানের জন্য FFN সক্রিয়করণ পদ্ধতিগতভাবে ব্যবহার করে, টোকেন সম্ভাব্যতার তথ্য হ্রাস এড়ায়
ব্যবহারিক মূল্য: বাস্তব আর্থিক পরিস্থিতিতে যাচাইকৃত, শক্তিশালী ব্যবহারিক অভিমুখ রয়েছে
ব্যাপক পরীক্ষা: একাধিক মাত্রা থেকে (স্তর, প্রসঙ্গ, বিলম্ব) পর্যাপ্ত বিলোপন পরীক্ষা পরিচালিত
প্রকৌশল বিবেচনা: উৎপাদন পরিবেশের বিলম্ব সীমাবদ্ধতা এবং স্কেলেবিলিটি প্রয়োজনীয়তা সম্পূর্ণভাবে বিবেচনা করা

অপূর্ণতা

সার্বজনীনতা সীমাবদ্ধতা: পদ্ধতি সাদা-বক্স অ্যাক্সেস এবং নির্দিষ্ট স্থাপত্যের উপর নির্ভর করে, প্রচার সীমিত
তাত্ত্বিক ভিত্তি: FFN সক্রিয়করণ কেন আত্মবিশ্বাস পূর্বাভাস দিতে পারে তার গভীর তাত্ত্বিক বিশ্লেষণ অভাব
ডেটা স্বচ্ছতা: মালিকানাধীন ডেটাসেট প্রকাশ করা যায় না, ফলাফলের যাচাইযোগ্যতা প্রভাবিত করে
সীমিত তুলনা: আরও সাম্প্রতিক অনিশ্চয়তা পরিমাণীকরণ পদ্ধতির সাথে তুলনা যথেষ্ট নয়

প্রভাব

একাডেমিক অবদান: RAG সিস্টেম বিশ্বাসযোগ্যতা গবেষণার জন্য নতুন প্রযুক্তিগত পথ প্রদান করে
শিল্প মূল্য: উচ্চ-ঝুঁকিপূর্ণ ক্ষেত্রে LLM স্থাপনার জন্য ব্যবহারিক সমাধান প্রদান করে
পদ্ধতি অনুপ্রেরণা: সক্রিয়করণ-ভিত্তিক পদ্ধতি আরও অভ্যন্তরীণ প্রতিনিধিত্ব ব্যবহারের গবেষণা অনুপ্রাণিত করতে পারে

প্রযোজ্য পরিস্থিতি

উচ্চ-ঝুঁকিপূর্ণ ক্ষেত্র: আর্থিক, চিকিৎসা, আইনি এবং অন্যান্য নির্ভুলতার জন্য অত্যন্ত প্রয়োজনীয় পরিস্থিতি
সাদা-বক্স স্থাপনা: মডেল অভ্যন্তরীণ অ্যাক্সেস অধিকার সহ এন্টারপ্রাইজ-স্তরের প্রয়োগ
রিয়েল-টাইম সিস্টেম: কঠোর বিলম্ব সীমাবদ্ধতার অধীনে বিশ্বাসযোগ্য প্রতিক্রিয়া প্রদান করতে হবে এমন পরিস্থিতি
পেশাদার জ্ঞান ভিত্তি: কাঠামোগত, বিশেষায়িত জ্ঞান ভিত্তি সহ RAG প্রয়োগ

তথ্যসূত্র

এই পেপারটি অনিশ্চয়তা পরিমাণীকরণ, RAG সিস্টেম, সক্রিয়করণ বিশ্লেষণ এবং অন্যান্য সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

Azaria and Mitchell (2023): LLM অভ্যন্তরীণ অবস্থা এবং "মিথ্যা" সনাক্তকরণ
Bakman et al. (2024): অর্থ-ভিত্তিক প্রতিক্রিয়া স্কোরিং
Bao et al. (2024): HHEM অন্তর্ভুক্তি মডেল
Dai et al. (2022): প্রাক-প্রশিক্ষিত Transformer এ জ্ঞান নিউরন

সামগ্রিক মূল্যায়ন: এটি একটি প্রযুক্তিগতভাবে দৃঢ় এবং ব্যবহারিক মূল্য সমৃদ্ধ পেপার, যা RAG সিস্টেম আত্মবিশ্বাস অনুমানের এই গুরুত্বপূর্ণ সমস্যায় উদ্ভাবনী সমাধান প্রস্তাব করে। যদিও সার্বজনীনতা এবং তাত্ত্বিক গভীরতায় নির্দিষ্ট সীমাবদ্ধতা রয়েছে, তবে বাস্তব পরিস্থিতিতে এর সফল প্রয়োগ এবং পর্যাপ্ত পরীক্ষামূলক যাচাইকরণ এটিকে গুরুত্বপূর্ণ একাডেমিক এবং শিল্প মূল্য প্রদান করে।