2025-11-22T06:10:16.346479

Teaching Models to Understand (but not Generate) High-risk Data

Wang, Finlayson, Soldaini et al.

Language model developers typically filter out high-risk content -- such as toxic or copyrighted text -- from their pre-training data to prevent models from generating similar outputs. However, removing such data altogether limits models' ability to recognize and appropriately respond to harmful or sensitive content. In this paper, we introduce Selective Loss to Understand but Not Generate (SLUNG), a pre-training paradigm through which models learn to understand high-risk data without learning to generate it. Instead of uniformly applying the next-token prediction loss, SLUNG selectively avoids incentivizing the generation of high-risk tokens while ensuring they remain within the model's context window. As the model learns to predict low-risk tokens that follow high-risk ones, it is forced to understand the high-risk content. Through our experiments, we show that SLUNG consistently improves models' understanding of high-risk data (e.g., ability to recognize toxic content) without increasing its generation (e.g., toxicity of model responses). Overall, our SLUNG paradigm enables models to benefit from high-risk text that would otherwise be filtered out.

academic

মডেলগুলিকে উচ্চ-ঝুঁকিপূর্ণ ডেটা বোঝার জন্য শেখানো (কিন্তু উৎপন্ন করা নয়)

মৌলিক তথ্য

পেপার আইডি: 2505.03052
শিরোনাম: Teaching Models to Understand (but not Generate) High-risk Data
লেখক: Ryan Wang, Matthew Finlayson, Luca Soldaini, Swabha Swayamdipta, Robin Jia
শ্রেণীবিভাগ: cs.CL cs.LG
প্রকাশনা সম্মেলন: COLM 2025
পেপার লিঙ্ক: https://arxiv.org/abs/2505.03052

সারসংক্ষেপ

ভাষা মডেল ডেভেলপাররা সাধারণত তাদের প্রাক-প্রশিক্ষণ ডেটা থেকে উচ্চ-ঝুঁকিপূর্ণ সামগ্রী -- যেমন বিষাক্ত বা কপিরাইট করা পাঠ্য -- ফিল্টার করে বের করেন যাতে মডেলগুলি অনুরূপ আউটপুট উৎপন্ন না করে। তবে এই ধরনের ডেটা সম্পূর্ণভাবে সরিয়ে ফেলা ক্ষতিকারক বা সংবেদনশীল সামগ্রী স্বীকৃতি দিতে এবং উপযুক্তভাবে প্রতিক্রিয়া জানাতে মডেলগুলির ক্ষমতা সীমিত করে। এই পেপারে, আমরা Selective Loss to Understand but Not Generate (SLUNG) উপস্থাপন করি, একটি প্রাক-প্রশিক্ষণ প্যারাডাইম যার মাধ্যমে মডেলগুলি উচ্চ-ঝুঁকিপূর্ণ ডেটা বুঝতে শেখে কিন্তু এটি উৎপন্ন করতে শেখে না। পরবর্তী-টোকেন পূর্বাভাস ক্ষতি সমানভাবে প্রয়োগ করার পরিবর্তে, SLUNG নির্বাচনীভাবে উচ্চ-ঝুঁকিপূর্ণ টোকেন উৎপন্ন করার প্রণোদনা এড়ায় যখন তারা মডেলের প্রসঙ্গ উইন্ডোর মধ্যে থাকে। মডেল উচ্চ-ঝুঁকিপূর্ণ টোকেনের পরে আসা নিম্ন-ঝুঁকিপূর্ণ টোকেন পূর্বাভাস দিতে শেখার সাথে সাথে, এটি উচ্চ-ঝুঁকিপূর্ণ সামগ্রী বুঝতে বাধ্য হয়। আমাদের পরীক্ষার মাধ্যমে, আমরা দেখাই যে SLUNG ধারাবাহিকভাবে উচ্চ-ঝুঁকিপূর্ণ ডেটার মডেলের বোঝাপড়া উন্নত করে (যেমন, বিষাক্ত সামগ্রী স্বীকৃতি করার ক্ষমতা) এর উৎপাদন বৃদ্ধি ছাড়াই (যেমন, মডেল প্রতিক্রিয়ার বিষাক্ততা)। সামগ্রিকভাবে, আমাদের SLUNG প্যারাডাইম মডেলগুলিকে উচ্চ-ঝুঁকিপূর্ণ পাঠ্য থেকে উপকৃত হতে সক্ষম করে যা অন্যথায় ফিল্টার করা হত।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা পটভূমি

বর্তমান ভাষা মডেল উন্নয়নে একটি মৌলিক বিরোধ বিদ্যমান: ক্ষতিকারক সামগ্রী (যেমন বিষাক্ত পাঠ্য, কপিরাইট সামগ্রী ইত্যাদি) উৎপন্ন করা থেকে মডেলগুলি প্রতিরোধ করার জন্য, ডেভেলপাররা সাধারণত প্রাক-প্রশিক্ষণ ডেটা থেকে এই উচ্চ-ঝুঁকিপূর্ণ সামগ্রী ফিল্টার করে বের করেন। তবে এই পদ্ধতি যদিও মডেলের নিরাপত্তা বৃদ্ধি করে, তবে এই ধরনের সামগ্রী স্বীকৃতি দিতে এবং উপযুক্তভাবে প্রতিক্রিয়া জানাতে মডেলের ক্ষমতা সীমিত করে।

মূল সমস্যা

ডেটা ফিল্টারিংয়ের পার্শ্ব প্রতিক্রিয়া: সম্পূর্ণভাবে উচ্চ-ঝুঁকিপূর্ণ ডেটা সরিয়ে ফেলা এই ধরনের সামগ্রীর প্রতি মডেলের বোঝাপড়া হ্রাস করে
বোঝা এবং উৎপাদনের সংযোগ: ঐতিহ্যবাহী পরবর্তী-টোকেন পূর্বাভাস উদ্দেশ্য মূলত মডেলের বোঝার ক্ষমতা এবং উৎপাদন ক্ষমতা একসাথে যুক্ত করে
বাস্তব স্থাপনার প্রয়োজন: প্রকৃত অ্যাপ্লিকেশনে, মডেলগুলিকে ক্ষতিকারক অনুরোধ চিহ্নিত এবং পরিচালনা করতে সক্ষম হতে হবে, কিন্তু এর জন্য ক্ষতিকারক সামগ্রীর একটি নির্দিষ্ট বোঝাপড়া প্রয়োজন

গবেষণা প্রেরণা

লেখকরা "উভয় সেরা বিশ্বের" প্রভাব অর্জনের প্রস্তাব দেন: এমন মডেল প্রশিক্ষণ করা যা উচ্চ-ঝুঁকিপূর্ণ ডেটা বুঝতে পারে কিন্তু এই ধরনের সামগ্রী উৎপন্ন করবে না। এর জন্য মানক পরবর্তী-টোকেন পূর্বাভাস উদ্দেশ্যের বাইরে যেতে হবে, মডেলের বোঝার ক্ষমতা এবং উৎপাদন ক্ষমতা আলাদা করতে হবে।

মূল অবদান

SLUNG ফ্রেমওয়ার্ক প্রস্তাব: একটি নতুন প্রাক-প্রশিক্ষণ প্যারাডাইম যা নির্বাচনী ক্ষতি ফাংশনের মাধ্যমে বোঝা এবং উৎপাদনের আলাদাকরণ বাস্তবায়ন করে
প্রযুক্তিগত উদ্ভাবন: টোকেন ঝুঁকি স্তরের উপর ভিত্তি করে পার্থক্যমূলক প্রশিক্ষণ কৌশল ডিজাইন করা, যার মধ্যে Masked SLUNG এবং Unlikelihood SLUNG দুটি বাস্তবায়ন রয়েছে
পরীক্ষামূলক যাচাইকরণ: বিষাক্ত সামগ্রী বোঝা এবং কাল্পনিক সত্তা শেখার দুটি পরিস্থিতিতে পদ্ধতির কার্যকারিতা যাচাই করা
তাত্ত্বিক অবদান: নিরাপদ এবং সক্ষম ভাষা মডেল উন্নয়নের জন্য একটি নতুন ফ্রেমওয়ার্ক এবং চিন্তাভাবনা প্রদান করা

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

প্রাক-প্রশিক্ষণ ডকুমেন্ট $X = (x_1, x_2, ..., x_{|X|})$ দেওয়া, প্রতিটি টোকেনের সংশ্লিষ্ট বাইনারি লেবেল $(l_1, l_2, ..., l_{|X|})$ রয়েছে, যেখানে $l_i \in \{0,1\}$ নির্দেশ করে যে i-তম টোকেন উচ্চ-ঝুঁকিপূর্ণ টোকেন ( $l_i = 1$ ) বা নিম্ন-ঝুঁকিপূর্ণ টোকেন ( $l_i = 0$ ) কিনা।

লক্ষ্য একটি মডেল প্রশিক্ষণ করা যা উচ্চ-ঝুঁকিপূর্ণ স্প্যানের জন্য উচ্চ বিভ্রান্তি নির্ধারণ করে, একই সাথে উচ্চ-ঝুঁকিপূর্ণ সামগ্রীর শর্তে থাকা নিম্ন-ঝুঁকিপূর্ণ স্প্যানের জন্য কম বিভ্রান্তি বজায় রাখে।

মডেল আর্কিটেকচার

SLUNG মূল ধারণা

SLUNG-এর মূল উদ্ভাবন বিভিন্ন ঝুঁকি স্তরের টোকেনের জন্য বিভিন্ন ক্ষতি ফাংশন প্রয়োগ করা:

$L(\theta, X) = -\sum_{i=1}^{|X|} \left[ \mathbf{1}[l_i=1] f_\theta(x_i | x_{<i}) + \mathbf{1}[l_i=0] \log p_\theta(x_i | x_{<i}) \right]$

যেখানে:

উচ্চ-ঝুঁকিপূর্ণ টোকেন ( $l_i = 1$ ) কাস্টম ক্ষতি ফাংশন $f_\theta(x_i | x_{<i})$ ব্যবহার করে
নিম্ন-ঝুঁকিপূর্ণ টোকেন ( $l_i = 0$ ) মানক সর্বাধিক সম্ভাবনা উদ্দেশ্য ব্যবহার করে
সমস্ত টোকেন মডেলের প্রসঙ্গ উইন্ডোতে সংরক্ষিত থাকে

দুটি নির্দিষ্ট বাস্তবায়ন

1. Masked SLUNG উচ্চ-ঝুঁকিপূর্ণ টোকেনের জন্য $f_\theta(x_i | x_{<i}) = 0$ সেট করা, অর্থাৎ তাদের উৎপাদন ক্ষতি মুখোশ করা, কিন্তু টোকেন এখনও মনোযোগ প্রক্রিয়াকরণের জন্য দৃশ্যমান থাকে।

2. Unlikelihood SLUNG
উচ্চ-ঝুঁকিপূর্ণ টোকেনের জন্য $f_\theta(x_i | x_{<i}) = \log(1 - p_\theta(x_i | x_{<i}))$ প্রয়োগ করা, স্পষ্টভাবে উচ্চ-ঝুঁকিপূর্ণ টোকেনে উচ্চ সম্ভাবনা নির্ধারণ করার জন্য মডেলকে শাস্তি দেওয়া।

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

আলাদাকরণ ডিজাইন: প্রাক-প্রশিক্ষণ পর্যায়ে বোঝা এবং উৎপাদন ক্ষমতার আলাদাকরণ প্রথমবারের মতো বাস্তবায়ন করা
প্রসঙ্গ সংরক্ষণ: উচ্চ-ঝুঁকিপূর্ণ টোকেন যদিও ক্ষতি গণনায় অংশগ্রহণ করে না বা শাস্তি পায় না, তবুও প্রসঙ্গে থাকে, নিশ্চিত করে যে মডেল তাদের প্রতিনিধিত্ব শিখতে পারে
পরোক্ষ শেখার প্রক্রিয়া: উচ্চ-ঝুঁকিপূর্ণ সামগ্রীর পরে আসা নিম্ন-ঝুঁকিপূর্ণ টোকেন পূর্বাভাস দিয়ে শেখার মাধ্যমে, মডেলকে উচ্চ-ঝুঁকিপূর্ণ সামগ্রী বুঝতে বাধ্য করা
নমনীয় ফ্রেমওয়ার্ক: যেকোনো ঝুঁকি সনাক্তকরণ শ্রেণীবিভাজকের সাথে সহযোগিতা করা যায়

পরীক্ষামূলক সেটআপ

পরীক্ষা এক: বিষাক্ত সামগ্রী বোঝা

ডেটাসেট

ভিত্তি মডেল: OLMo 1B (চেকপয়েন্ট 737 থেকে অব্যাহত প্রশিক্ষণ)
প্রশিক্ষণ ডেটা: মূল Dolma ডেটাসেটের শেষ 40 বিলিয়ন টোকেন + ইনজেক্ট করা বিষাক্ত Reddit ডকুমেন্ট (প্রায় 2.12 বিলিয়ন টোকেন, 5% দখল করে)
বিষাক্ততা শ্রেণীবিভাগ: FastText বিষাক্ততা শ্রেণীবিভাজক ব্যবহার করে, সামগ্রীকে Not Toxic, Possibly Toxic এবং Definitely Toxic তিনটি শ্রেণীতে বিভক্ত করা

তুলনামূলক পদ্ধতি

Control (OLMo 1B): বিষাক্ত ডেটার সাথে যোগাযোগ ছাড়াই মূল মডেল
Low-risk Baseline: শুধুমাত্র অ-বিষাক্ত Reddit সামগ্রীতে প্রশিক্ষণ
Toxic Baseline: সমস্ত ডেটায় (বিষাক্ত সামগ্রী সহ) মানক সর্বাধিক সম্ভাবনা ব্যবহার করে প্রশিক্ষণ
Masked SLUNG: Definitely Toxic এবং Possibly Toxic টোকেনের জন্য ক্ষতি মুখোশ করা
Unlikelihood SLUNG: Definitely Toxic টোকেনের জন্য unlikelihood ক্ষতি প্রয়োগ করা

পরীক্ষা দুই: কাল্পনিক সত্তা শেখা

ডেটাসেট

TOFU ডেটাসেট: সিন্থেটিক লেখক প্রোফাইল সহ প্রশ্নোত্তর জোড়া
প্রশিক্ষণ সেটআপ: শুধুমাত্র উত্তর কলামে সূক্ষ্ম সুর করা, সত্তার নাম উচ্চ-ঝুঁকিপূর্ণ টোকেন হিসাবে চিহ্নিত করা
লক্ষ্য: সত্তা সম্পর্কিত তথ্য শিখা কিন্তু সত্তার নাম উৎপন্ন করা এড়ানো

মূল্যায়ন মেট্রিক্স

বিষাক্ততা পরীক্ষা

উৎপাদন মূল্যায়ন: RealToxicityPrompts ব্যবহার করে মডেল বিষাক্ত সামগ্রী উৎপন্ন করার প্রবণতা মূল্যায়ন করা, Perspective API স্কোরিং এর মাধ্যমে
বোঝা মূল্যায়ন: CivilComments ডেটাসেটে একটি রৈখিক প্রোব প্রশিক্ষণ করা, মডেল লুকানো অবস্থার বিষাক্ততা শ্রেণীবিভাগ ক্ষমতা মূল্যায়ন করা (AUROC)

সত্তা শেখার পরীক্ষা

উৎপাদন মূল্যায়ন: মডেল আউটপুটে সত্তার নাম প্রদর্শনের অনুপাত পরিমাপ করা
বোঝা মূল্যায়ন: GPT-4o ব্যবহার করে মডেল তথ্যপূর্ণ প্রশ্নের উত্তর দেওয়ার সঠিকতা মূল্যায়ন করা

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

বিষাক্ততা পরীক্ষার মূল আবিষ্কার

পেরেটো সর্বোত্তমতা: SLUNG পদ্ধতি বোঝা-উৎপাদন ট্রেড-অফে পেরেটো সীমানা অর্জন করে, বিষাক্ততা বোঝার ক্ষমতা বৃদ্ধি করে এবং বিষাক্ত উৎপাদন হ্রাস করে
বোঝার ক্ষমতা উন্নতি: Masked SLUNG এবং Unlikelihood SLUNG CivilComments-এ AUROC যথাক্রমে প্রায় 0.825 এবং 0.820 অর্জন করে, Control ভিত্তিরেখার 0.810 থেকে উল্লেখযোগ্যভাবে ভাল
উৎপাদন নিরাপত্তা: উভয় SLUNG পদ্ধতির বিষাক্ত উৎপাদন স্কোর প্রায় 0.165 নিয়ন্ত্রণে থাকে, Toxic Baseline-এর 0.175 থেকে অনেক কম
নির্দেশনা সূক্ষ্ম সুর করার পরে প্রভাব অব্যাহত: নির্দেশনা সূক্ষ্ম সুর করার পরেও, SLUNG পদ্ধতি পেরেটো সর্বোত্তমতা বজায় রাখে

ডেটা স্কেল প্রভাব

বিষাক্ত ডেটা পরিমাণ 20M থেকে 320M টোকেনে বৃদ্ধির সাথে সাথে:

Masked SLUNG সর্বদা সর্বোত্তম বোঝা-উৎপাদন ট্রেড-অফ বজায় রাখে
বোঝার ক্ষমতা ডেটা পরিমাণের সাথে রৈখিকভাবে উন্নত হয়, কিন্তু বিষাক্ত উৎপাদন বৃদ্ধি ধীর
SLUNG-এর ভাল স্কেলেবিলিটি প্রমাণ করে

সত্তা শেখার পরীক্ষার ফলাফল

পদ্ধতি	নাম উৎপাদন হার↓	সম্পূর্ণ সঠিক হার↑	আংশিক সঠিক হার↑
OLMo 1B	57.5%	3.5%	15.5%
সরাসরি প্রশিক্ষণ	34.3±9.2%	28.2±0.6%	51.4±0.7%
Masked SLUNG	4.1±1.2%	20.8±1.9%	44.0±2.1%
Unlikelihood SLUNG	1.5±0.7%	22.3±2.1%	43.6±3.2%

বিলোপন পরীক্ষা

বিভ্রান্তি বিশ্লেষণ

সমস্ত পদ্ধতি Dolma ডকুমেন্টে উল্লেখযোগ্য বিভ্রান্তি পার্থক্য নেই, নির্দেশ করে যে SLUNG সাধারণ ভাষা মডেলিং ক্ষমতা ক্ষতি করে না
Masked SLUNG অ-বিষাক্ত Reddit ডকুমেন্টে সর্বনিম্ন বিভ্রান্তি রাখে
Unlikelihood SLUNG Reddit ডোমেইনে উচ্চতর বিভ্রান্তি রাখে, সম্ভবত unlikelihood ক্ষতি সেই ডোমেইনের উৎপাদন বিতরণকে প্রভাবিত করেছে বলে

কেস বিশ্লেষণ

TOFU পরীক্ষায়, SLUNG মডেল প্রশ্নের উত্তর দেওয়ার সময় সর্বনাম ("he", "she") বা বিষয় বাদ দেওয়ার উপায় ব্যবহার করতে শিখেছে, সফলভাবে সত্তার নাম উৎপাদন এড়িয়ে চলে একই সাথে তথ্যপূর্ণ তথ্য সংরক্ষণ করে।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

SLUNG সফলভাবে ভাষা মডেলের বোঝা এবং উৎপাদন ক্ষমতা আলাদা করে, নিরাপদ AI উন্নয়নের জন্য নতুন প্যারাডাইম প্রদান করে
এই পদ্ধতি বিষাক্ত সামগ্রী এবং সত্তা শেখার দুটি ভিন্ন পরিস্থিতিতে চমৎকার কর্মক্ষমতা প্রদর্শন করে, এর সার্বজনীনতা প্রমাণ করে
SLUNG মডেলগুলিকে মূলত ফিল্টার করা হত এমন উচ্চ-ঝুঁকিপূর্ণ পাঠ্য থেকে উপকৃত হতে সক্ষম করে, ডেটা ব্যবহারের দক্ষতা উন্নত করে

সীমাবদ্ধতা

গণনা বাজেট সীমাবদ্ধতা: পরীক্ষা শুরু থেকে প্রশিক্ষণের পরিবর্তে অব্যাহত প্রশিক্ষণ ব্যবহার করে, সম্ভবত পদ্ধতির সম্পূর্ণ সম্ভাবনা কম মূল্যায়ন করে
শ্রেণীবিভাজক নির্ভরতা: পদ্ধতির কার্যকারিতা ঝুঁকি সনাক্তকরণ শ্রেণীবিভাজকের গুণমানের উপর নির্ভর করে
মূল্যায়ন পরিসীমা: প্রধানত 1B প্যারামিটার মডেলে যাচাই করা, বড় আকারের মডেলের প্রভাব যাচাই করা বাকি
ডোমেইন-নির্দিষ্টতা: Unlikelihood SLUNG নির্দিষ্ট ডোমেইনের উৎপাদন ক্ষমতা প্রভাবিত করতে পারে

ভবিষ্যত দিকনির্দেশনা

বড় আকারের প্রাক-প্রশিক্ষণ: সম্পূর্ণ প্রাক-প্রশিক্ষণ সেটিংয়ে SLUNG প্রভাব মূল্যায়ন করা
আক্রমণ প্রতিরোধ গবেষণা: jailbreak আক্রমণের প্রতি SLUNG-এর প্রতিরোধ ক্ষমতা অন্বেষণ করা
শ্রেণীবিভাজক উন্নতি: আরও সঠিক ঝুঁকি সনাক্তকরণ সিস্টেম উন্নয়ন করা
তাত্ত্বিক বিশ্লেষণ: আলাদাকরণ প্রক্রিয়ার তাত্ত্বিক ভিত্তি গভীরভাবে বোঝা

গভীর মূল্যায়ন

সুবিধা

শক্তিশালী উদ্ভাবনী: প্রাক-প্রশিক্ষণ পর্যায়ে বোঝা এবং উৎপাদন আলাদাকরণ প্রথমবারের মতো বাস্তবায়ন, চিন্তাভাবনা নতুন
উচ্চ ব্যবহারিক মূল্য: AI নিরাপত্তা ক্ষেত্রে গুরুত্বপূর্ণ সমস্যা সমাধান করে, বিস্তৃত প্রয়োগ সম্ভাবনা রয়েছে
পর্যাপ্ত পরীক্ষা: দুটি ভিন্ন পরিস্থিতিতে যাচাই করা, একাধিক তুলনামূলক পদ্ধতি এবং বিলোপন পরীক্ষা অন্তর্ভুক্ত
সরল পদ্ধতি: বাস্তবায়ন তুলনামূলকভাবে সহজ, পুনরুৎপাদন এবং প্রয়োগ সহজ
স্পষ্ট তত্ত্ব: আলাদাকরণ প্রক্রিয়ার নীতি স্পষ্টভাবে বর্ণিত, গাণিতিক প্রকাশ কঠোর

অপূর্ণতা

স্কেল সীমাবদ্ধতা: পরীক্ষা প্রধানত ছোট আকারের মডেলে পরিচালিত, বড় মডেলের প্রভাব অজানা
মূল্যায়ন সীমাবদ্ধতা: বিষাক্ততা সনাক্তকরণ নির্দিষ্ট শ্রেণীবিভাজকের উপর নির্ভর করে, সম্ভাব্য পক্ষপাত থাকতে পারে
দীর্ঘমেয়াদী প্রভাব: মডেলের দীর্ঘমেয়াদী আচরণের উপর পদ্ধতির প্রভাব মূল্যায়ন করা হয়নি
গণনা খরচ: অতিরিক্ত ঝুঁকি মন্তব্য প্রয়োজন, প্রাক-প্রক্রিয়াকরণ খরচ বৃদ্ধি করে

প্রভাব

একাডেমিক অবদান: AI নিরাপত্তা গবেষণায় নতুন চিন্তাভাবনা প্রদান করে, পরবর্তী কাজ অনুপ্রাণিত করতে পারে
ব্যবহারিক মূল্য: শিল্প ভাষা মডেল উন্নয়নে সরাসরি নির্দেশনা প্রদান করে
পুনরুৎপাদনযোগ্যতা: লেখকরা কোড খোলা উৎস করার প্রতিশ্রুতি দেন, সম্প্রদায় যাচাইকরণ এবং সম্প্রসারণ সহজতর করে

প্রযোজ্য পরিস্থিতি

সামগ্রী সংযম সিস্টেম: ক্ষতিকারক সামগ্রী চিহ্নিত করতে কিন্তু উৎপন্ন না করতে প্রয়োজনীয় অ্যাপ্লিকেশন
কপিরাইট সুরক্ষা: কপিরাইট সামগ্রী শিখতে কিন্তু সরাসরি অনুলিপি এড়াতে পরিস্থিতি
সংবেদনশীল তথ্য পরিচালনা: ব্যক্তিগত তথ্য বুঝতে কিন্তু ফাঁস না করার সিস্টেম
শিক্ষামূলক অ্যাপ্লিকেশন: অনুপযুক্ত সামগ্রী শিক্ষার জন্য বুঝতে কিন্তু প্রচার না করার প্রয়োজনীয় পরিস্থিতি

তথ্যসূত্র

পেপারটি একাধিক গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

Longpre et al. (2023): প্রাক-প্রশিক্ষণ ডেটার মডেল ক্ষমতার উপর প্রভাব সম্পর্কে গবেষণা
Welleck et al. (2019): Unlikelihood প্রশিক্ষণের মূল কাজ
Soldaini et al. (2024): Dolma ডেটাসেটের নির্মাণ এবং ফিল্টারিং পদ্ধতি
Gehman et al. (2020): RealToxicityPrompts মূল্যায়ন মানদণ্ড

এই পেপারটি ভাষা মডেল নিরাপদ প্রশিক্ষণের জন্য গুরুত্বপূর্ণ পদ্ধতিগত অবদান প্রদান করে, চতুর ক্ষতি ফাংশন ডিজাইনের মাধ্যমে বোঝা এবং উৎপাদনের আলাদাকরণ বাস্তবায়ন করে, ভবিষ্যতের নিরাপদ AI গবেষণার ভিত্তি স্থাপন করে।