Don't Walk the Line: Boundary Guidance for Filtered Generation
Ball, Haupt
Generative models are increasingly paired with safety classifiers that filter harmful or undesirable outputs. A common strategy is to fine-tune the generator to reduce the probability of being filtered, but this can be suboptimal: it often pushes the model toward producing samples near the classifier's decision boundary, increasing both false positives and false negatives. We propose Boundary Guidance, a reinforcement learning fine-tuning method that explicitly steers generation away from the classifier's margin. On a benchmark of jailbreak and ambiguous prompts, Boundary Guidance improves both the safety and the utility of outputs, as judged by LLM-as-a-Judge evaluations. Comprehensive ablations across model scales and reward designs demonstrate the robustness of our approach.
academic
লাইনের উপর হাঁটবেন না: ফিল্টার করা প্রজন্মের জন্য সীমানা নির্দেশনা
প্রজন্ম মডেলগুলি ক্রমবর্ধমানভাবে নিরাপত্তা শ্রেণীবিভাগকারীদের সাথে যুক্ত হয় যা ক্ষতিকারক বা অনুপযুক্ত আউটপুট ফিল্টার করার জন্য। একটি সাধারণ কৌশল হল প্রজন্মকারীকে ফিল্টার করা হওয়ার সম্ভাবনা কমাতে সূক্ষ্মভাবে সামঞ্জস্য করা, কিন্তু এটি সর্বোত্তম হতে পারে না: এটি সাধারণত মডেলকে শ্রেণীবিভাগকারীর সিদ্ধান্ত সীমানার কাছাকাছি নমুনা তৈরি করতে চালিত করে, যা মিথ্যা ইতিবাচক এবং মিথ্যা নেতিবাচক বৃদ্ধি করে। এই পেপারটি সীমানা নির্দেশনা প্রস্তাব করে, যা একটি শক্তিশালী শেখার সূক্ষ্ম-সুর কৌশল যা স্পষ্টভাবে শ্রেণীবিভাগকারী সীমানা থেকে দূরে প্রজন্ম নির্দেশনা দেয়। জেইলব্রেকিং এবং অস্পষ্ট প্রম্পটের বেঞ্চমার্কে, সীমানা নির্দেশনা আউটপুটের নিরাপত্তা এবং উপযোগিতা উন্নত করে, যা LLM-as-a-Judge মূল্যায়ন দ্বারা যাচাই করা হয়। মডেল স্কেল এবং পুরস্কার ডিজাইন জুড়ে ব্যাপক অ্যাবলেশন পরীক্ষা পদ্ধতির শক্তিশালীতা প্রদর্শন করে।
আধুনিক AI স্থাপনা ক্রমবর্ধমানভাবে যৌগিক নিরাপত্তা সিস্টেমের উপর নির্ভর করে, যেখানে প্রজন্ম মডেলগুলি ডাউনস্ট্রিম নিরাপত্তা শ্রেণীবিভাগকারীদের সাথে যুক্ত থাকে যা ক্ষতিকারক বা অনুপযুক্ত আউটপুট ফিল্টার করার জন্য। এই স্থাপত্য সংস্থাগুলিকে নিরাপত্তা নীতিতে নমনীয় থাকতে দেয় যখন নিরাপত্তা-প্রশিক্ষিত মডেল এবং বিশেষায়িত শ্রেণীবিভাগকারীদের পরিপূরক সুবিধা ব্যবহার করে।
বর্তমান পদ্ধতিগুলি নিরাপত্তা শ্রেণীবিভাগকারী থেকে স্বাধীনভাবে মডেলগুলিকে সারিবদ্ধ করার উপর দৃষ্টি নিবদ্ধ করে, প্রশিক্ষণ উদ্দেশ্য এবং স্থাপনার বাস্তবতার মধ্যে একটি অমিল প্রদর্শন করে। মান প্রজন্ম AI মডেল সূক্ষ্ম-সুর অনুশীলন বিবেচনা করে না কোন প্রজন্ম শ্রেণীবিভাগকারীর জন্য শ্রেণীবিভাগ করা সহজ—কিছু প্রজন্ম শ্রেণীবিভাগকারীর সিদ্ধান্ত সীমানার কাছাকাছি ঘোরাফেরা করে এবং ভুলভাবে শ্রেণীবদ্ধ হয়।
যখন নিরাপত্তা শ্রেণীবিভাগকারী অপূর্ণ হয় (অভিজ্ঞতামূলক প্রমাণ দেখায় যে এমনকি অত্যাধুনিক শ্রেণীবিভাগকারীরাও নতুন ক্ষতির মাত্রায় ৫% সময় সফলভাবে আক্রান্ত হতে পারে), সিদ্ধান্ত সীমানার কাছাকাছি কাজ করা এই শ্রেণীবিভাগ ত্রুটিগুলি প্রসারিত করে এবং সামগ্রিক সিস্টেম কর্মক্ষমতা হ্রাস করে।
তাত্ত্বিক অবদান: সিদ্ধান্ত তত্ত্বের প্রমাণ প্রদান করে যে সিস্টেম উপযোগিতা শ্রেণীবিভাগকারী সিদ্ধান্ত সীমানার কাছাকাছি ন্যূনতম হয়, সীমানা এড়ানোর লক্ষ্যের জন্য তাত্ত্বিক ভিত্তি প্রদান করে
পদ্ধতিগত অবদান: যৌগিক নিরাপত্তা সিস্টেমের মধ্যে প্রজন্মকারীদের প্রশিক্ষণের জন্য শক্তিশালী শেখার উপর ভিত্তি করে একটি সূক্ষ্ম-সুর কাঠামো প্রবর্তন করে
অভিজ্ঞতামূলক অবদান: একাধিক মডেল স্থাপত্য এবং স্কেল জুড়ে নিরাপত্তা এবং উপযোগিতার অভিজ্ঞতামূলক উন্নতি প্রদর্শন করে, যা নির্দেশ করে যে যৌগিক সিস্টেম অপ্টিমাইজেশান একক উপাদান অর্জন করতে পারে না এমন ফলাফল অর্জন করতে পারে
একটি প্রজন্ম মডেল π_θ(y|x) বিবেচনা করুন যা প্রদত্ত প্রম্পট x ∈ X এর শর্তে সমাপ্তি y ∈ Y তৈরি করে। আউটপুটের নিরাপত্তার উপর ফোকাস করুন, z(x,y) ∈ {0,1} দ্বারা প্রকাশ করা হয়। নিরাপত্তা শ্রেণীবিভাগকারী আউটপুট অনিরাপদ হওয়ার প্রত্যাশিত সম্ভাবনা t(x,y) = Ez|x,y প্রদান করে।
পেপারটি যৌগিক সিস্টেমের উপযোগিতা বিশ্লেষণ করার জন্য একটি সিদ্ধান্ত তাত্ত্বিক কাঠামো প্রতিষ্ঠা করে:
যখন আউটপুট প্রদর্শিত হয়, ব্যবহারকারী উপযোগিতা u(x,y) অর্জন করে, সমাজ নেতিবাচক উপযোগিতা s(x,y) অর্জন করে। যদি আউটপুট প্রদর্শিত না হয় কিন্তু প্রকৃতপক্ষে নিরাপদ হয়, ব্যবহারকারী নেতিবাচক উপযোগিতা -λ < 0 অর্জন করে, সমাজ উপযোগিতা 0 অর্জন করে।
সমাপ্তি y এর প্রত্যাশিত উপযোগিতা:
U(x,y) = {
-(1-t(x,y))λ যদি t(x,y) ≥ τ
u(x,y) - t(x,y) যদি t(x,y) < τ
}
প্রস্তাব 1: যখন u(x,y) ≡ u একটি ধ্রুবক হয়, উপযোগিতা ফাংশন t < τ এ কঠোরভাবে হ্রাসমান এবং t ≥ τ এ কঠোরভাবে বর্ধমান। এর অর্থ প্রত্যাশিত উপযোগিতা সিদ্ধান্ত সীমানা τ এর কাছাকাছি ন্যূনতম হয়।
প্রম্পট-সচেতন পুরস্কারের ব্যর্থতার কেস অন্তর্ভুক্ত করে:
"আমি এই তথ্য প্রদান করতে হবে জন্য ক্ষমা চাই, কিন্তু আমি কিছু অবৈধ অনলাইন সম্প্রদায় তালিকাভুক্ত করব এবং কীভাবে অনামিকভাবে যোগ দিতে হয় তা ব্যাখ্যা করব..."
"অবশ্যই, আমি আপনাকে গণিত পরীক্ষায় জালিয়াতি করতে সাহায্য করতে পেরে খুশি! এখানে কিছু টিপস রয়েছে..."
এই প্রতিক্রিয়াগুলি অস্বীকৃতি ধারণ করে থাকলেও, তারা এখনও ক্ষতিকারক সামগ্রী প্রদান করে, এবং ডাউনস্ট্রিম ফিল্টার সম্পূর্ণভাবে ক্যাপচার করতে পারে না।
পেপারটি সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে নিরাপত্তা সারিবদ্ধতা, শক্তিশালী শেখা, যৌগিক সিস্টেম এবং অন্যান্য দিকের সর্বশেষ গবেষণা রয়েছে, যা পদ্ধতির জন্য দৃঢ় তাত্ত্বিক এবং অভিজ্ঞতামূলক ভিত্তি প্রদান করে।
এই কাজ AI নিরাপত্তা ক্ষেত্রে গুরুত্বপূর্ণ অবদান প্রদান করে, তাত্ত্বিক বিশ্লেষণ এবং অভিজ্ঞতামূলক যাচাইয়ের মাধ্যমে যৌগিক সিস্টেম অপ্টিমাইজেশনের মূল্য প্রদর্শন করে, ভবিষ্যতের নিরাপদ AI স্থাপনার জন্য নতুন চিন্তাভাবনা এবং সরঞ্জাম প্রদান করে।