2025-11-29T13:22:19.384327

LoRA is All You Need for Safety Alignment of Reasoning LLMs

Xue, Mirzasoleiman
Reasoning LLMs have demonstrated remarkable breakthroughs in solving complex problems that were previously out of reach. To ensure LLMs do not assist with harmful requests, safety alignment fine-tuning is necessary in the post-training phase. However, safety alignment fine-tuning has recently been shown to significantly degrade reasoning abilities, a phenomenon known as the "Safety Tax". In this work, we show that using LoRA for SFT on refusal datasets effectively aligns the model for safety without harming its reasoning capabilities. This is because restricting the safety weight updates to a low-rank space minimizes the interference with the reasoning weights. Our extensive experiments across four benchmarks covering math, science, and coding show that this approach produces highly safe LLMs--with safety levels comparable to full-model fine-tuning--without compromising their reasoning abilities. Our ablation studies further identify three key factors in LoRA: (1) rank-$1$ updates are sufficient to achieve the best reasoning and safety performance, (2) the up projection layers are the most critical modules, with LoRA applied to them alone achieving even better results, and (3) middle layers are more effective than early or late layers. Together, these findings show that strong safety and reasoning can be achieved at minimal computational cost when updates are applied in the right places. Additionally, we observe that LoRA induces weight updates with smaller overlap with the initial weights compared to full-model fine-tuning. Finally, while our attempts to further reduce this overlap yield only modest improvements on some tasks, they highlight the potential of developing methods that more reliably optimize the reasoning-safety tradeoff.
academic

LoRA হল রিজনিং LLMগুলির নিরাপত্তা সংযোজনের জন্য সবকিছু যা আপনার প্রয়োজন

মৌলিক তথ্য

  • পেপার আইডি: 2507.17075
  • শিরোনাম: LoRA is All You Need for Safety Alignment of Reasoning LLMs
  • লেখক: Yihao Xue, Baharan Mirzasoleiman (UCLA)
  • শ্রেণীবিভাগ: cs.AI
  • প্রকাশনার সময়: জুলাই 2025 (arXiv v3: অক্টোবর 24, 2025)
  • পেপার লিঙ্ক: https://arxiv.org/abs/2507.17075
  • কোড লিঙ্ক: https://github.com/YihaoXue/lora-safety-reasoning

সারসংক্ষেপ

শক্তিশালী রিজনিং ক্ষমতা সম্পন্ন বড় ভাষা মডেলগুলি জটিল সমস্যা সমাধানে উল্লেখযোগ্য অগ্রগতি অর্জন করেছে, তবে নিরাপত্তা সংযোজন সূক্ষ্ম সুর করা প্রায়শই এর রিজনিং ক্ষমতাকে গুরুতরভাবে ক্ষতিগ্রস্ত করে, যা "নিরাপত্তা কর (" Safety Tax") নামে পরিচিত। এই পেপারটি প্রমাণ করে যে প্রত্যাখ্যান ডেটাসেটে LoRA ব্যবহার করে তত্ত্বাবধানকৃত সূক্ষ্ম সুর করা (SFT) কার্যকরভাবে নিরাপত্তা সংযোজন অর্জন করতে পারে, যখন রিজনিং ক্ষমতা অক্ষত থাকে। এটি ঘটে কারণ নিরাপত্তা ওজন আপডেটগুলিকে নিম্ন-র্যাঙ্ক স্থানে সীমাবদ্ধ করা রিজনিং ওজনের উপর হস্তক্ষেপ কমিয়ে দেয়। গণিত, বিজ্ঞান এবং প্রোগ্রামিং জুড়ে চারটি বেঞ্চমার্কে ব্যাপক পরীক্ষা-নিরীক্ষা দেখায় যে এই পদ্ধতি দ্বারা উত্পাদিত মডেলগুলি সম্পূর্ণ মডেল সূক্ষ্ম সুর করার সমতুল্য নিরাপত্তা স্তর রয়েছে, যখন শক্তিশালী রিজনিং ক্ষমতা বজায় রাখে। অ্যাবলেশন অধ্যয়ন আরও প্রকাশ করে: (1) র্যাঙ্ক-1 আপডেট সর্বোত্তম রিজনিং-নিরাপত্তা ভারসাম্যের জন্য যথেষ্ট; (2) আপ প্রজেকশন স্তর সবচেয়ে গুরুত্বপূর্ণ মডিউল; (3) মধ্য স্তরগুলি প্রাথমিক বা দেরী স্তরের চেয়ে বেশি কার্যকর।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

  1. রিজনিং মডেলের নিরাপত্তা ঝুঁকি: রিজনিং ক্ষমতা সম্পন্ন LLMগুলি (যেমন DeepSeek-R1 সিরিজ) রিজনিং সূক্ষ্ম সুর করার পরে তাদের মূল নিরাপত্তা সংযোজন হারায়, এমনকি যদি শুরুর মডেল ইতিমধ্যে নিরাপত্তা সংযোজন করা হয়েছে।
  2. "নিরাপত্তা কর" ঘটনা: পরবর্তী নিরাপত্তা সংযোজন সূক্ষ্ম সুর করা নিরাপত্তা উন্নত করে, কিন্তু মডেলের রিজনিং ক্ষমতা উল্লেখযোগ্যভাবে হ্রাস করে। এমনকি নিরাপত্তা সূক্ষ্ম সুর করার ডেটাসেটে চেইন-অফ-থট (CoT) শৈলীর রিজনিং যোগ করলেও রিজনিং ক্ষমতা সম্পূর্ণভাবে সংরক্ষণ করা যায় না।

সমস্যার গুরুত্ব

  • রিজনিং ক্ষমতা আধুনিক LLMগুলির একটি প্রধান অগ্রগতি, যা তাদের পূর্বে অপ্রাপ্য জটিল সমস্যা সমাধান করতে সক্ষম করে
  • নিরাপত্তা সংযোজন মডেল স্থাপনার জন্য প্রয়োজনীয়, নিশ্চিত করে যে মডেল ক্ষতিকারক অনুরোধে সহায়তা করবে না
  • রিজনিং এবং নিরাপত্তার মধ্যে ভারসাম্য সমস্যা মডেলের ব্যবহারিক মূল্যকে সরাসরি প্রভাবিত করে

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

  1. নির্দেশনা সূক্ষ্ম সুর করার নিরাপত্তা সুরক্ষা পদ্ধতি প্রযোজ্য নয়:
    • ডেটা ফিল্টারিং পদ্ধতি (যেমন Shen et al., 2024) প্রযোজ্য নয়, কারণ রিজনিং সূক্ষ্ম সুর করার ডেটাসেটগুলি সাধারণত সাবধানে পরিকল্পিত এবং অনিরাপদ সামগ্রী অন্তর্ভুক্ত করার সম্ভাবনা কম
    • মডেল আপডেট সীমাবদ্ধ করার পদ্ধতি (যেমন Hsu et al., 2024) অকার্যকর, কারণ রিজনিং ক্ষমতা অর্জনের জন্য দীর্ঘতর প্রশিক্ষণ এবং বৃহত্তর ওজন আপডেট প্রয়োজন
  2. সম্পূর্ণ মডেল সূক্ষ্ম সুর করার সমস্যা:
    • লেখকরা আবিষ্কার করেছেন যে সম্পূর্ণ মডেল সূক্ষ্ম সুর করা উচ্চ-র্যাঙ্ক ওজন পরিবর্তন তৈরি করে (স্থিতিশীল র্যাঙ্ক 40 থেকে 100 পর্যন্ত), চিত্র 1 এ দেখা যায়
    • এই উচ্চ-র্যাঙ্ক পরিবর্তনগুলি অনেক অপ্রয়োজনীয় সংশোধন প্রবর্তন করে, রিজনিং-সম্পর্কিত ওজনে হস্তক্ষেপ করে

গবেষণা প্রেরণা

বিদ্যমান প্রমাণ পরামর্শ দেয় যে LLMগুলিতে নিরাপত্তা-সম্পর্কিত আচরণ সাধারণত কয়েকটি প্রভাবশালী দিক দ্বারা নিয়ন্ত্রিত হয়:

  • সক্রিয়করণ স্থানে: যেমন স্টিয়ারিং ভেক্টর (Panickssery et al., 2023) বা প্রত্যাখ্যান বৈশিষ্ট্য (Arditi et al., 2024)
  • ওজন স্থানে: নিরাপত্তা-গুরুত্বপূর্ণ ওজন নিম্ন-র্যাঙ্ক সাবস্পেসে অবস্থিত হতে থাকে (Jain et al., 2024; Wei et al., 2024)

অতএব, লেখকরা অনুমান করেন যে নিম্ন-র্যাঙ্ক সংশোধন সম্পূর্ণ ওজন স্থানকে পরিবর্তন না করে নিরাপত্তা আচরণ প্ররোচিত করার জন্য যথেষ্ট হতে পারে।

মূল অবদান

  1. সহজ এবং কার্যকর সমাধান প্রস্তাব: প্রমাণ করে যে নিরাপত্তা সংযোজন সূক্ষ্ম সুর করার জন্য LoRA ব্যবহার করা রিজনিং ক্ষমতা ক্ষতিগ্রস্ত না করে শক্তিশালী নিরাপত্তা অর্জন করতে পারে, কার্যকরভাবে "নিরাপত্তা কর" বাইপাস করে।
  2. ব্যাপক পরীক্ষামূলক যাচাইকরণ:
    • 4টি বেঞ্চমার্কে যাচাইকরণ (AIME, GPQA, HumanEval+, MBPP+)
    • গণিত, বিজ্ঞান এবং প্রোগ্রামিং ক্ষেত্র জুড়ে
    • 7B এবং 14B মডেল উভয়েই কার্যকর
  3. গভীর অ্যাবলেশন অধ্যয়ন, তিনটি মূল আবিষ্কার প্রকাশ করে:
    • র্যাঙ্ক-1 আপডেট যথেষ্ট: সর্বোত্তম রিজনিং-নিরাপত্তা ভারসাম্যের জন্য সর্বনিম্ন খরচ কনফিগারেশন
    • আপ প্রজেকশন স্তর সবচেয়ে গুরুত্বপূর্ণ: শুধুমাত্র আপ প্রজেকশন স্তর আপডেট করা সম্পূর্ণ MLP আপডেট করার চেয়ে ভাল
    • মধ্য স্তর সবচেয়ে গুরুত্বপূর্ণ: 16টি মধ্য স্তর আপডেট করা সাধারণত যথেষ্ট
  4. ওজন কাঠামো বিশ্লেষণ:
    • LoRA আপডেটগুলি প্রাথমিক ওজনের সাথে ছোট ওভারল্যাপ আবিষ্কার করে
    • ওভারল্যাপ আরও হ্রাস করার পদ্ধতি অন্বেষণ করা হয়েছে, কিছু কাজে মধ্যম উন্নতি অর্জন করে
  5. "এক পাথরে তিনটি পাখি": শক্তিশালী নিরাপত্তা, শক্তিশালী রিজনিং ক্ষমতা এবং গণনামূলক দক্ষতা একসাথে অর্জন করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

  • ইনপুট: রিজনিং ক্ষমতা সম্পন্ন ভাষা মডেল
  • লক্ষ্য: নিরাপত্তা সংযোজন সূক্ষ্ম সুর করার মাধ্যমে, মডেলকে ক্ষতিকারক অনুরোধ প্রত্যাখ্যান করতে সক্ষম করা, যখন রিজনিং ক্ষমতা বজায় রাখা
  • সীমাবদ্ধতা: মূল রিজনিং ওজনের উপর হস্তক্ষেপ কমানো

LoRA মূল নীতি

LoRA (Low-Rank Adaptation) প্রশিক্ষণযোগ্য নিম্ন-র্যাঙ্ক ম্যাট্রিক্স ইনজেক্ট করে ওজন সংশোধন করে, যখন মূল ওজন হিমায়িত থাকে:

W′=W+ΔW,যেখানেΔW=αrBAW' = W + \Delta W, \quad \text{যেখানে} \quad \Delta W = \frac{\alpha}{r}BA

যেখানে:

  • B∈Rd×rB \in \mathbb{R}^{d \times r} এবং A∈Rr×kA \in \mathbb{R}^{r \times k} প্রশিক্ষণযোগ্য নিম্ন-র্যাঙ্ক ম্যাট্রিক্স
  • r≪min⁡(d,k)r \ll \min(d, k) র্যাঙ্ক
  • αr\frac{\alpha}{r} স্কেলিং ফ্যাক্টর, α\alpha হাইপারপ্যারামিটার

পদ্ধতির সুবিধা বিশ্লেষণ

  1. নিম্ন-র্যাঙ্ক সীমাবদ্ধতা: আপডেটগুলিকে নিম্ন-র্যাঙ্ক সাবস্পেসে সীমাবদ্ধ করা, মূল ওজনের উপর হস্তক্ষেপ উল্লেখযোগ্যভাবে হ্রাস করে
  2. নিরাপত্তা প্রক্রিয়ার সাথে সামঞ্জস্য:
    • নিরাপত্তা আচরণ সাধারণত একক বা কয়েকটি দিক দ্বারা নিয়ন্ত্রিত হয়
    • নিম্ন-র্যাঙ্ক সংশোধন নিরাপত্তা সংযোজনের জন্য যথেষ্ট
    • সম্পূর্ণ মডেল সূক্ষ্ম সুর করার উচ্চ-র্যাঙ্ক, অপ্রয়োজনীয় পরিবর্তন এড়ায়
  3. গণনামূলক দক্ষতা:
    • প্যারামিটার সংখ্যা উল্লেখযোগ্যভাবে হ্রাস
    • প্রশিক্ষণ খরচ এবং মেমরি ব্যবহার উল্লেখযোগ্যভাবে হ্রাস

প্রশিক্ষণ কৌশল

সম্পূর্ণ মডেল সূক্ষ্ম সুর করার ভিত্তি:

  • 5টি epoch প্রশিক্ষণ
  • সমস্ত প্যারামিটার মান গ্রেডিয়েন্ট অপটিমাইজেশনের মাধ্যমে আপডেট

LoRA সূক্ষ্ম সুর করা:

  • 10টি epoch প্রশিক্ষণ
  • শুধুমাত্র নিম্ন-র্যাঙ্ক ম্যাট্রিক্স B এবং A আপডেট
  • ডিফল্ট কনফিগারেশন: শুধুমাত্র MLP স্তরে প্রয়োগ, র্যাঙ্ক r=1

পরীক্ষামূলক সেটআপ

মডেল

  • DeepSeek-R1-Distill-Qwen-7B: 7B প্যারামিটার রিজনিং মডেল
  • DeepSeek-R1-Distill-Qwen-14B: 14B প্যারামিটার রিজনিং মডেল
  • Llama-Guard-3-8B: নিরাপত্তা মূল্যায়নের জন্য, Jiang et al. (2025) দ্বারা সবচেয়ে শক্তিশালী নিরাপত্তা মূল্যায়নকারী হিসাবে প্রমাণিত

ডেটাসেট

নিরাপত্তা সূক্ষ্ম সুর করার ডেটাসেট:

  • DirectRefusal: Rosati et al. (2024) থেকে অভিযোজিত, Huang et al. (2025) দ্বারা সামঞ্জস্যপূর্ণ
  • ক্ষতিকারক অনুরোধ জোড়ার প্রত্যাখ্যান প্রতিক্রিয়া অন্তর্ভুক্ত
  • প্রতিটি প্রতিক্রিয়ায় সংক্ষিপ্ত চিন্তা ("আমার এই প্রশ্নের উত্তর দেওয়া উচিত নয়!") + প্রত্যাখ্যান প্রতিক্রিয়া অন্তর্ভুক্ত

নিরাপত্তা মূল্যায়ন ডেটাসেট:

  • StrongREJECT (Souly et al., 2024): 310টি নীতি লঙ্ঘনকারী প্রশ্ন

রিজনিং বেঞ্চমার্ক:

  1. AIME 2024: আমেরিকান গণিত আমন্ত্রণ পরীক্ষা, গণিত রিজনিং মূল্যায়ন
  2. GPQA-diamond (Rein et al., 2024): স্নাতক-স্তরের বৈজ্ঞানিক প্রশ্ন
  3. HumanEval+ (Chen et al., 2021 + Liu et al., 2023): কোড জেনারেশন বেঞ্চমার্কের উন্নত সংস্করণ
  4. MBPP+ (Austin et al., 2021 + Liu et al., 2023): কোড জেনারেশন বেঞ্চমার্কের উন্নত সংস্করণ

মূল্যায়ন মেট্রিক্স

নিরাপত্তা:

  • Llama-Guard-3-8B ব্যবহার করে মডেল প্রতিক্রিয়া ক্ষতিকারক কিনা তা নির্ধারণ করা
  • নিরাপত্তা স্কোর: মডেল প্রতিক্রিয়া ক্ষতিকারক হিসাবে বিচার করা প্রশ্নের অনুপাত (যত কম ভাল)

রিজনিং ক্ষমতা:

  • Pass@1: প্রতিটি প্রশ্নের জন্য n=8 প্রতিক্রিয়া নমুনা, সঠিক প্রতিক্রিয়ার অনুপাত গণনা, তারপর সমস্ত প্রশ্নে গড়
  • AIME Qwen2.5-32B-Instruct মূল্যায়নকারী হিসাবে ব্যবহার করে
  • GPQA নিয়মিত অভিব্যক্তি ম্যাচিং ব্যবহার করে (বহুনির্বাচনী)
  • HumanEval+ এবং MBPP+ কোড সম্পাদন পরীক্ষা ব্যবহার করে

বাস্তবায়ন বিবরণ

7B মডেল:

  • সম্পূর্ণ মডেল সূক্ষ্ম সুর করা: 4টি GPU, প্রতি ডিভাইস batch size=2, 5 epochs
  • LoRA সূক্ষ্ম সুর করা: 2টি GPU, প্রতি ডিভাইস batch size=2, 10 epochs
  • LoRA প্যারামিটার: α=16, dropout=0.05

14B মডেল:

  • সম্পূর্ণ মডেল সূক্ষ্ম সুর করা: 8টি GPU, প্রতি ডিভাইস batch size=1, 5 epochs
  • LoRA সূক্ষ্ম সুর করা: 4টি GPU, প্রতি ডিভাইস batch size=2, 10 epochs
  • LoRA প্যারামিটার: α=16, dropout=0.05

সাধারণ সেটিং:

  • শেখার হার: 5e-5
  • ওজন ক্ষয়: 1e-4
  • প্রতিটি epoch চেকপয়েন্ট সংরক্ষণ এবং মূল্যায়ন
  • জেনারেশন তাপমাত্রা: 0.6, top-p: 0.95, সর্বাধিক টোকেন: 32,768

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল (LoRA "নিরাপত্তা কর" বাইপাস করে)

চিত্র 2 বিভিন্ন চেকপয়েন্ট (epochs) এ রিজনিং কর্মক্ষমতা এবং নিরাপত্তা দেখায়:

7B মডেল:

  • ভিত্তি মডেল: উচ্চ নির্ভুলতা কিন্তু কম নিরাপত্তা
  • সম্পূর্ণ মডেল সূক্ষ্ম সুর করা: ভাল নিরাপত্তা, কিন্তু নির্ভুলতা উল্লেখযোগ্যভাবে হ্রাস (নিরাপত্তা কর স্পষ্ট)
  • LoRA সূক্ষ্ম সুর করা: রিজনিং এবং নিরাপত্তা উভয় ক্ষেত্রে শক্তিশালী কর্মক্ষমতা বজায় রাখে
    • সর্বোত্তম LoRA চেকপয়েন্ট সমস্ত কাজে ভিত্তি মডেলের চেয়ে উন্নত
    • নিরাপত্তা সম্পূর্ণ মডেল সূক্ষ্ম সুর করার চেয়ে সামান্য কম (গড় ~0.03 হ্রাস)

14B মডেল:

  • LoRA সূক্ষ্ম সুর করা ভিত্তি মডেলের তুলনায় রিজনিং নির্ভুলতায় ছোট কিন্তু সামঞ্জস্যপূর্ণ হ্রাস
  • নিরাপত্তা কর্মক্ষমতা সম্পূর্ণ মডেল সূক্ষ্ম সুর করার সমতুল্য
  • রিজনিং-নিরাপত্তা সমতলে Pareto সীমান্ত গঠন করে

মূল আবিষ্কার: LoRA "ভিত্তি মডেলের কাছাকাছি রিজনিং ক্ষমতা + সম্পূর্ণ মডেল সূক্ষ্ম সুর করার কাছাকাছি নিরাপত্তা" এর আদর্শ সমন্বয় অর্জন করে।

অ্যাবলেশন পরীক্ষা

1. র্যাঙ্কের প্রভাব (চিত্র 3)

14B মডেলে বিভিন্ন র্যাঙ্ক মান পরীক্ষা (r=1, 4, 8, 64) এবং সম্পূর্ণ মডেল সূক্ষ্ম সুর করা:

রিজনিং কর্মক্ষমতা:

  • r বৃদ্ধির সাথে সাথে রিজনিং কর্মক্ষমতা সামগ্রিকভাবে হ্রাস পায়
  • r=1 থেকে r=8 এর মধ্যে হ্রাস ছোট
  • সম্পূর্ণ মডেল সূক্ষ্ম সুর করা (সম্পূর্ণ র্যাঙ্ক) সবচেয়ে খারাপ কর্মক্ষমতা

নিরাপত্তা কর্মক্ষমতা:

  • r 4 থেকে 64 এ বৃদ্ধির সাথে উল্লেখযোগ্য হ্রাস
  • সম্পূর্ণ মডেল সূক্ষ্ম সুর করার নিরাপত্তা স্কোর r=64 এর চেয়ে ভাল
  • অনুমান: মধ্যম উচ্চ র্যাঙ্ক অপটিমাইজেশন কঠিনতা থাকতে পারে, যখন অত্যন্ত নিম্ন র্যাঙ্ক বা সম্পূর্ণ র্যাঙ্ক সেটিং অপটিমাইজ করা সহজ

Pareto সীমান্ত বিশ্লেষণ (চিত্র 3c):

  • r=1 AIME এ সর্বোত্তম ভারসাম্য অর্জন করে
  • r=1 GPQA এ সর্বোত্তমের কাছাকাছি
  • সর্বনিম্ন সূক্ষ্ম সুর করার খরচে শক্তিশালী কর্মক্ষমতা অর্জন করা সম্ভব প্রমাণ করে

তাত্ত্বিক ব্যাখ্যা: r=1 নিরাপত্তা সংযোজন কাজের নিজস্ব নিম্ন-র্যাঙ্ক প্রকৃতি প্রতিফলিত করার জন্য যথেষ্ট, একক দিক নিরাপত্তা আচরণ নিয়ন্ত্রণ করে এমন পূর্ববর্তী গবেষণার সাথে সামঞ্জস্যপূর্ণ।

2. মডিউলের প্রভাব

MLP বনাম মনোযোগ স্তর (চিত্র 4):

  • শুধুমাত্র MLP স্তরে প্রয়োগ করা মনোযোগ এবং MLP স্তর উভয়ে প্রয়োগ করার Pareto সীমান্তের সাথে অনুরূপ
  • উপসংহার: শুধুমাত্র MLP স্তর আপডেট করা যথেষ্ট

MLP অভ্যন্তরীণ প্রজেকশন স্তর (চিত্র 5): Qwen এর SwiGLU কাঠামোতে গেট, আপ, ডাউন তিনটি প্রজেকশন স্তর পরীক্ষা:

  • আপ প্রজেকশন সবচেয়ে গুরুত্বপূর্ণ:
    • শুধুমাত্র আপ প্রজেকশন আপডেট করার Pareto সীমান্ত সম্পূর্ণ MLP আপডেট করার সাথে সমতুল্য
    • HumanEval+ এবং MBPP+ এ সম্পূর্ণ MLP আপডেট করার চেয়ে ভাল
  • ডাউন প্রজেকশন সবচেয়ে খারাপ কর্মক্ষমতা
  • উপসংহার: বিভিন্ন প্রজেকশন স্তর রিজনিং-নিরাপত্তা ভারসাম্যে ভিন্নভাবে অবদান রাখে, আপ প্রজেকশন বিশেষভাবে গুরুত্বপূর্ণ এবং একা ব্যবহার যথেষ্ট

3. স্তরের প্রভাব (চিত্র 6)

48-স্তরের 14B মডেলে, শুধুমাত্র 16টি স্তর আপডেট, তিনটি কনফিগারেশন পরীক্ষা:

  • প্রাথমিক স্তর (5-20 স্তর)
  • মধ্য স্তর (17-32 স্তর)
  • দেরী স্তর (25-40 স্তর)

ফলাফল:

  • মধ্য স্তর সর্বোত্তম ভারসাম্য অর্জন করে:
    • AIME এবং GPQA এ সমস্ত স্তর আপডেট করার সাথে সমতুল্য
    • HumanEval+ এবং MBPP+ এ সমস্ত স্তর আপডেট করার চেয়ে সামান্য কম
  • প্রাথমিক বা দেরী স্তর উল্লেখযোগ্যভাবে খারাপ কর্মক্ষমতা

পূর্ববর্তী গবেষণার সাথে সংযোগ:

  • স্টিয়ারিং ভেক্টর (Panickssery et al., 2023)
  • প্রত্যাখ্যান বৈশিষ্ট্য (Arditi et al., 2024)
  • এই গবেষণাগুলি পরামর্শ দেয় যে নিরাপত্তা আচরণের জন্য দায়ী মধ্য প্রতিনিধিত্ব দিকগুলি মধ্য স্তরে সবচেয়ে বিশিষ্ট

ওজন কাঠামো বিশ্লেষণ

LoRA আপডেট এবং প্রাথমিক ওজনের ওভারল্যাপ (চিত্র 7)

ওভারল্যাপ পরিমাণ করার জন্য চারটি মেট্রিক সংজ্ঞায়িত:

  1. ∥WI⊤ΔW∥∥WI∥∥ΔW∥\frac{\|W_I^\top \Delta W\|}{\|W_I\|\|\Delta W\|}: কলাম স্থানের ম্যাট্রিক্স-স্তরের কোসাইন সাদৃশ্য
  2. ∥U16U16⊤ΔW∥∥ΔW∥\frac{\|U_{16}U_{16}^\top \Delta W\|}{\|\Delta W\|}: WIW_I এর শীর্ষ 16 প্রধান দিকে প্রজেকশন
  3. ∥WIΔW⊤∥∥WI∥∥ΔW∥\frac{\|W_I \Delta W^\top\|}{\|W_I\|\|\Delta W\|}: সারি স্থানের সাদৃশ্য
  4. ∥V16V16⊤ΔW⊤∥∥ΔW∥\frac{\|V_{16}V_{16}^\top \Delta W^\top\|}{\|\Delta W\|}: সারি স্থানের প্রজেকশন

সেটিং তুলনা: সম্পূর্ণ মডেল সূক্ষ্ম সুর করা বনাম LoRA (r=4, মনোযোগ এবং MLP এ প্রয়োগ)

আবিষ্কার:

  • LoRA বেশিরভাগ মডিউলে ছোট ওভারল্যাপ অর্জন করে (কয়েকটি ব্যতিক্রম)
  • কলাম এবং সারি স্থান উভয়ে আরও অর্থোগোনাল
  • LoRA এর নিরাপত্তা-নির্দেশিত আপডেট মূল রিজনিং-সম্পর্কিত ওজন ব্যবহার করা সাবস্পেস থেকে আরও বিচ্ছিন্ন
  • যদিও ওভারল্যাপ মানের হ্রাস কখনও কখনও ছোট, এটি পরামর্শ দেয় যে LoRA আপডেট রিজনিং-সম্পর্কিত উপাদানে কম হস্তক্ষেপ করে

ওভারল্যাপ আরও হ্রাস করার পদ্ধতি (চিত্র 8)

দুটি পদ্ধতি:

  1. নিয়মিতকরণ (Regularization):
    • reg-col: প্রশিক্ষণে শাস্তি পদ β(∥WI⊤ΔW∥∥WI∥∥ΔW∥)2\beta(\frac{\|W_I^\top \Delta W\|}{\|W_I\|\|\Delta W\|})^2 যোগ করা
    • reg-both: কলাম এবং সারি স্থানের ওভারল্যাপ উভয়ে শাস্তি দেওয়া
    • সেটিং β=1
  2. পোস্ট-প্রসেসিং অর্থোগোনালাইজেশন (OrthoMerge):
    • OrthoMerge-col: ΔW←(I−UkUk⊤)ΔW\Delta W \leftarrow (I - U_k U_k^\top)\Delta W
    • OrthoMerge-both: ΔW←λ(I−UkUk⊤)ΔW(I−VkVk⊤)\Delta W \leftarrow \lambda(I - U_k U_k^\top)\Delta W(I - V_k V_k^\top)
    • নিরাপত্তা ক্ষতি ক্ষতিপূরণ করতে স্কেলিং ফ্যাক্টর λ ব্যবহার
    • λ ∈ {1, 1.15, 1.75, 1.2, 1.25}, k=64 পরীক্ষা

ফলাফল:

  • "both" ভেরিয়েন্ট "col" ভেরিয়েন্টের চেয়ে ভাল
  • OrthoMerge-both সবচেয়ে প্রতিশ্রুতিশীল:
    • AIME এবং GPQA এ vanilla LoRA এর চেয়ে কঠোরভাবে ভাল
    • MBPP+ এ সামান্য ভাল
    • HumanEval+ এ সামান্য খারাপ
  • সামগ্রিক উন্নতি মধ্যম এবং অসামঞ্জস্যপূর্ণ, আরও সূক্ষ্ম পদ্ধতির প্রয়োজন পরামর্শ দেয়

সম্পর্কিত কাজ

নিরাপত্তা-সংযুক্ত মডেল সূক্ষ্ম সুর করা

  • সমস্যা: নির্দেশনা সূক্ষ্ম সুর করা নিরাপত্তা হ্রাস করে (Qi et al., 2023; Hsiung et al., 2025)
  • সমাধান পদ্ধতি:
    • ডেটা ফিল্টারিং (Shen et al., 2024; Choi et al., 2024)
    • নিরাপত্তা নমুনা ইনজেকশন (Bianchi et al., 2023)
    • Guardrail মডেল ব্যবহার (Peng et al., 2025)
    • প্রম্পট টেমপ্লেটের গুরুত্ব (Lyu et al., 2024)
    • অ্যালগরিদমিক পদ্ধতি: "নিরাপত্তা সাবস্পেসে" প্রজেকশন (Hsu et al., 2024), নিয়মিতকরণ (Mukhoti et al., 2023)
  • সীমাবদ্ধতা: রিজনিং মডেলে প্রযোজ্য নয়, কারণ রিজনিং ক্ষমতার জন্য দীর্ঘতর প্রশিক্ষণ এবং বৃহত্তর ওজন আপডেট প্রয়োজন

সূক্ষ্ম সুর করার পরে নিরাপত্তা সংযোজন

  • পদ্ধতি: SFT এবং/অথবা RL (Wei et al., 2021; Ouyang et al., 2022; Rafailov et al., 2023)
  • সমস্যা: "নিরাপত্তা কর" ঘটনা (Huang et al., 2025)
    • নিরাপত্তা সংযোজন রিজনিং কর্মক্ষমতা উল্লেখযোগ্যভাবে ক্ষতিগ্রস্ত করে
    • এমনকি নিরাপত্তা সূক্ষ্ম সুর করার ডেটাসেটে CoT রিজনিং যোগ করলেও রিজনিং ক্ষমতা সম্পূর্ণভাবে সংরক্ষণ করা যায় না (Jiang et al., 2025)

এই পেপারের অবদান

প্রমাণ করে যে সহজ LoRA প্রয়োগ কর্মক্ষমতা ক্ষতিগ্রস্ত না করে রিজনিং মডেল কার্যকরভাবে সংযুক্ত করতে পারে, বিদ্যমান সাহিত্যের ফাঁক পূরণ করে।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

  1. LoRA রিজনিং LLMগুলির নিরাপত্তা সংযোজনের কার্যকর সমাধান:
    • সম্পূর্ণ মডেল সূক্ষ্ম সুর করার সমতুল্য নিরাপত্তা অর্জন করে
    • মূল মডেলের কাছাকাছি রিজনিং ক্ষমতা বজায় রাখে
    • কার্যকরভাবে "নিরাপত্তা কর" বাইপাস করে
  2. ন্যূনতম কনফিগারেশন নির্দেশিকা:
    • র্যাঙ্ক-1 যথেষ্ট: সর্বনিম্ন খরচে সর্বোত্তম ভারসাম্য অর্জন করে
    • শুধুমাত্র আপ প্রজেকশন স্তর আপডেট করা: সম্পূর্ণ MLP আপডেট করার চেয়ে ভাল
    • মধ্য স্তরে ফোকাস করা: 16টি মধ্য স্তর সাধারণত যথেষ্ট
  3. প্রক্রিয়া অন্তর্দৃষ্টি:
    • LoRA আপডেট প্রাথমিক ওজনের সাথে ছোট ওভারল্যাপ
    • নিম্ন-র্যাঙ্ক সীমাবদ্ধতা রিজনিং ওজনের উপর হস্তক্ষেপ কমায়
    • নিরাপত্তা আচরণ নিম্ন-মাত্রিক দিক দ্বারা নিয়ন্ত্রিত হয় এমন তত্ত্বের সাথে সামঞ্জস্যপূর্ণ

সীমাবদ্ধতা

  1. অবশিষ্ট কর্মক্ষমতা ব্যবধান:
    • 14B মডেল কিছু কাজে ছোট হ্রাস (AIME, HumanEval+, MBPP+)
    • ওভারল্যাপ হ্রাসের পদ্ধতি সীমিত এবং অসামঞ্জস্যপূর্ণ উন্নতি
  2. স্থাপত্য সীমাবদ্ধতা:
    • প্রধানত Qwen স্থাপত্যে পরীক্ষা
    • অন্যান্য LLM স্থাপত্যে যাচাইকরণ প্রয়োজন
  3. প্রক্রিয়া ব্যাখ্যা অপর্যাপ্ত:
    • আপ প্রজেকশন কেন এত কার্যকর তার গভীর বিশ্লেষণ অভাব
    • ওজন ওভারল্যাপ হ্রাস এবং কর্মক্ষমতা উন্নতির মধ্যে কার্যকারণ সম্পর্ক স্পষ্ট নয়
    • আরও তাত্ত্বিক বিশ্লেষণ প্রয়োজন
  4. মনোযোগ স্তর গবেষণা অপর্যাপ্ত:
    • প্রধানত MLP এ ফোকাস, মনোযোগ স্তরের সীমিত অ্যাবলেশন
    • গুরুত্বপূর্ণ আবিষ্কার মিস করা সম্ভব
  5. মূল্যায়ন সীমাবদ্ধতা:
    • নিরাপত্তা মূল্যায়ন একক মূল্যায়নকারীর উপর নির্ভর (Llama-Guard-3-8B)
    • Pass@1 মেট্রিক সম্পূর্ণ নাও হতে পারে
    • মানব মূল্যায়ন অভাব

ভবিষ্যত দিকনির্দেশনা

  1. পদ্ধতি উন্নতি:
    • রিজনিং-নিরাপত্তা ভারসাম্য অপটিমাইজ করার আরও নির্ভরযোগ্য পদ্ধতি বিকাশ
    • LoRA আপডেটের সাবস্পেস জ্যামিতি আরও ভাল নিয়ন্ত্রণ
  2. স্থাপত্য সম্প্রসারণ:
    • অন্যান্য LLM স্থাপত্যে আবিষ্কার যাচাইকরণ
    • মনোযোগ স্তরের বিস্তারিত অ্যাবলেশন গবেষণা
  3. তত্ত্ব গভীরকরণ:
    • আপ প্রজেকশনের কার্যকারিতা গভীর বোঝা
    • হস্তক্ষেপ প্রভাব ক্যাপচার করার জন্য আরও নির্ভুল মেট্রিক্স বিকাশ
  4. RL সংযোজন:
    • আবিষ্কার RL-ভিত্তিক নিরাপত্তা সংযোজন কৌশলে প্রসারিত করা
  5. প্রয়োগ অন্বেষণ:
    • অন্যান্য বহু-উদ্দেশ্য ভারসাম্য প্রয়োজনীয় পরিস্থিতিতে প্রয়োগ অন্বেষণ

গভীর মূল্যায়ন

শক্তি

  1. গুরুত্বপূর্ণ এবং ব্যবহারিক সমস্যা:
    • রিজনিং LLM স্থাপনায় মূল চ্যালেঞ্জ সরাসরি সমাধান করে
    • "নিরাপত্তা কর" ব্যবহারিক প্রয়োগে প্রকৃত সমস্যা
    • বিস্তৃত ব্যবহারিক মূল্য
  2. সহজ এবং কার্যকর পদ্ধতি:
    • বিদ্যমান LoRA প্রযুক্তি ব্যবহার, জটিল সংশোধন প্রয়োজন নেই
    • বাস্তবায়ন সহজ, শক্তিশালী পুনরুৎপাদনযোগ্যতা
    • উচ্চ গণনামূলক দক্ষতা, সহজ ব্যবহারিক স্থাপনা
  3. ব্যাপক গভীর পরীক্ষা:
    • একাধিক মডেল আকার (7B, 14B)
    • একাধিক ক্ষেত্র (গণিত, বিজ্ঞান, প্রোগ্রামিং)
    • চারটি বেঞ্চমার্ক, বিস্তৃত কভারেজ
    • বিস্তারিত অ্যাবলেশন অধ্যয়ন, স্পষ্ট কনফিগারেশন নির্দেশিকা
  4. গভীর অন্তর্দৃষ্টি:
    • র্যাঙ্ক-1 যথেষ্ট আবিষ্কার সংক্ষিপ্ত এবং শক্তিশালী
    • আপ প্রজেকশনের গুরুত্ব ভবিষ্যত গবেষণার দিকনির্দেশনা প্রদান করে
    • মধ্য স্তরের মূল ভূমিকা তত্ত্বের সাথে সামঞ্জস্যপূর্ণ
    • ওজন ওভারল্যাপ বিশ্লেষণ প্রক্রিয়া বোঝা প্রদান করে
  5. স্পষ্ট লেখা:
    • যুক্তিসঙ্গত কাঠামো, স্পষ্ট যুক্তি
    • সমৃদ্ধ চার্ট, ভাল ভিজ্যুয়ালাইজেশন প্রভাব
    • পর্যাপ্ত প্রযুক্তিগত বিবরণ, শক্তিশালী পুনরুৎপাদনযোগ্যতা

দুর্বলতা

  1. কর্মক্ষমতা ব্যবধান সম্পূর্ণভাবে নির্মূল নয়:
    • 14B মডেল কিছু কাজে ছোট হ্রাস
    • আরও অপটিমাইজেশন পদ্ধতি (OrthoMerge) সীমিত উন্নতি
    • সমস্যা সম্পূর্ণভাবে সমাধান হয়নি পরামর্শ দেয়
  2. স্থাপত্য কভারেজ সীমিত:
    • শুধুমাত্র Qwen স্থাপত্যে পরীক্ষা
    • অন্যান্য স্থাপত্য (যেমন Llama, Mistral) সাধারণীকরণ অজানা
    • সিদ্ধান্তের সর্বজনীনতা সীমাবদ্ধ করে
  3. প্রক্রিয়া ব্যাখ্যা অপর্যাপ্ত:
    • আপ প্রজেকশন কেন এত গুরুত্বপূর্ণ তার গভীর বিশ্লেষণ অভাব
    • ওজন ওভারল্যাপ হ্রাস এবং কর্মক্ষমতা উন্নতির কার্যকারণ সম্পর্ক অস্পষ্ট
    • আরও তাত্ত্বিক বিশ্লেষণ সমর্থন প্রয়োজন
  4. মনোযোগ স্তর গবেষণা অপর্যাপ্ত:
    • প্রধানত MLP, মনোযোগ স্তরের সীমিত অ্যাবলেশন
    • গুরুত্বপূর্ণ আবিষ্কার মিস করা সম্ভব
  5. মূল্যায়ন সীমাবদ্ধতা:
    • নিরাপত্তা মূল্যায়ন একক মূল্যায়নকারীর উপর নির্ভর
    • Pass@1 মেট্রিক সম্পূর্ণ নাও হতে পারে
    • মানব মূল্যায়ন অভাব

প্রভাব

  1. একাডেমিক অবদান:
    • রিজনিং মডেল নিরাপত্তা সংযোজন গবেষণায় ফাঁক পূরণ করে
    • স্পষ্ট ব্যবহারিক নির্দেশিকা প্রদান করে
    • বহু-উদ্দেশ্য অপটিমাইজেশনে LoRA এর ভূমিকা বোঝার জন্য নতুন দৃষ্টিভঙ্গি প্রদান করে
    • পরবর্তী গবেষণা ট্রিগার করার প্রত্যাশা
  2. ব্যবহারিক মূল্য:
    • সরাসরি ব্যবহারিক মডেল স্থাপনায় প্রয়োগযোগ্য
    • নিরাপত্তা সংযোজনের গণনামূলক খরচ হ্রাস করে
    • রিজনিং মডেলের ব্যবহারযোগ্যতা উন্নত করে
    • শিল্পের জন্য গুরুত্বপূর্ণ রেফারেন্স মূল্য
  3. পুনরুৎপাদনযোগ্যতা:
    • কোড ওপেন সোর্স (GitHub)
    • পরীক্ষামূলক বিবরণ পর্যাপ্ত
    • জনসাধারণ ডেটাসেট এবং মডেল ব্যবহার করে
    • যাচাইকরণ এবং সম্প্রসারণ সহজ

প্রযোজ্য পরিস্থিতি

  1. রিজনিং LLMগুলির নিরাপত্তা সংযোজন:
    • গণিত রিজনিং মডেল (যেমন গণিত সমস্যা সমাধান সহায়ক)
    • বৈজ্ঞানিক রিজনিং মডেল (যেমন গবেষণা সহায়ক)
    • কোড জেনারেশন মডেল (যেমন প্রোগ্রামিং সহায়ক)
  2. সম্পদ-সীমিত পরিবেশ:
    • কম খরচ সূক্ষ্ম সুর করা প্রয়োজনীয় পরিস্থিতি
    • মেমরি-সীমিত স্থাপনা পরিবেশ
    • দ্রুত পুনরাবৃত্তি উন্নয়ন প্রবাহ
  3. বহু-উদ্দেশ্য অপটিমাইজেশন পরিস্থিতি:
    • একাধিক উদ্দেশ্য ভারসাম্য প্রয়োজনীয় সূক্ষ্ম সুর করা কাজ
    • মূল ক্ষমতা সংরক্ষণ করে নতুন ক্ষমতা যোগ করা
    • সাধারণ ক্ষমতা ক্ষতিগ্রস্ত না করে ডোমেইন অভিযোজন
  4. অপ্রযোজ্য পরিস্থিতি:
    • কর্মক্ষমতা ব্যবধান সম্পূর্ণভাবে নির্মূল করা প্রয়োজনীয় গুরুত্বপূর্ণ প্রয়োগ
    • অ-Qwen স্থাপত্য মডেল (যাচাইকরণ প্রয়োজন)
    • বড় সংখ্যক প্যারামিটার আপডেট প্রয়োজনীয় মৌলিক রূপান্তর

রেফারেন্স

মূল উদ্ধৃতি:

  1. Huang et al., 2025: "Safety Tax: Safety alignment makes your large reasoning models less reasonable" - প্রথম "নিরাপত্তা কর" ঘটনা সিস্টেমেটিকভাবে বর্ণনা করে
  2. Jiang et al., 2025: "SafeChain: Safety of language models with long chain-of-thought reasoning capabilities" - রিজনিং মডেলের নিরাপত্তা ঝুঁকি রিপোর্ট করে
  3. Hu et al., 2022: "LoRA: Low-Rank Adaptation of Large Language Models" - LoRA মূল পেপার
  4. Panickssery et al., 2023: "Steering llama 2 via contrastive activation addition" - স্টিয়ারিং ভেক্টর গবেষণা
  5. Arditi et al., 2024: "Refusal in language models is mediated by a single direction" - প্রত্যাখ্যান বৈশিষ্ট্য গবেষণা
  6. Jain et al., 2024: "What makes and breaks safety fine-tuning? a mechanistic study" - নিরাপত্তা সূক্ষ্ম সুর করার প্রক্রিয়া গবেষণা
  7. Wei et al., 2024: "Assessing the brittleness of safety alignment via pruning and low-rank modifications" - নিরাপত্তা সংযোজনের ভঙ্গুরতা গবেষণা

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের গবেষণা পেপার, যা রিজনিং LLMগুলির নিরাপত্তা সংযোজনের এই গুরুত্বপূর্ণ সমস্যার জন্য একটি সহজ এবং কার্যকর সমাধান প্রস্তাব করে। যদিও কিছু সীমাবদ্ধতা রয়েছে (যেমন কর্মক্ষমতা ব্যবধান সম্পূর্ণভাবে নির্মূল নয়, স্থাপত্য কভারেজ সীমিত), এর মূল অবদান দৃঢ়, পরীক্ষা ব্যাপক, অন্তর্দৃষ্টি গভীর, এবং একাডেমিক এবং শিল্প উভয়ের জন্য গুরুত্বপূর্ণ মূল্য রয়েছে। বিশেষত র্যাঙ্ক-1 যথেষ্ট, আপ প্রজেকশন মূল, মধ্য স্তর গুরুত্বপূর্ণ এই তিনটি আবিষ্কার ভবিষ্যত গবেষণা এবং ব্যবহারিক প্রয়োগের জন্য স্পষ্ট নির্দেশনা প্রদান করে।