2025-11-29T13:22:19.384327

LoRA is All You Need for Safety Alignment of Reasoning LLMs

Xue, Mirzasoleiman
Reasoning LLMs have demonstrated remarkable breakthroughs in solving complex problems that were previously out of reach. To ensure LLMs do not assist with harmful requests, safety alignment fine-tuning is necessary in the post-training phase. However, safety alignment fine-tuning has recently been shown to significantly degrade reasoning abilities, a phenomenon known as the "Safety Tax". In this work, we show that using LoRA for SFT on refusal datasets effectively aligns the model for safety without harming its reasoning capabilities. This is because restricting the safety weight updates to a low-rank space minimizes the interference with the reasoning weights. Our extensive experiments across four benchmarks covering math, science, and coding show that this approach produces highly safe LLMs--with safety levels comparable to full-model fine-tuning--without compromising their reasoning abilities. Our ablation studies further identify three key factors in LoRA: (1) rank-$1$ updates are sufficient to achieve the best reasoning and safety performance, (2) the up projection layers are the most critical modules, with LoRA applied to them alone achieving even better results, and (3) middle layers are more effective than early or late layers. Together, these findings show that strong safety and reasoning can be achieved at minimal computational cost when updates are applied in the right places. Additionally, we observe that LoRA induces weight updates with smaller overlap with the initial weights compared to full-model fine-tuning. Finally, while our attempts to further reduce this overlap yield only modest improvements on some tasks, they highlight the potential of developing methods that more reliably optimize the reasoning-safety tradeoff.
academic

LoRA सभी कुछ है तर्क LLMs की सुरक्षा संरेखण के लिए

मूल जानकारी

  • पेपर ID: 2507.17075
  • शीर्षक: LoRA is All You Need for Safety Alignment of Reasoning LLMs
  • लेखक: Yihao Xue, Baharan Mirzasoleiman (UCLA)
  • वर्गीकरण: cs.AI
  • प्रकाशन समय: जुलाई 2025 (arXiv v3: 24 अक्टूबर 2025)
  • पेपर लिंक: https://arxiv.org/abs/2507.17075
  • कोड लिंक: https://github.com/YihaoXue/lora-safety-reasoning

सारांश

तर्क क्षमता वाले बड़े भाषा मॉडल जटिल समस्याओं को हल करने में महत्वपूर्ण सफलता प्राप्त कर रहे हैं, लेकिन सुरक्षा संरेखण सूक्ष्म-समायोजन अक्सर उनकी तर्क क्षमता को गंभीर रूप से नुकसान पहुंचाता है, इस घटना को "सुरक्षा कर" (Safety Tax) कहा जाता है। यह पेपर प्रमाणित करता है कि अस्वीकृति डेटासेट पर पर्यवेक्षित सूक्ष्म-समायोजन (SFT) के लिए LoRA का उपयोग करके सुरक्षा संरेखण प्रभावी ढंग से प्राप्त किया जा सकता है, जबकि तर्क क्षमता को नुकसान नहीं पहुंचता। ऐसा इसलिए है क्योंकि सुरक्षा वजन अपडेट को निम्न-रैंक स्पेस में सीमित करना तर्क वजन में हस्तक्षेप को कम करता है। गणित, विज्ञान और प्रोग्रामिंग के चार बेंचमार्क में व्यापक प्रयोग दिखाते हैं कि यह विधि पूर्ण-मॉडल सूक्ष्म-समायोजन के समान सुरक्षा स्तर वाले मॉडल का उत्पादन करती है, जबकि मजबूत तर्क क्षमता को बनाए रखती है। विलोपन अध्ययन आगे पाते हैं: (1) rank-1 अपडेट सर्वोत्तम तर्क-सुरक्षा संतुलन के लिए पर्याप्त है; (2) up projection परत सबसे महत्वपूर्ण मॉड्यूल है; (3) मध्य परतें प्रारंभिक या देर की परतों की तुलना में अधिक प्रभावी हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

मुख्य समस्या

  1. तर्क मॉडल के सुरक्षा जोखिम: तर्क क्षमता वाले LLMs (जैसे DeepSeek-R1 श्रृंखला) तर्क सूक्ष्म-समायोजन के बाद अपनी मूल सुरक्षा संरेखण को खो देते हैं, भले ही प्रारंभिक मॉडल पहले से ही सुरक्षा-संरेखित हो।
  2. "सुरक्षा कर" घटना: बाद का सुरक्षा संरेखण सूक्ष्म-समायोजन हालांकि सुरक्षा में सुधार कर सकता है, लेकिन मॉडल की तर्क क्षमता को काफी कम कर देता है। यहां तक कि सुरक्षा सूक्ष्म-समायोजन डेटासेट में श्रृंखला-विचार (CoT) शैली तर्क जोड़ने से भी तर्क क्षमता को पूरी तरह से संरक्षित नहीं किया जा सकता।

समस्या की महत्ता

  • तर्क क्षमता आधुनिक LLMs में एक बड़ी सफलता है, जो उन्हें पहले अप्राप्य जटिल समस्याओं को हल करने में सक्षम बनाती है
  • सुरक्षा संरेखण मॉडल तैनाती के लिए आवश्यक है, यह सुनिश्चित करता है कि मॉडल हानिकारक अनुरोधों में सहायता नहीं करेगा
  • तर्क और सुरक्षा के बीच व्यापार-बंद समस्या सीधे मॉडल के व्यावहारिक मूल्य को प्रभावित करती है

मौजूदा विधियों की सीमाएं

  1. निर्देश सूक्ष्म-समायोजन की सुरक्षा सुरक्षा विधियां लागू नहीं होती:
    • डेटा फ़िल्टरिंग विधियां (जैसे Shen et al., 2024) लागू नहीं होती, क्योंकि तर्क सूक्ष्म-समायोजन डेटासेट आमतौर पर सावधानीपूर्वक योजना बनाए जाते हैं और असुरक्षित सामग्री शामिल होने की संभावना कम होती है
    • मॉडल अपडेट को सीमित करने की विधियां (जैसे Hsu et al., 2024) अप्रभावी हैं, क्योंकि तर्क क्षमता प्राप्त करने के लिए लंबे प्रशिक्षण और बड़े वजन अपडेट की आवश्यकता होती है
  2. पूर्ण-मॉडल सूक्ष्म-समायोजन की समस्याएं:
    • लेखकों ने पाया कि पूर्ण-मॉडल सूक्ष्म-समायोजन उच्च-रैंक वजन परिवर्तन की ओर जाता है (स्थिर रैंक 40 से 100 तक)
    • ये उच्च-रैंक परिवर्तन कई अनावश्यक संशोधन पेश करते हैं, जो तर्क-संबंधित वजन में हस्तक्षेप करते हैं

अनुसंधान प्रेरणा

मौजूदा साक्ष्य से पता चलता है कि LLMs में सुरक्षा-संबंधित व्यवहार आमतौर पर कुछ प्रमुख दिशाओं द्वारा नियंत्रित होते हैं:

  • सक्रियण स्पेस में: जैसे steering vectors (Panickssery et al., 2023) या refusal features (Arditi et al., 2024)
  • वजन स्पेस में: सुरक्षा-महत्वपूर्ण वजन निम्न-रैंक उप-स्पेस में स्थित होते हैं (Jain et al., 2024; Wei et al., 2024)

इसलिए, लेखकों को संदेह है कि निम्न-रैंक संशोधन सुरक्षा व्यवहार को प्रेरित करने के लिए पर्याप्त हो सकते हैं, पूरे वजन स्पेस को बदले बिना।

मुख्य योगदान

  1. सरल और प्रभावी समाधान प्रस्तावित करें: यह प्रमाणित करता है कि सुरक्षा संरेखण सूक्ष्म-समायोजन के लिए LoRA का उपयोग करके तर्क क्षमता को नुकसान पहुंचाए बिना मजबूत सुरक्षा प्राप्त की जा सकती है, प्रभावी रूप से "सुरक्षा कर" को दरकिनार करता है।
  2. व्यापक प्रायोगिक सत्यापन:
    • 4 बेंचमार्क (AIME, GPQA, HumanEval+, MBPP+) पर सत्यापन
    • गणित, विज्ञान और प्रोग्रामिंग क्षेत्रों को कवर करता है
    • 7B और 14B मॉडल दोनों पर प्रभावी
  3. गहन विलोपन अध्ययन, तीन मुख्य निष्कर्ष प्रकट करता है:
    • Rank-1 अपडेट पर्याप्त है: सर्वोत्तम तर्क-सुरक्षा संतुलन के लिए न्यूनतम लागत कॉन्फ़िगरेशन
    • Up projection परत सबसे महत्वपूर्ण है: केवल up projection परत को अपडेट करना पूरे MLP को अपडेट करने से भी बेहतर है
    • मध्य परतें सबसे महत्वपूर्ण हैं: 16 मध्य परतों को अपडेट करना आमतौर पर पर्याप्त है
  4. वजन संरचना विश्लेषण:
    • LoRA अपडेट को प्रारंभिक वजन के साथ कम ओवरलैप पाया
    • ओवरलैप को और कम करने के तरीकों की खोज की, कुछ कार्यों पर मामूली सुधार प्राप्त किए
  5. "एक पत्थर से तीन पक्षी": मजबूत सुरक्षा, मजबूत तर्क क्षमता और कम्प्यूटेशनल दक्षता को एक साथ प्राप्त करता है

विधि विवरण

कार्य परिभाषा

  • इनपुट: तर्क क्षमता वाला भाषा मॉडल (reasoning-capable LLM)
  • उद्देश्य: सुरक्षा संरेखण सूक्ष्म-समायोजन के माध्यम से, मॉडल को हानिकारक अनुरोधों को अस्वीकार करने में सक्षम बनाना, जबकि तर्क क्षमता को बनाए रखना
  • बाधा: मूल तर्क वजन में हस्तक्षेप को कम करना

LoRA मुख्य सिद्धांत

LoRA (Low-Rank Adaptation) प्रशिक्षणीय निम्न-रैंक मैट्रिक्स को इंजेक्ट करके वजन को संशोधित करता है, जबकि मूल वजन को फ्रीज रखता है:

W′=W+ΔW,जहांΔW=αrBAW' = W + \Delta W, \quad \text{जहां} \quad \Delta W = \frac{\alpha}{r}BA

जहां:

  • B∈Rd×rB \in \mathbb{R}^{d \times r} और A∈Rr×kA \in \mathbb{R}^{r \times k} प्रशिक्षणीय निम्न-रैंक मैट्रिक्स हैं
  • r≪min⁡(d,k)r \ll \min(d, k) रैंक है
  • αr\frac{\alpha}{r} स्केलिंग कारक है, α\alpha एक हाइपरपैरामीटर है

विधि लाभ विश्लेषण

  1. निम्न-रैंक बाधा: अपडेट को निम्न-रैंक उप-स्पेस में सीमित करता है, मूल वजन में हस्तक्षेप को काफी कम करता है
  2. सुरक्षा तंत्र के साथ संरेखण:
    • सुरक्षा व्यवहार आमतौर पर एकल या कुछ दिशाओं द्वारा नियंत्रित होते हैं
    • निम्न-रैंक संशोधन सुरक्षा संरेखण को प्राप्त करने के लिए पर्याप्त है
    • पूर्ण-मॉडल सूक्ष्म-समायोजन में उच्च-रैंक, अनावश्यक परिवर्तनों से बचता है
  3. कम्प्यूटेशनल दक्षता:
    • पैरामीटर संख्या में काफी कमी
    • प्रशिक्षण लागत और मेमोरी उपयोग में महत्वपूर्ण कमी

प्रशिक्षण रणनीति

पूर्ण-मॉडल सूक्ष्म-समायोजन आधारभूत:

  • 5 epochs के लिए प्रशिक्षण
  • सभी पैरामीटर मानक ग्रेडिएंट अनुकूलन के माध्यम से अपडेट किए जाते हैं

LoRA सूक्ष्म-समायोजन:

  • 10 epochs के लिए प्रशिक्षण
  • केवल निम्न-रैंक मैट्रिक्स B और A अपडेट किए जाते हैं
  • डिफ़ॉल्ट कॉन्फ़िगरेशन: केवल MLP परतों पर लागू, rank r=1

प्रायोगिक सेटअप

मॉडल

  • DeepSeek-R1-Distill-Qwen-7B: 7B पैरामीटर वाला तर्क मॉडल
  • DeepSeek-R1-Distill-Qwen-14B: 14B पैरामीटर वाला तर्क मॉडल
  • Llama-Guard-3-8B: सुरक्षा मूल्यांकन के लिए, Jiang et al. (2025) द्वारा सबसे मजबूत सुरक्षा मूल्यांकनकर्ता साबित हुआ

डेटासेट

सुरक्षा सूक्ष्म-समायोजन डेटासेट:

  • DirectRefusal: Rosati et al. (2024) से अनुकूलित, Huang et al. (2025) द्वारा समायोजित
  • हानिकारक अनुरोधों के साथ अस्वीकृति प्रतिक्रियाओं को जोड़ता है
  • प्रत्येक प्रतिक्रिया में संक्षिप्त विचार ("I should not answer this question!") + अस्वीकृति प्रतिक्रिया शामिल है

सुरक्षा मूल्यांकन डेटासेट:

  • StrongREJECT (Souly et al., 2024): 310 नीति-उल्लंघन करने वाली क्वेरीज़

तर्क बेंचमार्क:

  1. AIME 2024: अमेरिकी गणित आमंत्रण परीक्षा, गणितीय तर्क का मूल्यांकन करता है
  2. GPQA-diamond (Rein et al., 2024): स्नातक-स्तरीय विज्ञान प्रश्न
  3. HumanEval+ (Chen et al., 2021 + Liu et al., 2023): कोड जनरेशन बेंचमार्क का संवर्धित संस्करण
  4. MBPP+ (Austin et al., 2021 + Liu et al., 2023): कोड जनरेशन बेंचमार्क का संवर्धित संस्करण

मूल्यांकन मेट्रिक्स

सुरक्षा:

  • मॉडल प्रतिक्रिया को हानिकारक मानने के लिए Llama-Guard-3-8B का उपयोग करता है
  • Safety Score: मॉडल द्वारा दिए गए उत्तर को हानिकारक माना जाने वाले प्रश्नों का प्रतिशत (जितना कम बेहतर)

तर्क क्षमता:

  • Pass@1: प्रत्येक प्रश्न के लिए n=8 प्रतिक्रियाएं नमूना करता है, सही प्रतिक्रियाओं का अनुपात गणना करता है, फिर सभी प्रश्नों पर औसत करता है
  • AIME Qwen2.5-32B-Instruct को मूल्यांकनकर्ता के रूप में उपयोग करता है
  • GPQA नियमित अभिव्यक्ति मिलान का उपयोग करता है (बहु-विकल्प प्रश्न)
  • HumanEval+ और MBPP+ कोड निष्पादन परीक्षण का उपयोग करते हैं

कार्यान्वयन विवरण

7B मॉडल:

  • पूर्ण-मॉडल सूक्ष्म-समायोजन: 4 GPU, प्रति डिवाइस batch size=2, 5 epochs
  • LoRA सूक्ष्म-समायोजन: 2 GPU, प्रति डिवाइस batch size=2, 10 epochs
  • LoRA पैरामीटर: α=16, dropout=0.05

14B मॉडल:

  • पूर्ण-मॉडल सूक्ष्म-समायोजन: 8 GPU, प्रति डिवाइस batch size=1, 5 epochs
  • LoRA सूक्ष्म-समायोजन: 4 GPU, प्रति डिवाइस batch size=2, 10 epochs
  • LoRA पैरामीटर: α=16, dropout=0.05

सामान्य सेटिंग:

  • सीखने की दर: 5e-5
  • वजन क्षय: 1e-4
  • प्रत्येक epoch पर चेकपॉइंट सहेजता है और मूल्यांकन करता है
  • जनरेशन तापमान: 0.6, top-p: 0.95, अधिकतम टोकन: 32,768

प्रायोगिक परिणाम

मुख्य परिणाम (LoRA "सुरक्षा कर" को दरकिनार करता है)

चित्र 2 विभिन्न चेकपॉइंट (epochs) पर तर्क प्रदर्शन और सुरक्षा का प्रदर्शन करता है:

7B मॉडल:

  • आधारभूत मॉडल: उच्च सटीकता लेकिन कम सुरक्षा
  • पूर्ण-मॉडल सूक्ष्म-समायोजन: अच्छी सुरक्षा, लेकिन सटीकता में महत्वपूर्ण कमी (सुरक्षा कर स्पष्ट)
  • LoRA सूक्ष्म-समायोजन: तर्क और सुरक्षा दोनों में मजबूत प्रदर्शन बनाए रखता है
    • सर्वोत्तम LoRA चेकपॉइंट सभी कार्यों पर आधारभूत मॉडल से बेहतर है
    • सुरक्षा पूर्ण-मॉडल सूक्ष्म-समायोजन से थोड़ी कम है (औसत लगभग 0.03 की कमी)

14B मॉडल:

  • LoRA सूक्ष्म-समायोजन आधारभूत मॉडल की तुलना में तर्क सटीकता में छोटी लेकिन सुसंगत कमी
  • सुरक्षा प्रदर्शन पूर्ण-मॉडल सूक्ष्म-समायोजन के समान है
  • तर्क-सुरक्षा समतल में Pareto सीमांत का दाहिना ऊपरी कोना बनाता है

मुख्य खोज: LoRA "आधारभूत मॉडल के करीब तर्क क्षमता + पूर्ण-मॉडल सूक्ष्म-समायोजन के करीब सुरक्षा" का आदर्श संयोजन प्राप्त करता है।

विलोपन प्रयोग

1. Rank का प्रभाव (चित्र 3)

14B मॉडल पर विभिन्न rank मानों (r=1, 4, 8, 64) और पूर्ण-मॉडल सूक्ष्म-समायोजन का परीक्षण:

तर्क प्रदर्शन:

  • r बढ़ने के साथ, तर्क प्रदर्शन समग्र रूप से कम होता है
  • r=1 से r=8 के बीच कमी छोटी है
  • पूर्ण-मॉडल सूक्ष्म-समायोजन (full rank) सबसे खराब प्रदर्शन करता है

सुरक्षा प्रदर्शन:

  • r को 4 से 64 तक बढ़ाने पर महत्वपूर्ण कमी
  • पूर्ण-मॉडल सूक्ष्म-समायोजन r=64 से बेहतर सुरक्षा स्कोर है
  • अनुमान: मध्यम उच्च-रैंक अनुकूलन कठिनाइयों में हो सकता है, जबकि अत्यंत निम्न-रैंक या पूर्ण-रैंक सेटिंग अनुकूलन आसान है

Pareto सीमांत विश्लेषण (चित्र 3c):

  • r=1 AIME पर सर्वोत्तम संतुलन प्राप्त करता है
  • r=1 GPQA पर सर्वोत्तम के करीब है
  • न्यूनतम सूक्ष्म-समायोजन लागत पर मजबूत प्रदर्शन प्राप्त कर सकता है

सैद्धांतिक व्याख्या: r=1 सुरक्षा संरेखण कार्य के निम्न-रैंक प्रकृति को प्रतिबिंबित करने के लिए पर्याप्त है, जो एकल दिशा द्वारा नियंत्रित सुरक्षा व्यवहार पर पूर्व अनुसंधान के अनुरूप है।

2. मॉड्यूल का प्रभाव

MLP बनाम ध्यान परतें (चित्र 4):

  • केवल MLP परतों पर लागू करना ध्यान और MLP परतों दोनों पर लागू करने के Pareto सीमांत के समान है
  • निष्कर्ष: केवल MLP परतों को अपडेट करना पर्याप्त है

MLP आंतरिक प्रक्षेपण परतें (चित्र 5): Qwen के SwiGLU संरचना में gate, up, down तीन प्रक्षेपण परतों का परीक्षण:

  • Up projection सबसे महत्वपूर्ण है:
    • केवल up projection को अपडेट करने का Pareto सीमांत पूरे MLP को अपडेट करने के समान है
    • HumanEval+ और MBPP+ पर पूरे MLP को अपडेट करने से भी बेहतर है
  • Down projection सबसे खराब प्रदर्शन करता है
  • निष्कर्ष: विभिन्न प्रक्षेपण परतें तर्क-सुरक्षा संतुलन में अलग-अलग योगदान देती हैं, up projection विशेष रूप से महत्वपूर्ण है और अकेले उपयोग के लिए पर्याप्त है

3. परत का प्रभाव (चित्र 6)

48-परत 14B मॉडल में, केवल 16 परतों को अपडेट करता है, तीन कॉन्फ़िगरेशन का परीक्षण:

  • Early Layers (5-20 परतें)
  • Middle Layers (17-32 परतें)
  • Late Layers (25-40 परतें)

परिणाम:

  • मध्य परतें सर्वोत्तम संतुलन प्राप्त करती हैं:
    • AIME और GPQA पर सभी परतों को अपडेट करने के समान
    • HumanEval+ और MBPP+ पर सभी परतों को अपडेट करने से केवल थोड़ा कम
  • प्रारंभिक या देर की परतें स्पष्ट रूप से खराब प्रदर्शन करती हैं

पूर्व अनुसंधान के साथ संबंध:

  • Steering vectors (Panickssery et al., 2023)
  • Refusal features (Arditi et al., 2024)
  • ये अनुसंधान दिखाते हैं कि सुरक्षा व्यवहार के लिए जिम्मेदार मध्य प्रतिनिधित्व दिशाएं मध्य परतों में सबसे प्रमुख हैं

वजन संरचना विश्लेषण

LoRA अपडेट और प्रारंभिक वजन के बीच ओवरलैप (चित्र 7)

ओवरलैप को मापने के लिए चार मेट्रिक्स परिभाषित करता है:

  1. ∥WI⊤ΔW∥∥WI∥∥ΔW∥\frac{\|W_I^\top \Delta W\|}{\|W_I\|\|\Delta W\|}: कॉलम स्पेस का मैट्रिक्स-स्तरीय कोसाइन समानता
  2. ∥U16U16⊤ΔW∥∥ΔW∥\frac{\|U_{16}U_{16}^\top \Delta W\|}{\|\Delta W\|}: WIW_I की शीर्ष 16 प्रमुख दिशाओं पर प्रक्षेपण
  3. ∥WIΔW⊤∥∥WI∥∥ΔW∥\frac{\|W_I \Delta W^\top\|}{\|W_I\|\|\Delta W\|}: पंक्ति स्पेस की समानता
  4. ∥V16V16⊤ΔW⊤∥∥ΔW∥\frac{\|V_{16}V_{16}^\top \Delta W^\top\|}{\|\Delta W\|}: पंक्ति स्पेस का प्रक्षेपण

तुलना सेटिंग: पूर्ण-मॉडल सूक्ष्म-समायोजन बनाम LoRA (r=4, ध्यान और MLP पर लागू)

खोज:

  • LoRA अधिकांश मॉड्यूल में कम ओवरलैप प्राप्त करता है (कुछ अपवाद)
  • कॉलम स्पेस और पंक्ति स्पेस दोनों में अधिक ऑर्थोगोनल
  • LoRA का सुरक्षा-निर्देशित अपडेट मूल तर्क-संबंधित वजन द्वारा उपयोग किए जाने वाले उप-स्पेस से अधिक अलग है
  • हालांकि ओवरलैप मानों में कमी कभी-कभी छोटी होती है, लेकिन यह संकेत दे सकता है कि LoRA अपडेट तर्क-संबंधित घटकों में कम हस्तक्षेप करता है

ओवरलैप को और कम करने के तरीके (चित्र 8)

दो विधियां:

  1. नियमितकरण (Regularization):
    • reg-col: प्रशिक्षण में दंड शब्द जोड़ता है β(∥WI⊤ΔW∥∥WI∥∥ΔW∥)2\beta(\frac{\|W_I^\top \Delta W\|}{\|W_I\|\|\Delta W\|})^2
    • reg-both: कॉलम स्पेस और पंक्ति स्पेस दोनों के ओवरलैप को दंडित करता है
    • सेटिंग β=1
  2. पोस्ट-प्रोसेसिंग ऑर्थोगोनलाइजेशन (OrthoMerge):
    • OrthoMerge-col: ΔW←(I−UkUk⊤)ΔW\Delta W \leftarrow (I - U_k U_k^\top)\Delta W
    • OrthoMerge-both: ΔW←λ(I−UkUk⊤)ΔW(I−VkVk⊤)\Delta W \leftarrow \lambda(I - U_k U_k^\top)\Delta W(I - V_k V_k^\top)
    • सुरक्षा हानि की भरपाई के लिए स्केलिंग कारक λ का उपयोग करता है
    • λ ∈ {1, 1.15, 1.75, 1.2, 1.25}, k=64 का परीक्षण करता है

परिणाम:

  • "both" वेरिएंट "col" वेरिएंट से बेहतर है
  • OrthoMerge-both सबसे आशाजनक है:
    • AIME और GPQA पर vanilla LoRA से कड़ाई से बेहतर
    • MBPP+ पर थोड़ा बेहतर
    • HumanEval+ पर थोड़ा कम
  • समग्र सुधार मामूली और असंगत है, अधिक परिष्कृत विधि की आवश्यकता को दर्शाता है

संबंधित कार्य

सुरक्षा-संरेखित मॉडल को सूक्ष्म-समायोजित करना

  • समस्या: निर्देश सूक्ष्म-समायोजन सुरक्षा में कमी की ओर जाता है (Qi et al., 2023; Hsiung et al., 2025)
  • समाधान विधियां:
    • डेटा फ़िल्टरिंग (Shen et al., 2024; Choi et al., 2024)
    • सुरक्षा नमूने इंजेक्ट करना (Bianchi et al., 2023)
    • Guardrail मॉडल का उपयोग (Peng et al., 2025)
    • प्रॉम्प्ट टेम्पलेट की महत्ता (Lyu et al., 2024)
    • एल्गोरिथ्मिक विधियां: "सुरक्षा उप-स्पेस" में प्रक्षेपण (Hsu et al., 2024), नियमितकरण (Mukhoti et al., 2023)
  • सीमाएं: तर्क मॉडल पर लागू नहीं होती, क्योंकि तर्क क्षमता को लंबे प्रशिक्षण और बड़े वजन अपडेट की आवश्यकता होती है

सूक्ष्म-समायोजन के बाद सुरक्षा संरेखण

  • विधियां: SFT और/या RL (Wei et al., 2021; Ouyang et al., 2022; Rafailov et al., 2023)
  • समस्या: "सुरक्षा कर" घटना (Huang et al., 2025)
    • सुरक्षा संरेखण तर्क प्रदर्शन को बड़े पैमाने पर नुकसान पहुंचाता है
    • यहां तक कि सुरक्षा सूक्ष्म-समायोजन डेटासेट में CoT तर्क जोड़ने से भी तर्क क्षमता को पूरी तरह से संरक्षित नहीं किया जा सकता (Jiang et al., 2025)

इस पेपर का योगदान

सरल LoRA अनुप्रयोग तर्क मॉडल को प्रभावी ढंग से संरेखित कर सकता है बिना प्रदर्शन को नुकसान पहुंचाए, मौजूदा साहित्य में अंतराल को भरता है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. LoRA तर्क LLMs की सुरक्षा संरेखण के लिए प्रभावी समाधान है:
    • पूर्ण-मॉडल सूक्ष्म-समायोजन के समान सुरक्षा प्राप्त करता है
    • मूल मॉडल के करीब तर्क क्षमता बनाए रखता है
    • प्रभावी रूप से "सुरक्षा कर" को दरकिनार करता है
  2. न्यूनतम कॉन्फ़िगरेशन दिशानिर्देश:
    • Rank-1 पर्याप्त है: न्यूनतम लागत पर सर्वोत्तम संतुलन प्राप्त करता है
    • केवल up projection परत को अपडेट करें: पूरे MLP को अपडेट करने से भी बेहतर है
    • मध्य परतों पर ध्यान दें: 16 मध्य परतें आमतौर पर पर्याप्त हैं
  3. तंत्र अंतर्दृष्टि:
    • LoRA अपडेट प्रारंभिक वजन के साथ कम ओवरलैप है
    • निम्न-रैंक बाधा तर्क वजन में हस्तक्षेप को कम करती है
    • सुरक्षा व्यवहार निम्न-आयामी दिशाओं द्वारा नियंत्रित होने के सिद्धांत के अनुरूप है

सीमाएं

  1. अवशिष्ट प्रदर्शन अंतराल:
    • 14B मॉडल कुछ कार्यों (AIME, HumanEval+, MBPP+) पर अभी भी छोटी कमी है
    • ओवरलैप को कम करने के तरीके सीमित और असंगत सुधार प्रदान करते हैं
  2. आर्किटेक्चर सीमाएं:
    • मुख्य रूप से Qwen आर्किटेक्चर पर प्रयोग
    • अन्य LLM आर्किटेक्चर पर सत्यापन की आवश्यकता है
  3. ध्यान परत विलोपन अपर्याप्त:
    • मुख्य रूप से MLP परतों पर ध्यान केंद्रित
    • ध्यान परतों का विस्तृत विलोपन भविष्य के कार्य के लिए छोड़ा गया है
  4. तंत्र समझ:
    • up projection इतना प्रभावी क्यों है इसके लिए गहन शोध की आवश्यकता है
    • हस्तक्षेप प्रभाव को पकड़ने के लिए अधिक सटीक मेट्रिक्स की आवश्यकता है

भविष्य की दिशाएं

  1. विधि सुधार:
    • तर्क-सुरक्षा संतुलन को अनुकूलित करने के लिए अधिक विश्वसनीय विधियां विकसित करें
    • LoRA अपडेट के उप-स्पेस ज्यामिति को बेहतर नियंत्रित करें
  2. आर्किटेक्चर विस्तार:
    • अन्य LLM आर्किटेक्चर पर निष्कर्षों को सत्यापित करें
    • ध्यान परतों का विस्तृत विलोपन करें
  3. सैद्धांतिक गहनता:
    • up projection की प्रभावशीलता को गहराई से समझें
    • अधिक सटीक हस्तक्षेप मेट्रिक्स विकसित करें
  4. RL संरेखण:
    • निष्कर्षों को RL-आधारित सुरक्षा संरेखण तकनीकों तक विस्तारित करें
  5. अनुप्रयोग अन्वेषण:
    • अन्य बहु-उद्देश्य संतुलन परिदृश्यों में अनुप्रयोग की खोज करें

गहन मूल्यांकन

शक्तियां

  1. महत्वपूर्ण और व्यावहारिक समस्या:
    • तर्क LLMs तैनाती में मुख्य चुनौती को सीधे संबोधित करता है
    • "सुरक्षा कर" व्यावहारिक अनुप्रयोग में वास्तविक दर्द बिंदु है
    • व्यापक व्यावहारिक मूल्य है
  2. सरल और प्रभावी विधि:
    • तैयार LoRA तकनीक का उपयोग करता है, जटिल संशोधन की आवश्यकता नहीं है
    • कार्यान्वयन आसान, उच्च पुनरुत्पादनीयता
    • कम्प्यूटेशनल दक्षता अच्छी, व्यावहारिक तैनाती के लिए उपयुक्त
  3. व्यापक और गहन प्रयोग:
    • कई मॉडल आकार (7B, 14B)
    • कई क्षेत्र (गणित, विज्ञान, प्रोग्रामिंग)
    • चार बेंचमार्क, व्यापक कवरेज
    • विस्तृत विलोपन अध्ययन, स्पष्ट कॉन्फ़िगरेशन दिशानिर्देश
  4. गहन अंतर्दृष्टि:
    • Rank-1 पर्याप्त होने की खोज सरल और शक्तिशाली है
    • Up projection की महत्ता भविष्य के अनुसंधान के लिए दिशा प्रदान करती है
    • मध्य परत की महत्ता सिद्धांत के अनुरूप है
    • वजन ओवरलैप विश्लेषण तंत्र समझ प्रदान करता है
  5. स्पष्ट लेखन:
    • अच्छी संरचना, स्पष्ट तर्क
    • समृद्ध चार्ट, अच्छा दृश्य प्रभाव
    • पर्याप्त तकनीकी विवरण, उच्च पुनरुत्पादनीयता

कमजोरियां

  1. प्रदर्शन अंतराल पूरी तरह से समाप्त नहीं:
    • 14B मॉडल कुछ कार्यों पर अभी भी छोटी कमी है
    • आगे अनुकूलन विधियां (OrthoMerge) सीमित सुधार प्रदान करती हैं
    • समस्या पूरी तरह से समाधान नहीं हुई है
  2. आर्किटेक्चर कवरेज सीमित:
    • केवल Qwen आर्किटेक्चर पर प्रयोग
    • अन्य आर्किटेक्चर (जैसे Llama, Mistral) पर सामान्यीकरण अज्ञात है
    • निष्कर्षों की सार्वभौमिकता सीमित है
  3. तंत्र व्याख्या पर्याप्त गहन नहीं:
    • up projection इतना महत्वपूर्ण क्यों है इसका गहन विश्लेषण नहीं है
    • वजन ओवरलैप कमी और प्रदर्शन सुधार के बीच कारण संबंध स्पष्ट नहीं है
    • अधिक सैद्धांतिक विश्लेषण समर्थन की आवश्यकता है
  4. ध्यान परत अनुसंधान अपर्याप्त:
    • मुख्य रूप से MLP पर ध्यान केंद्रित, ध्यान परतों का विलोपन सीमित है
    • महत्वपूर्ण खोजें छूट सकती हैं
  5. मूल्यांकन सीमाएं:
    • सुरक्षा मूल्यांकन एकल मूल्यांकनकर्ता (Llama-Guard-3-8B) पर निर्भर है
    • Pass@1 मेट्रिक पूरी तरह व्यापक नहीं हो सकता है
    • मानव मूल्यांकन की कमी है

प्रभाव

  1. शैक्षणिक योगदान:
    • तर्क मॉडल सुरक्षा संरेखण अनुसंधान में अंतराल भरता है
    • स्पष्ट व्यावहारिक दिशानिर्देश प्रदान करता है
    • बहु-उद्देश्य अनुकूलन में LoRA की भूमिका समझने के लिए नया दृष्टिकोण प्रदान करता है
    • अनुवर्ती अनुसंधान को प्रेरित करने की संभावना है
  2. व्यावहारिक मूल्य:
    • वास्तविक मॉडल तैनाती पर सीधे लागू किया जा सकता है
    • सुरक्षा संरेखण की कम्प्यूटेशनल लागत कम करता है
    • तर्क मॉडल की उपयोगिता में सुधार करता है
    • औद्योगिक क्षेत्र के लिए महत्वपूर्ण संदर्भ मूल्य है
  3. पुनरुत्पादनीयता:
    • कोड ओपन सोर्स (GitHub)
    • प्रयोग विवरण पर्याप्त है
    • सार्वजनिक डेटासेट और मॉडल का उपयोग करता है
    • सत्यापन और विस्तार में आसान है

लागू परिदृश्य

  1. तर्क LLMs की सुरक्षा संरेखण:
    • गणितीय तर्क मॉडल (जैसे गणित समस्या समाधान सहायक)
    • वैज्ञानिक तर्क मॉडल (जैसे अनुसंधान सहायक)
    • कोड जनरेशन मॉडल (जैसे प्रोग्रामिंग सहायक)
  2. संसाधन-सीमित वातावरण:
    • कम लागत सूक्ष्म-समायोजन की आवश्यकता वाले परिदृश्य
    • मेमोरी-सीमित तैनाती वातावरण
    • तेजी से पुनरावृत्ति विकास प्रक्रिया
  3. बहु-उद्देश्य अनुकूलन परिदृश्य:
    • कई उद्देश्यों को संतुलित करने की आवश्यकता वाले सूक्ष्म-समायोजन कार्य
    • मूल क्षमता को बनाए रखते हुए नई क्षमता जोड़ना
    • सामान्य क्षमता को नुकसान पहुंचाए बिना डोमेन अनुकूलन
  4. अनुपयुक्त परिदृश्य:
    • प्रदर्शन अंतराल को पूरी तरह समाप्त करने की आवश्यकता वाले महत्वपूर्ण अनुप्रयोग
    • गैर-Qwen आर्किटेक्चर मॉडल (सत्यापन की आवश्यकता)
    • बड़ी संख्या में पैरामीटर अपडेट करने की आवश्यकता वाले मौलिक परिवर्तन

संदर्भ

मुख्य उद्धरण:

  1. Huang et al., 2025: "Safety Tax: Safety alignment makes your large reasoning models less reasonable" - पहली बार "सुरक्षा कर" घटना का व्यवस्थित वर्णन
  2. Jiang et al., 2025: "SafeChain: Safety of language models with long chain-of-thought reasoning capabilities" - तर्क मॉडल के सुरक्षा जोखिम की रिपोर्ट
  3. Hu et al., 2022: "LoRA: Low-Rank Adaptation of Large Language Models" - LoRA मूल पेपर
  4. Panickssery et al., 2023: "Steering llama 2 via contrastive activation addition" - Steering vectors अनुसंधान
  5. Arditi et al., 2024: "Refusal in language models is mediated by a single direction" - Refusal features अनुसंधान
  6. Jain et al., 2024: "What makes and breaks safety fine-tuning? a mechanistic study" - सुरक्षा सूक्ष्म-समायोजन तंत्र अनुसंधान
  7. Wei et al., 2024: "Assessing the brittleness of safety alignment via pruning and low-rank modifications" - सुरक्षा संरेखण की नाजुकता अनुसंधान

समग्र मूल्यांकन: यह तर्क LLMs की सुरक्षा संरेखण की महत्वपूर्ण समस्या के लिए एक सरल और प्रभावी समाधान प्रस्तावित करने वाला उच्च-गुणवत्ता का अनुसंधान पेपर है। हालांकि कुछ सीमाएं हैं (जैसे प्रदर्शन अंतराल पूरी तरह समाप्त नहीं, आर्किटेक्चर कवरेज सीमित), इसका मुख्य योगदान ठोस है, प्रयोग व्यापक हैं, अंतर्दृष्टि गहन हैं, और शैक्षणिक और औद्योगिक क्षेत्रों दोनों के लिए महत्वपूर्ण मूल्य है। विशेष रूप से rank-1 पर्याप्त है, up projection महत्वपूर्ण है, मध्य परत महत्वपूर्ण है ये तीन खोजें भविष्य के अनुसंधान और व्यावहारिक अनुप्रयोग के लिए स्पष्ट दिशानिर्देश प्रदान करती हैं।