2025-11-11T17:07:09.499066

Does Model Size Matter? A Comparison of Small and Large Language Models for Requirements Classification

Zadenoori, De Martino, Dabrowski et al.
[Context and motivation] Large language models (LLMs) show notable results in natural language processing (NLP) tasks for requirements engineering (RE). However, their use is compromised by high computational cost, data sharing risks, and dependence on external services. In contrast, small language models (SLMs) offer a lightweight, locally deployable alternative. [Question/problem] It remains unclear how well SLMs perform compared to LLMs in RE tasks in terms of accuracy. [Results] Our preliminary study compares eight models, including three LLMs and five SLMs, on requirements classification tasks using the PROMISE, PROMISE Reclass, and SecReq datasets. Our results show that although LLMs achieve an average F1 score of 2% higher than SLMs, this difference is not statistically significant. SLMs almost reach LLMs performance across all datasets and even outperform them in recall on the PROMISE Reclass dataset, despite being up to 300 times smaller. We also found that dataset characteristics play a more significant role in performance than model size. [Contribution] Our study contributes with evidence that SLMs are a valid alternative to LLMs for requirements classification, offering advantages in privacy, cost, and local deployability.
academic

क्या मॉडल का आकार महत्वपूर्ण है? आवश्यकताओं के वर्गीकरण के लिए छोटे और बड़े भाषा मॉडल की तुलना

बुनियादी जानकारी

  • पेपर ID: 2510.21443
  • शीर्षक: क्या मॉडल का आकार महत्वपूर्ण है? आवश्यकताओं के वर्गीकरण के लिए छोटे और बड़े भाषा मॉडल की तुलना
  • लेखक: Mohammad Amin Zadenoori, Vincenzo De Martino, Jacek Dąbrowski, Xavier Franch, Alessio Ferrari
  • वर्गीकरण: cs.SE (सॉफ्टवेयर इंजीनियरिंग), cs.AI (कृत्रिम बुद्धिमत्ता), cs.CL (कम्प्यूटेशनल भाषाविज्ञान)
  • प्रकाशन समय: 24 अक्टूबर 2025 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.21443

सारांश

यह अध्ययन बड़े भाषा मॉडल (LLMs) और छोटे भाषा मॉडल (SLMs) की आवश्यकता इंजीनियरिंग वर्गीकरण कार्यों में कार्यक्षमता की तुलना करता है। हालांकि LLMs प्राकृतिक भाषा प्रसंस्करण कार्यों में उत्कृष्ट प्रदर्शन करते हैं, लेकिन उच्च कम्प्यूटेशनल लागत, डेटा साझाकरण जोखिम और बाहरी सेवाओं पर निर्भरता जैसी समस्याएं हैं। SLMs हल्के-फुल्के, स्थानीय रूप से तैनात किए जा सकने वाले विकल्प प्रदान करते हैं। अध्ययन PROMISE, PROMISE Reclass और SecReq डेटासेट का उपयोग करके 3 LLMs और 5 SLMs की कार्यक्षमता की तुलना करता है। परिणाम दर्शाते हैं कि हालांकि LLMs का औसत F1 स्कोर SLMs से 2% अधिक है, लेकिन यह अंतर सांख्यिकीय रूप से महत्वपूर्ण नहीं है। SLMs लगभग LLMs की कार्यक्षमता तक पहुंचे हैं, और PROMISE Reclass डेटासेट पर रिकॉल दर में LLMs को भी पार कर गए हैं, हालांकि उनके पास 300 गुना कम पैरामीटर हैं। अध्ययन यह भी पाता है कि डेटासेट की विशेषताओं का प्रभाव मॉडल के आकार से अधिक महत्वपूर्ण है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या की परिभाषा

आवश्यकता वर्गीकरण आवश्यकता इंजीनियरिंग (RE) में एक महत्वपूर्ण कार्य है, जिसमें आवश्यकताओं को विभिन्न प्रकारों में वर्गीकृत करना शामिल है, जैसे कार्यात्मक/गैर-कार्यात्मक आवश्यकताएं, या अधिक सूक्ष्म श्रेणियां (जैसे सुरक्षा, प्रदर्शन आदि)। परियोजना के आकार के साथ, आवश्यकताओं की संख्या हजारों तक पहुंच सकती है, जिससे मैनुअल वर्गीकरण श्रम-गहन और त्रुटि-प्रवण बन जाता है।

अनुसंधान का महत्व

  1. आवश्यकताओं का स्वचालन: बड़ी परियोजनाओं में आवश्यकताओं की संख्या विशाल होती है, स्वचालित वर्गीकरण दक्षता में उल्लेखनीय वृद्धि कर सकता है
  2. अन्य RE गतिविधियों का समर्थन: आवश्यकता वर्गीकरण आवश्यकता प्रबंधन और ट्रेसेबिलिटी जैसी अन्य RE गतिविधियों का समर्थन करता है
  3. व्यावहारिक अनुप्रयोग की आवश्यकता: औद्योगिक क्षेत्र को सटीक और व्यावहारिक दोनों समाधानों की तत्काल आवश्यकता है

मौजूदा विधियों की सीमाएं

LLMs की समस्याएं:

  • उच्च कम्प्यूटेशनल लागत
  • डेटा गोपनीयता और सुरक्षा जोखिम (क्लाउड तैनाती)
  • बाहरी सेवाओं पर निर्भरता
  • मालिकाना प्रकृति अनुकूलन को सीमित करती है
  • पुनरुत्पादनशीलता की समस्याएं

अनुसंधान अंतराल:

  • RE कार्यों में SLMs और LLMs की कार्यक्षमता की तुलना का व्यवस्थित अध्ययन अभी तक नहीं किया गया है
  • मॉडल के आकार और वर्गीकरण सटीकता के संबंध की गहन समझ की कमी

मुख्य योगदान

  1. पहली व्यवस्थित तुलना: आवश्यकता वर्गीकरण कार्य में SLMs और LLMs की कार्यक्षमता की पहली व्यवस्थित तुलना
  2. सांख्यिकीय महत्व विश्लेषण: Scheirer-Ray-Hare परीक्षण जैसी सांख्यिकीय विधियों का उपयोग करके कार्यक्षमता अंतर की महत्वता को सत्यापित करना
  3. बहु-डेटासेट सत्यापन: तीन सार्वजनिक डेटासेट (PROMISE, PROMISE Reclass, SecReq) पर व्यापक मूल्यांकन
  4. व्यावहारिकता का प्रमाण: SLMs को LLMs के व्यवहार्य विकल्प के रूप में प्रदान करने वाले अनुभवजन्य साक्ष्य
  5. डेटासेट प्रभाव विश्लेषण: यह महत्वपूर्ण खोज कि डेटासेट की विशेषताएं मॉडल के आकार से कार्यक्षमता को अधिक प्रभावित करती हैं

विधि विवरण

कार्य की परिभाषा

इनपुट: प्राकृतिक भाषा आवश्यकता पाठ आउटपुट: आवश्यकता श्रेणी लेबल (द्विआधारी वर्गीकरण)

  • PROMISE: कार्यात्मक आवश्यकताएं (FR) बनाम गैर-कार्यात्मक आवश्यकताएं (NFR)
  • PROMISE Reclass: FR बनाम NFR और गुणवत्ता आवश्यकताएं (QR) बनाम गैर-QR (दोहरी लेबलिंग)
  • SecReq: सुरक्षा-संबंधित आवश्यकताएं बनाम गैर-सुरक्षा आवश्यकताएं

मॉडल चयन

SLMs (7-8B पैरामीटर):

  • Qwen2-7B-Instruct
  • Falcon-7B-Instruct
  • Granite-3.2-8B-Instruct
  • Ministral-8B-Instruct-2410
  • Meta-Llama-3-8B-Instruct

LLMs (1-2 ट्रिलियन पैरामीटर):

  • GPT-5
  • xAI Grok-4
  • Claude-4

तकनीकी विधि

प्रॉम्प्ट रणनीति:

  • विचार श्रृंखला (Chain-of-Thought, CoT) को कुछ-शॉट लर्निंग (Few-Shot) के साथ अपनाना
  • प्रत्येक श्रेणी के लिए 4 उदाहरण प्रदान करना
  • विशेषज्ञ-परिभाषित RE परिभाषाओं के आधार पर श्रेणी परिभाषाएं प्रदान करना

प्रयोग सेटअप:

  • निर्धारणीय आउटपुट सुनिश्चित करने के लिए तापमान पैरामीटर को 0 पर सेट करना
  • प्रत्येक कार्य को 3 बार निष्पादित करना, अंतिम लेबल निर्धारित करने के लिए बहुमत मतदान (2/3) का उपयोग करना
  • मैक्रो औसत का उपयोग करके मेट्रिक्स की गणना करना

प्रयोग सेटअप

डेटासेट विवरण

डेटासेटकार्य प्रकारनमूना संख्याश्रेणी वितरण
PROMISEFR बनाम NFR625FR:255, NFR:370
PROMISE ReclassFR बनाम NFR और QR बनाम गैर-QR625FR:310, QR:382
SecReqसुरक्षा बनाम गैर-सुरक्षा510Sec:187, NSec:323

मूल्यांकन मेट्रिक्स

  • सटीकता (Precision, P): सभी पूर्वानुमानित सकारात्मक उदाहरणों में से सही ढंग से पूर्वानुमानित सकारात्मक उदाहरणों का अनुपात
  • रिकॉल दर (Recall, R): सभी वास्तविक सकारात्मक उदाहरणों में से सही ढंग से पूर्वानुमानित सकारात्मक उदाहरणों का अनुपात
  • F1 स्कोर: सटीकता और रिकॉल दर का हरात्मक माध्य

हार्डवेयर वातावरण

  • SLMs: Linux 6.14 सर्वर, Intel i9-13900K CPU, 128GB RAM, NVIDIA RTX 4090 GPU
  • LLMs: वाणिज्यिक API के माध्यम से पहुंच

सांख्यिकीय परीक्षण

Scheirer-Ray-Hare परीक्षण (गैर-पैरामीट्रिक द्विकारक विचरण विश्लेषण) का उपयोग करके मॉडल प्रकार और डेटासेट के कार्यक्षमता पर प्रभाव का विश्लेषण करना।

प्रयोग परिणाम

मुख्य परिणाम

मॉडलPROMISEPROMISE ReclassSecReq
PRF1PRF1PRF1
SLMs औसत0.850.790.820.620.910.730.830.900.86
LLMs औसत0.860.810.830.670.870.750.850.900.88

सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल:

  • Claude-4 (LLM): PROMISE (F1=0.82), PROMISE Reclass (F1=0.80), SecReq (F1=0.89)
  • Llama-3-8B (SLM): PROMISE (F1=0.80), PROMISE Reclass (F1=0.78), SecReq (F1=0.88)

सांख्यिकीय महत्व विश्लेषण

परिकल्पनाचरप्रभाव आकार (η²H)p माननिष्कर्ष
H0Aमॉडल प्रकार0.040.296कोई महत्वपूर्ण अंतर नहीं
H0Bडेटासेट0.63<0.001महत्वपूर्ण अंतर
H0Cअंतःक्रिया प्रभाव0.0010.790कोई महत्वपूर्ण अंतःक्रिया नहीं

मुख्य निष्कर्ष

  1. तुलनीय कार्यक्षमता: LLMs का औसत F1 स्कोर SLMs से केवल 2% अधिक है, अंतर सांख्यिकीय रूप से महत्वपूर्ण नहीं है
  2. SLMs का लाभ: PROMISE Reclass डेटासेट पर, SLMs रिकॉल दर में LLMs से काफी बेहतर हैं (0.96 बनाम अधिकतम 0.90)
  3. डेटासेट प्रभावी: डेटासेट की विशेषताओं का कार्यक्षमता पर प्रभाव मॉडल के आकार से कहीं अधिक है (प्रभाव आकार 0.63 बनाम 0.04)
  4. कार्यक्षमता स्तर: SecReq (माध्यिका F1=0.865) > PROMISE (0.805) > PROMISE Reclass (0.730)

निष्पादन समय विश्लेषण

  • LLMs: 138-300 सेकंड (क्लाउड उच्च-प्रदर्शन बुनियादी ढांचा)
  • SLMs: औसत 400 सेकंड (एकल स्थानीय सर्वर)

संबंधित कार्य

आवश्यकता इंजीनियरिंग में NLP

पारंपरिक विधियां आवश्यकता वर्गीकरण के लिए मुख्य रूप से शास्त्रीय मशीन लर्निंग तकनीकों का उपयोग करती हैं, हाल के वर्षों में गहन शिक्षण विधियां धीरे-धीरे उभर रही हैं।

RE में बड़े भाषा मॉडल का अनुप्रयोग

LLMs आवश्यकता वर्गीकरण, ट्रेसेबिलिटी, मॉडल जनरेशन आदि RE कार्यों में शक्तिशाली क्षमता प्रदर्शित करते हैं, लेकिन व्यावहारिक तैनाती चुनौतियों का सामना करती है।

छोटे भाषा मॉडल अनुसंधान

SLMs हल्के-फुल्के विकल्प के रूप में ध्यान आकर्षित कर रहे हैं, लेकिन RE क्षेत्र में व्यवस्थित अनुसंधान अपेक्षाकृत कम है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

अनुसंधान प्रश्न का उत्तर: LLMs कार्यक्षमता में SLMs से थोड़े बेहतर हैं, F1 स्कोर में 2% आगे हैं, लेकिन यह अंतर सांख्यिकीय रूप से महत्वपूर्ण नहीं है। विशेष डेटासेट की रिकॉल दर मेट्रिक पर, SLMs ने LLMs को भी पार कर दिया है।

व्यावहारिक महत्व

  1. लागत-प्रभावशीलता: SLMs LLMs के समान कार्यक्षमता प्रदान करते हैं, लेकिन कम लागत पर
  2. डेटा गोपनीयता: SLMs को स्थानीय रूप से तैनात किया जा सकता है, डेटा रिसाव जोखिम से बचा जा सकता है
  3. संसाधन दक्षता: SLMs की कम्प्यूटेशनल संसाधन आवश्यकताएं काफी कम हैं
  4. अनुकूलन: ओपन-सोर्स SLMs विशिष्ट आवश्यकताओं के लिए सूक्ष्म-ट्यूनिंग के लिए अधिक आसान हैं

सीमाएं

  1. नमूना आकार: केवल 8 मॉडलों का मूल्यांकन किया गया है, II प्रकार की त्रुटि की संभावना हो सकती है
  2. कार्य की सीमा: केवल द्विआधारी वर्गीकरण कार्यों पर विचार किया गया है, परिणाम अन्य RE कार्यों पर लागू नहीं हो सकते हैं
  3. प्रॉम्प्ट निर्भरता: एकल प्रॉम्प्ट रणनीति का उपयोग किया गया है, परिणामों की सार्वभौमिकता को प्रभावित कर सकता है
  4. डेटा रिसाव जोखिम: LLMs को पूर्व-प्रशिक्षण में मूल्यांकन डेटासेट का सामना हो सकता है

गहन मूल्यांकन

शक्तियां

  1. अनुसंधान महत्व: RE क्षेत्र में SLMs और LLMs की तुलना के अंतराल को भरता है
  2. विधि वैज्ञानिक कठोरता: निष्कर्षों को सत्यापित करने के लिए उपयुक्त सांख्यिकीय परीक्षण विधियों का उपयोग करता है
  3. प्रयोग डिजाइन तर्कसंगत: बहु-डेटासेट सत्यापन परिणामों की विश्वसनीयता को बढ़ाता है
  4. व्यावहारिक मूल्य उच्च: औद्योगिक क्षेत्र को उपयुक्त मॉडल चुनने के लिए अनुभवजन्य मार्गदर्शन प्रदान करता है
  5. पारदर्शिता अच्छी: पूर्ण पुनरुत्पादन पैकेज प्रदान करता है

कमियां

  1. मॉडल चयन सीमा: SLMs केवल 7-8B पैरामीटर श्रेणी तक सीमित हैं, बड़े ओपन-सोर्स मॉडल शामिल नहीं हैं
  2. कार्य एकल: केवल वर्गीकरण कार्यों का मूल्यांकन किया गया है, जनरेटिव RE कार्य शामिल नहीं हैं
  3. सांख्यिकीय शक्ति अपर्याप्त: छोटा नमूना आकार सांख्यिकीय परीक्षण शक्ति को कम कर सकता है
  4. लागत विश्लेषण की कमी: विस्तृत कम्प्यूटेशनल लागत और ऊर्जा खपत तुलना प्रदान नहीं करता है

प्रभाव

शैक्षणिक प्रभाव:

  • RE क्षेत्र में मॉडल चयन के लिए महत्वपूर्ण संदर्भ प्रदान करता है
  • मॉडल के आकार और कार्यक्षमता के संबंध पर गहन विचार को प्रेरित करता है

व्यावहारिक मूल्य:

  • उद्यमों को गोपनीयता, लागत और कार्यक्षमता के बीच संतुलन करने के लिए आधार प्रदान करता है
  • RE में स्थानीयकृत AI समाधानों के अनुप्रयोग को बढ़ावा देता है

लागू परिदृश्य

  1. गोपनीयता-संवेदनशील वातावरण: वित्त, स्वास्थ्यसेवा आदि जहां डेटा गोपनीयता की आवश्यकता अत्यधिक है
  2. संसाधन-सीमित परिदृश्य: छोटे और मध्यम उद्यम या सीमित कम्प्यूटेशनल संसाधन वाले वातावरण
  3. ऑफलाइन तैनाती की आवश्यकता: ऐसे परिदृश्य जहां नेटवर्क के बिना चलाने की आवश्यकता है
  4. लागत नियंत्रण: API कॉल लागत के प्रति संवेदनशील अनुप्रयोग

भविष्य के अनुसंधान दिशाएं

लेखकों द्वारा प्रस्तावित दिशाएं

  1. व्याख्यात्मकता: वर्गीकरण व्याख्या उत्पन्न करने में सक्षम मॉडल विकसित करना, निर्णय पारदर्शिता बढ़ाना
  2. बहु-कार्य मूल्यांकन: आवश्यकता ट्रेसेबिलिटी, मॉडल जनरेशन आदि अन्य RE कार्यों तक विस्तार करना
  3. मिश्रित पाइपलाइन: SLMs और LLMs के सहयोगी कार्य के लिए RE वर्कफ़्लो डिजाइन करना
  4. ऊर्जा खपत अनुसंधान: विभिन्न मॉडलों के पर्यावरणीय प्रभाव को मापना
  5. उपकरण समर्थन: लचीले मॉडल चयन का समर्थन करने वाले व्यावहारिक उपकरण विकसित करना

सुझाई गई विस्तार अनुसंधान

  1. बड़े पैमाने पर अनुसंधान: अधिक मॉडल और बड़े डेटासेट शामिल करना
  2. सूक्ष्म-दानेदार विश्लेषण: विभिन्न प्रकार की आवश्यकताओं की वर्गीकरण कठिनाई में अंतर का अध्ययन करना
  3. डोमेन अनुकूलन: विभिन्न अनुप्रयोग क्षेत्रों में मॉडल की सामान्यीकरण क्षमता का मूल्यांकन करना
  4. मानव-मशीन सहयोग: मानव विशेषज्ञों और AI मॉडल के सहयोग के तरीकों का अध्ययन करना

संदर्भ

पेपर आवश्यकता इंजीनियरिंग, प्राकृतिक भाषा प्रसंस्करण और भाषा मॉडल के क्षेत्र के 17 संबंधित संदर्भों का हवाला देता है, जो अनुसंधान के लिए एक मजबूत सैद्धांतिक आधार प्रदान करता है।

समग्र मूल्यांकन: यह एक उच्च-गुणवत्ता वाला अनुभवजन्य अनुसंधान पेपर है जो एक महत्वपूर्ण और व्यावहारिक समस्या पर मूल्यवान अंतर्दृष्टि प्रदान करता है। कुछ सीमाओं के बावजूद, इसकी खोजें शैक्षणिक और औद्योगिक दोनों क्षेत्रों के लिए महत्वपूर्ण हैं, विशेष रूप से वर्तमान AI मॉडल चयन और तैनाती रणनीति निर्माण के संदर्भ में।