2025-11-22T07:37:16.078617

A Survey of Inductive Reasoning for Large Language Models

Chen, Ruan, Dan et al.
Reasoning is an important task for large language models (LLMs). Among all the reasoning paradigms, inductive reasoning is one of the fundamental types, which is characterized by its particular-to-general thinking process and the non-uniqueness of its answers. The inductive mode is crucial for knowledge generalization and aligns better with human cognition, so it is a fundamental mode of learning, hence attracting increasing interest. Despite the importance of inductive reasoning, there is no systematic summary of it. Therefore, this paper presents the first comprehensive survey of inductive reasoning for LLMs. First, methods for improving inductive reasoning are categorized into three main areas: post-training, test-time scaling, and data augmentation. Then, current benchmarks of inductive reasoning are summarized, and a unified sandbox-based evaluation approach with the observation coverage metric is derived. Finally, we offer some analyses regarding the source of inductive ability and how simple model architectures and data help with inductive tasks, providing a solid foundation for future research.
academic

बड़े भाषा मॉडल के लिए आगमनात्मक तर्क का सर्वेक्षण

बुनियादी जानकारी

  • पेपर ID: 2510.10182
  • शीर्षक: A Survey of Inductive Reasoning for Large Language Models
  • लेखक: Kedi Chen, Dezhao Ruan, Yuhao Dan, Yaoting Wang, Siyu Yan, Xuecheng Wu, Yinqi Zhang, Qin Chen, Jie Zhou, Liang He, Biqing Qi, Linyang Li, Qipeng Guo, Xiaoming Shi, Wei Zhang
  • वर्गीकरण: cs.CL cs.AI
  • प्रकाशन समय: 25 अक्टूबर 2010 (arXiv प्रस्तुति)
  • पेपर लिंक: https://arxiv.org/abs/2510.10182v1

सारांश

तर्क बड़े भाषा मॉडल (LLMs) का एक महत्वपूर्ण कार्य है। सभी तर्क प्रतिमानों में, आगमनात्मक तर्क एक मौलिक प्रकार है, जिसकी विशेषता विशेष से सामान्य तक की सोच प्रक्रिया और उत्तरों की अद्वितीयता की कमी है। आगमनात्मक तर्क पैटर्न ज्ञान सामान्यीकरण के लिए महत्वपूर्ण है, मानव संज्ञान के साथ बेहतर संरेखण प्रदान करता है, और सीखने का एक मौलिक पैटर्न है, इसलिए यह बढ़ती ध्यान आकर्षित कर रहा है। हालांकि आगमनात्मक तर्क महत्वपूर्ण है, वर्तमान में कोई व्यवस्थित सारांश नहीं है। इसलिए, यह पेपर पहली बार LLMs के आगमनात्मक तर्क का व्यापक सर्वेक्षण प्रदान करता है। सबसे पहले, आगमनात्मक तर्क में सुधार के तरीकों को तीन मुख्य क्षेत्रों में विभाजित किया गया है: पश्च-प्रशिक्षण, परीक्षण-समय विस्तार और डेटा संवर्धन। फिर, वर्तमान आगमनात्मक तर्क बेंचमार्क को सारांशित किया गया है, और एक एकीकृत सैंडबॉक्स-आधारित मूल्यांकन विधि और अवलोकन कवरेज मेट्रिक प्रस्तावित की गई है। अंत में, आगमनात्मक क्षमता के स्रोतों का विश्लेषण किया गया है और सरल मॉडल आर्किटेक्चर और डेटा कैसे आगमनात्मक कार्यों में सहायता करते हैं, भविष्य के अनुसंधान के लिए एक ठोस आधार प्रदान करते हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा और महत्व

  1. मुख्य समस्या: हालांकि आगमनात्मक तर्क LLMs में महत्वपूर्ण है, लेकिन व्यवस्थित अनुसंधान सारांश और पद्धति संबंधी ढांचे की कमी है।
  2. महत्व का प्रदर्शन:
    • आगमनात्मक तर्क विशेष अवलोकनों से सामान्य नियमों को निकालने की एक बुनियादी संज्ञानात्मक क्षमता है
    • मानव संज्ञान पैटर्न के साथ बेहतर संरेखण, ज्ञान सामान्यीकरण की कुंजी है
    • NLP डाउनस्ट्रीम कार्यों और वास्तविक परिदृश्यों में व्यापक अनुप्रयोग
    • निगमनात्मक तर्क के विपरीत, आगमनात्मक तर्क उत्तरों में अद्वितीयता की कमी की विशेषता है

मौजूदा अनुसंधान की सीमाएं

  1. अनुसंधान पूर्वाग्रह: पिछले कार्य मुख्य रूप से निगमनात्मक तर्क (जैसे गणितीय प्रमाण, प्रोग्राम सत्यापन) पर केंद्रित थे, आगमनात्मक तर्क पर कम ध्यान दिया गया
  2. व्यवस्थितता की कमी: कोई एकीकृत विधि वर्गीकरण और मूल्यांकन ढांचा नहीं है
  3. सैद्धांतिक विश्लेषण अपर्याप्त: आगमनात्मक क्षमता के स्रोतों और प्रभावशाली कारकों के बारे में गहन विश्लेषण की कमी है

अनुसंधान प्रेरणा

यह पेपर LLMs आगमनात्मक तर्क अनुसंधान में अंतराल को भरने, पहला व्यापक अनुसंधान ढांचा प्रदान करने, और इस क्षेत्र के विकास के लिए एक आधार स्थापित करने का उद्देश्य रखता है।

मुख्य योगदान

  1. पहला व्यापक सर्वेक्षण: LLMs आगमनात्मक तर्क क्षेत्र का पहला व्यवस्थित सारांश प्रदान करता है
  2. नई वर्गीकरण प्रणाली: सुधार विधियों को पश्च-प्रशिक्षण, परीक्षण-समय विस्तार, डेटा संवर्धन में विभाजित करता है
  3. एकीकृत मूल्यांकन ढांचा: सैंडबॉक्स-आधारित मूल्यांकन विधि और अवलोकन कवरेज (OC) मेट्रिक प्रस्तावित करता है
  4. सैद्धांतिक विश्लेषण: आगमनात्मक क्षमता के स्रोतों और सरल आर्किटेक्चर/डेटा की भूमिका का गहन विश्लेषण करता है
  5. दूरदर्शी दृष्टिकोण: न केवल मौजूदा विधियों को सारांशित करता है, बल्कि भविष्य की दिशा भी दिखाता है

विधि विवरण

कार्य परिभाषा

आगमनात्मक तर्क कार्य की मुख्य विशेषताएं:

  • इनपुट: ठोस अवलोकन उदाहरण या केस
  • आउटपुट: अवलोकनों से निकाले गए सामान्य नियम या नियम
  • विशेषताएं: विशेष से सामान्य तक की सोच प्रक्रिया, उत्तरों में अद्वितीयता की कमी

विधि वर्गीकरण ढांचा

1. पश्च-प्रशिक्षण विधियां (Post-training)

सिंथेटिक डेटा जनरेशन:

  • LingR: भाषा नियम निर्देश सेट का निर्माण, मॉडल को भाषा नियमों के आधार पर चरणबद्ध तर्क सीखने के लिए
  • ItD: LLMs की निगमनात्मक क्षमता का उपयोग करके आगमनात्मक क्षमता को अनुकूलित करने के लिए डेटा जनरेट करना
  • CodeSeq: डिजिटल अनुक्रम सामान्य सूत्र के लिए प्रशिक्षण सेट का निर्माण

IRL शैली अनुकूलन:

  • पुरस्कार मॉडल डिजाइन करने के लिए व्युत्क्रम सुदृढीकरण सीखने (IRL) विचार का उपयोग
  • RLHF प्रक्रिया अनिवार्य रूप से IRL है, मानव प्रतिक्रिया के माध्यम से अंतर्निहित पुरस्कार फ़ंक्शन का अनुमान लगाना
  • Prompt-OIRL: ऐतिहासिक प्रॉम्प्ट अनुभव के आधार पर पुरस्कार मॉडल प्रशिक्षण

2. परीक्षण-समय विस्तार (Test-time Scaling)

परिकल्पना चयन:

  • MoC: शब्दार्थ गैर-अनावश्यक अवधारणा सूची जनरेट करना, प्रत्येक अवधारणा के आधार पर परिकल्पना जनरेट करना
  • EPIC: छोटे LLMs का उपयोग करके उम्मीदवार एन्कोडिंग जनरेट करना, समायोजन तंत्र के माध्यम से फ़िल्टर करना

परिकल्पना पुनरावृत्ति:

  • तीन-चरणीय पुनरावृत्ति परिकल्पना अनुकूलन: कई परिकल्पनाएं जनरेट करना → कवरेज क्षमता का मूल्यांकन करना → प्रतिक्रिया के आधार पर संशोधन
  • SSR: निष्पादन प्रतिक्रिया के माध्यम से उम्मीदवार नियमों को पुनरावृत्ति करके अनुकूलित करना
  • ARISE: मॉडल प्रशिक्षण के लिए उपयोग करने के लिए आगमनात्मक नियमों को पुनरावृत्ति करके अनुकूलित करना

परिकल्पना विकास:

  • IncSchema: LLMs को चरणबद्ध रूप से क्वेरी करना, क्रमिक रूप से सामान्य पैटर्न का आगमन करना
  • HRI: आगमनात्मक मेटा-नियम जनरेट करना और नमूनों के साथ मिलान करना, प्रथम-क्रम तर्क नियमों में विकसित करना
  • PRIMO: क्रमिक बहु-चरणीय खुली नियम आगमन विधि

3. डेटा संवर्धन (Data Augmentation)

मानव हस्तक्षेप:

  • SS-VQ-VAE: नए पैटर्न खोजने के लिए कम मात्रा में मानव एनोटेशन जानकारी पर निर्भर करना
  • विशेषज्ञ ज्ञान और मानव एनोटेशन जानकारी का महत्व

बाहरी ज्ञान पुनः प्राप्ति:

  • LLEGO: LLMs में शब्दार्थ पूर्व ज्ञान को आनुवंशिक प्रोग्रामिंग संचालन में एकीकृत करना
  • अन्य LLMs के पैरामीटर ज्ञान को पूरक जानकारी स्रोत के रूप में उपयोग करना

संरचित संकेत:

  • स्थानीय निहित संकेत प्रदान करने के लिए सबग्राफ या संदर्भ जानकारी का उपयोग करना
  • QARR: आगमनात्मक तर्क के लिए क्वेरी इकाई के खुले सबग्राफ को निकालना
  • REST: स्थानीय शब्दार्थ पैटर्न को कैप्चर करने के लिए नियम-प्रेरित सबग्राफ तैनात करना

प्रायोगिक सेटअप

बेंचमार्क डेटासेट

पेपर 17 मुख्य आगमनात्मक तर्क बेंचमार्क को सारांशित करता है:

वस्तु प्रकारबेंचमार्क नामअवलोकन इनपुटआगमनात्मक लक्ष्यनमूना संख्या
इकाईSCANइकाई स्थितिस्थिति क्रिया7,700
ग्रिडARCग्रिड जोड़ीग्रिड परिवर्तन नियम400
सूचीList Functionsडिजिटल सूची जोड़ीसूची संचालन नियम250
कोडPROGESइनपुट आउटपुटप्रोग्राम10,000
स्ट्रिंगSyGuSस्ट्रिंग जोड़ीस्ट्रिंग मैपिंग प्रोग्राम2,000
डिजिटलCodeSeqडिजिटल अनुक्रमसामान्य सूत्र1,500

मूल्यांकन मेट्रिक्स

पारंपरिक मूल्यांकन:

  • सटीकता (ACC), सटीक मिलान, सफलता दर आदि

नई प्रस्तावित सैंडबॉक्स मूल्यांकन:

  • अवलोकन कवरेज (OC): यूनिट परीक्षण पास करने वाले अवलोकनों का अनुपात
  • अधिक सूक्ष्म पर्यवेक्षण संकेत प्रदान करता है

प्रायोगिक परिणाम

विधि प्रभावशीलता विश्लेषण

पश्च-प्रशिक्षण विधियां:

  • सिंथेटिक डेटा विधियां विशिष्ट आगमनात्मक कार्यों पर मॉडल प्रदर्शन में महत्वपूर्ण सुधार करती हैं
  • IRL शैली अनुकूलन उत्तरों की अद्वितीयता की कमी को संभालने में लाभ दिखाता है

परीक्षण-समय विस्तार:

  • परिकल्पना पुनरावृत्ति विधि जटिल तर्क श्रृंखला कार्यों पर उत्कृष्ट प्रदर्शन करती है
  • परिकल्पना विकास विधि अधिक जटिल पैटर्न को कैप्चर कर सकती है

डेटा संवर्धन:

  • बाहरी ज्ञान पुनः प्राप्ति ज्ञान-गहन कार्यों में महत्वपूर्ण प्रभाव दिखाती है
  • संरचित संकेत सामान्यीकरण क्षमता में सुधार के लिए महत्वपूर्ण भूमिका निभाते हैं

मुख्य निष्कर्ष

  1. आगमनात्मक सिर का महत्व: आगमनात्मक क्षमता ध्यान तंत्र में आगमनात्मक सिर से आती है
  2. सरलता सिद्धांत: सरल मॉडल आर्किटेक्चर और डेटा अक्सर आगमनात्मक तर्क के लिए अधिक अनुकूल होते हैं
  3. विविध विधियों की पूरकता: विभिन्न प्रकार की विधियां विभिन्न परिदृश्यों में अपने स्वयं के लाभ हैं

संबंधित कार्य

मुख्य अनुसंधान दिशाएं

  1. निगमनात्मक तर्क: गणितीय प्रमाण, प्रोग्राम सत्यापन आदि तार्किक तर्क
  2. सादृश्य तर्क: समानता के आधार पर विशेष से विशेष तर्क
  3. संदर्भ सीखना: उदाहरण-आधारित पैटर्न पहचान

इस पेपर के योगदान की विशिष्टता

  • पहली बार आगमनात्मक तर्क के इस उपेक्षित लेकिन महत्वपूर्ण क्षेत्र पर व्यवस्थित रूप से ध्यान केंद्रित करता है
  • पूर्ण पद्धति संबंधी ढांचा और मूल्यांकन प्रणाली प्रदान करता है
  • आगमनात्मक तर्क के सैद्धांतिक आधार का गहन विश्लेषण करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. आगमनात्मक तर्क LLMs की एक बुनियादी क्षमता है, ज्ञान सामान्यीकरण के लिए महत्वपूर्ण है
  2. तीन प्रकार की सुधार विधियां अपनी विशेषताएं रखती हैं, विशिष्ट कार्यों के अनुसार चयन की आवश्यकता है
  3. सरलता आगमनात्मक तर्क में महत्वपूर्ण भूमिका निभाती है
  4. एकीकृत मूल्यांकन ढांचा क्षेत्र विकास को बढ़ावा देने में सहायता करता है

सीमाएं

  1. पृष्ठ सीमा: स्थान की कमी के कारण, कई विवरण मुख्य पाठ में विस्तार से नहीं दिए जा सके
  2. सीमित अनुसंधान संख्या: आगमनात्मक तर्क संबंधित अनुसंधान अपेक्षाकृत कम है, बड़े पैमाने पर व्यवस्थित सारांश बनाना कठिन है
  3. सैद्धांतिक विश्लेषण गहराई: आगमनात्मक तंत्र की सैद्धांतिक समझ को और गहरा करने की आवश्यकता है

भविष्य की दिशाएं

  1. विधि नवाचार: कई विधियों के मिश्रित समाधान का संयोजन
  2. मूल्यांकन सुधार: अधिक व्यापक मूल्यांकन बेंचमार्क और मेट्रिक्स विकसित करना
  3. सैद्धांतिक गहरीकरण: आगमनात्मक क्षमता के तंत्रिका तंत्र को गहराई से समझना
  4. अनुप्रयोग विस्तार: अधिक वास्तविक परिदृश्यों में आगमनात्मक तर्क विधियों को सत्यापित करना

गहन मूल्यांकन

शक्तियां

  1. अग्रणी कार्य: LLMs आगमनात्मक तर्क अनुसंधान में अंतराल को भरता है
  2. मजबूत व्यवस्थितता: पूर्ण वर्गीकरण ढांचा और मूल्यांकन प्रणाली प्रदान करता है
  3. दूरदर्शी दृष्टिकोण: न केवल मौजूदा कार्यों की समीक्षा करता है, बल्कि भविष्य विकास की भी दिशा दिखाता है
  4. उच्च व्यावहारिक मूल्य: शोधकर्ताओं को स्पष्ट अनुसंधान मार्ग प्रदान करता है
  5. सिद्धांत और अभ्यास दोनों पर जोर: विधि सारांश और सैद्धांतिक विश्लेषण दोनों हैं

कमियां

  1. सीमित गहन विश्लेषण: एक सारांश पेपर के रूप में, विशिष्ट विधियों के तकनीकी विवरणों का विश्लेषण अपेक्षाकृत सीमित है
  2. प्रायोगिक सत्यापन की कमी: मुख्य रूप से विधि सारांश है, एकीकृत प्रायोगिक तुलना की कमी है
  3. कमजोर सैद्धांतिक आधार: आगमनात्मक तर्क के संज्ञानात्मक विज्ञान और तंत्रिका विज्ञान आधार पर चर्चा पर्याप्त नहीं है

प्रभाव

  1. शैक्षणिक मूल्य: उभरते क्षेत्र के लिए अनुसंधान ढांचा स्थापित करता है, महत्वपूर्ण संदर्भ साहित्य बनने की उम्मीद है
  2. व्यावहारिक महत्व: औद्योगिक अनुप्रयोगों के लिए विधि मार्गदर्शन प्रदान करता है
  3. प्रेरणा प्रभाव: अधिक शोधकर्ताओं को आगमनात्मक तर्क क्षेत्र पर ध्यान देने के लिए प्रेरित करने की उम्मीद है

लागू परिदृश्य

  1. अनुसंधान परिचय: इस क्षेत्र में नए प्रवेशकर्ताओं के लिए व्यापक अवलोकन प्रदान करता है
  2. विधि चयन: व्यावहारिक अनुप्रयोगों के लिए विधि चयन मार्गदर्शन प्रदान करता है
  3. भविष्य अनुसंधान: अनुसंधान दिशा निर्धारण के लिए संदर्भ ढांचा प्रदान करता है

संदर्भ

पेपर संबंधित कार्यों की एक बड़ी संख्या का हवाला देता है, मुख्य रूप से:

  • बड़े भाषा मॉडल मौलिक अनुसंधान (Zhao et al., 2023; Wei et al., 2021)
  • तर्क क्षमता अनुसंधान (Huang and Chang, 2022; Plaat et al., 2024)
  • आगमनात्मक तर्क सैद्धांतिक आधार (Arthur, 1994; Heit, 2000)
  • विशिष्ट विधियां और बेंचमार्क (Chollet, 2019; Rule, 2020 आदि)

समग्र मूल्यांकन: यह एक उच्च गुणवत्ता वाला सारांश पेपर है जो LLMs आगमनात्मक तर्क के इस महत्वपूर्ण लेकिन उपेक्षित अनुसंधान क्षेत्र को व्यवस्थित रूप से प्रस्तुत करता है। पेपर का वर्गीकरण ढांचा स्पष्ट है, कवरेज व्यापक है, और इस क्षेत्र के विकास को बढ़ावा देने में महत्वपूर्ण मूल्य है। हालांकि तकनीकी गहराई और प्रायोगिक सत्यापन में कुछ कमी है, लेकिन पहले व्यवस्थित सारांश के रूप में, इसका अग्रणी महत्व और शैक्षणिक मूल्य निर्विवाद है।