Cross-Question Method Reuse in Large Language Models: From Word-Level Prediction to Rational Logical-Layer Reasoning
Su
Large language models (LLMs) have been widely applied to assist in finding solutions for diverse questions. Prior work has proposed representing a method as a pair of a question and its corresponding solution, enabling method reuse. However, existing approaches typically require the questions to be highly similar. In this paper, we extend the scope of method reuse to address questions with low similarity or with hidden similarities that are not explicitly observable. For questions that are similar in a general-specific sense (i.e., broader or narrower in scope), we propose to first separate the question and solution, rather than directly feeding the pair to the LLM. The LLM is then guided to adapt the solution to new but related questions, allowing it to focus on solution transfer rather than question recognition. Furthermore, we extend this approach to cases where questions only share partial features or hidden characteristics. This enables cross-question method reuse beyond conventional similarity constraints. Experimental verification shows that our scope-extension approach increases the probability of filtering out reusable solutions, thereby improving the effectiveness of cross-question method reuse.
academic
বড় ভাষা মডেলে ক্রস-প্রশ্ন পদ্ধতি পুনর্ব্যবহার: শব্দ-স্তরের পূর্বাভাস থেকে যুক্তিসঙ্গত যৌক্তিক-স্তরের যুক্তিতে
বড় ভাষা মডেল (LLMs) বিভিন্ন সমস্যা সমাধানে সহায়তার জন্য ব্যাপকভাবে প্রয়োগ করা হয়েছে। পূর্ববর্তী কাজগুলি পদ্ধতিগুলিকে প্রশ্ন এবং তাদের সংশ্লিষ্ট সমাধানের জোড়া হিসাবে প্রতিনিধিত্ব করার প্রস্তাব দিয়েছে যাতে পদ্ধতি পুনর্ব্যবহার অর্জন করা যায়। তবে, বিদ্যমান পদ্ধতিগুলি সাধারণত প্রশ্নগুলির মধ্যে উচ্চ সাদৃশ্যের প্রয়োজন করে। এই গবেষণাপত্রটি পদ্ধতি পুনর্ব্যবহারের পরিধি প্রসারিত করে, কম সাদৃশ্য বা লুকানো সাদৃশ্য সহ সমস্যাগুলি পরিচালনা করতে। সাধারণ-নির্দিষ্ট অর্থে সমান সমস্যাগুলির জন্য, লেখকরা প্রথমে প্রশ্ন এবং সমাধানগুলি আলাদা করার প্রস্তাব দেন, সরাসরি জোড়াটি LLM-এ ইনপুট করার পরিবর্তে। তারপর LLM-কে নতুন সম্পর্কিত সমস্যাগুলিতে সমাধান অভিযোজিত করতে গাইড করুন, যাতে এটি সমস্যা সনাক্তকরণের পরিবর্তে সমাধান স্থানান্তরের উপর ফোকাস করে। অতিরিক্তভাবে, এই পদ্ধতিটি শুধুমাত্র আংশিক বৈশিষ্ট্য বা লুকানো বৈশিষ্ট্য ভাগ করে নেওয়া সমস্যাগুলিতে প্রসারিত হয়। পরীক্ষামূলক যাচাইকরণ দেখায় যে এই পরিধি সম্প্রসারণ পদ্ধতি পুনর্ব্যবহারযোগ্য সমাধানগুলি নির্বাচন করার সম্ভাবনা বৃদ্ধি করে, যার ফলে ক্রস-প্রশ্ন পদ্ধতি পুনর্ব্যবহারের কার্যকারিতা উন্নত হয়।
ঐতিহ্যবাহী বড় ভাষা মডেলগুলি প্রধানত শব্দ স্তরে প্রশিক্ষিত হয়, পরবর্তী টোকেন পূর্বাভাস বা অনুপস্থিত টোকেন পূরণের মাধ্যমে শিখে। এই প্রশিক্ষণ পদ্ধতি প্রধানত পরিসংখ্যানগত সহ-উপস্থিতি প্রতিফলিত করে, উচ্চ-স্তরের যৌক্তিক যুক্তি নয়, যা স্বজ্ঞা বা প্যাটার্ন ম্যাচিংয়ের মতো যুক্তিসঙ্গত সিদ্ধান্তের চেয়ে বেশি।
শব্দ-স্তরের যুক্তির সীমাবদ্ধতা: বর্তমান ট্রান্সফর্মার-ভিত্তিক LLMs পদ্ধতি-স্তরের যুক্তিতে অসুবিধা অনুভব করে, প্রশিক্ষণ ডেটায় ঘন ঘন উপস্থিত পদ্ধতিগুলি পছন্দ করার প্রবণতা রাখে, এমনকি যখন এই পদ্ধতিগুলি সর্বোত্তম নয়।
পদ্ধতি পুনর্ব্যবহারের সীমাবদ্ধতা: বিদ্যমান পদ্ধতি পুনর্ব্যবহার কাঠামোগুলি প্রশ্নগুলির মধ্যে উচ্চ সাদৃশ্যের প্রয়োজন করে, যা এর প্রয়োগের পরিধি সীমিত করে।
ক্রস-ডোমেইন জ্ঞান স্থানান্তরের প্রয়োজন: মানুষ একটি সমস্যার সমাধান অনুরূপভাবে দেখতে সম্পর্কহীন নতুন সমস্যাগুলিতে প্রয়োগ করতে পারে, তবে বিদ্যমান LLMs-এ ক্রস-প্রশ্ন পদ্ধতি পুনর্ব্যবহারের ক্ষমতা অভাব রয়েছে।
পদ্ধতি পুনর্ব্যবহারের পরিধি প্রসারিত করা: পদ্ধতি পুনর্ব্যবহারকে উচ্চ সাদৃশ্য কেস থেকে সাধারণ-নির্দিষ্ট ম্যাপিং এবং বৈশিষ্ট্য-ভিত্তিক লুকানো সম্পর্কে প্রসারিত করা।
ক্রস-প্রশ্ন পদ্ধতি পুনর্ব্যবহার মডেল প্রস্তাব করা:
সম্পর্কিত পুনর্ব্যবহার: সাধারণ-নির্দিষ্ট সম্পর্ক এবং সমান্তরাল সম্পর্ক পরিচালনা করা
বৈশিষ্ট্য-ভিত্তিক পুনর্ব্যবহার: আংশিক বৈশিষ্ট্য ম্যাচিং এবং লুকানো বৈশিষ্ট্য সনাক্তকরণ সমর্থন করা
"পদ্ধতির পদ্ধতি" (Method of Methods, MoM) ধারণা প্রবর্তন করা: বর্তমান প্রয়োগকৃত পদ্ধতির কার্যকারিতা যাচাই, উন্নত এবং উন্নীত করার জন্য উচ্চ-স্তরের পদ্ধতি প্রদান করা।
তাত্ত্বিক কাঠামো: শব্দ-স্তরের পূর্বাভাস থেকে যৌক্তিক-স্তরের যুক্তিতে উন্নীত করা, যুক্তিসঙ্গত এবং খাঁটি পরিসংখ্যানগত সমাধান প্রয়োগ অর্জন করা।
একটি লক্ষ্য প্রশ্ন Qt দেওয়া, সরাসরি সমাধান ছাড়াই, বিদ্যমান পদ্ধতি লাইব্রেরি থেকে পুনর্ব্যবহারযোগ্য সমাধান খুঁজে পান, এমনকি যখন এই পদ্ধতিগুলির মূল প্রশ্নগুলি লক্ষ্য প্রশ্নের সাথে কম সাদৃশ্য বা লুকানো সম্পর্ক রয়েছে।
বৈশ্বিক পদ্ধতি Gi = (Qgi, Sgi) ব্যাপক প্রযোজ্যতা রয়েছে এবং পদ্ধতি সম্পাদনের নির্ভরযোগ্যতা এবং সামঞ্জস্য উন্নত করার জন্য সর্বজনীন প্রোগ্রাম বৃদ্ধি হিসাবে কাজ করতে পারে।
সম্পর্কিত পুনর্ব্যবহার আরও স্থিতিশীল: কাঠামোগত সংযোগের উপর নির্ভরশীল সম্পর্কিত পুনর্ব্যবহার আংশিক ওভারল্যাপের উপর ভিত্তি করে বৈশিষ্ট্য-ভিত্তিক পুনর্ব্যবহারের চেয়ে আরও স্থিতিশীল কর্মক্ষমতা প্রদর্শন করে।
স্পষ্ট বিচ্ছেদের প্রভাব: LLM-কে সরাসরি উপাদান প্রদানের চেয়ে প্রশ্ন-সমাধান জোড়া তৈরি করার জন্য স্পষ্টভাবে অনুরোধ করা আরও কার্যকর।
পরিসংখ্যানগত তাৎপর্য: সম্পর্কিত পুনর্ব্যবহারের পরিসংখ্যানগত বিচ্ছেদ শক্তিশালী (t মূল্য 9.23 বনাম 4.80), যা প্রভাব আরও নির্ভরযোগ্য তা নির্দেশ করে।
ঐতিহ্যবাহী LLMs টোকেন স্তরে বিতরণ P(wt+1|w1,w2,...,wt) শিখে, প্রধানত পরিসংখ্যানগত সহ-উপস্থিতি প্যাটার্ন ক্যাপচার করে। এই কাঠামো পদ্ধতি M=(Q,S) প্রতিনিধিত্বের মাধ্যমে যৌক্তিক-স্তরের পুনর্ব্যবহার ম্যাপিং অর্জন করে:
ক্রস-প্রশ্ন পদ্ধতি পুনর্ব্যবহার কাঠামো সফলভাবে LLM-এর প্রয়োগের পরিধি প্রসারিত করেছে, যা এটিকে কম সাদৃশ্যের সমস্যাগুলি পরিচালনা করতে সক্ষম করে।
সম্পর্কিত পুনর্ব্যবহার সাধারণ-নির্দিষ্ট নির্ভরতা পরিচালনায় আরও স্থিতিশীল, বৈশিষ্ট্য-ভিত্তিক পুনর্ব্যবহার লুকানো ওভারল্যাপ পরিচালনার জন্য একটি পরিপূরক প্রক্রিয়া প্রদান করে।
কাঠামোগত প্রশ্ন-সমাধান বিচ্ছেদ কৌশল পদ্ধতি পুনর্ব্যবহারের কার্যকারিতা উল্লেখযোগ্যভাবে উন্নত করে।
Wei, J. et al. "Chain-of-thought prompting elicits reasoning in large language models." NeurIPS 2022.
Wang, X. et al. "Self-consistency improves chain of thought reasoning in language models." arXiv 2022.
Yao, S. et al. "Tree of thoughts: Deliberate problem solving with large language models." NeurIPS 2023.
Su, H. "Method-based reasoning for large language models: Extraction, reuse, and continuous improvement." arXiv 2025.
সামগ্রিক মূল্যায়ন: এই গবেষণাপত্রটি একটি উদ্ভাবনী ক্রস-প্রশ্ন পদ্ধতি পুনর্ব্যবহার কাঠামো প্রস্তাব করেছে, যা কম সাদৃশ্যের পরিস্থিতিতে LLM-এর প্রয়োগ ক্ষমতা সফলভাবে প্রসারিত করেছে। যদিও পরীক্ষার স্কেল এবং কিছু প্রযুক্তিগত বিবরণে উন্নতির জায়গা রয়েছে, তবে এর তাত্ত্বিক অবদান এবং ব্যবহারিক মূল্য এটিকে LLM যুক্তি গবেষণা ক্ষেত্রের একটি গুরুত্বপূর্ণ কাজ করে তোলে।