"প্রাক-প্রশিক্ষণ-প্রম্পট" প্যারাডাইম প্রাক-প্রশিক্ষণ কাজ এবং ডাউনস্ট্রিম লক্ষ্যগুলির মধ্যে ব্যবধান পূরণ করার লক্ষ্যে NLP ক্ষেত্র থেকে গ্রাফ ক্ষেত্রে প্রসারিত হয়েছে এবং উল্লেখযোগ্য অগ্রগতি অর্জন করেছে। বর্তমান মূলধারার গ্রাফ প্রম্পট সূক্ষ্ম-সুর পদ্ধতিগুলি শেখার যোগ্য প্রম্পট ভেক্টর ব্যবহার করে ইনপুট বা আউটপুট বৈশিষ্ট্যগুলি সংশোধন করে। তবে, বিদ্যমান পদ্ধতিগুলি প্রম্পট প্রজন্মের প্রক্রিয়ায় একক দানাদারিত্বে (যেমন নোড-স্তর বা সাবগ্রাফ-স্তর) সীমাবদ্ধ, গ্রাফ ডেটায় অন্তর্নিহিত মাল্টি-স্কেল কাঠামোগত তথ্য উপেক্ষা করে, যা প্রম্পট শব্দার্থের বৈচিত্র্যকে সীমাবদ্ধ করে। এই সমস্যা সমাধানের জন্য, এই পেপারটি প্রথমবারের মতো মাল্টি-স্কেল তথ্যকে গ্রাফ প্রম্পটে একীভূত করে এবং মাল্টি-স্কেল গ্রাফ চেইন-অফ-থট (MSGCOT) প্রম্পট কাঠামো প্রস্তাব করে। নির্দিষ্টভাবে, হালকা-ওজনের নিম্ন-র্যাঙ্ক সমন্বয় নেটওয়ার্ক ডিজাইন করা হয়েছে প্রম্পট প্রজন্মের জন্য মাল্টি-স্কেল কাঠামোগত বৈশিষ্ট্যগুলি দক্ষতার সাথে ক্যাপচার করতে। পরবর্তীতে, মানুষের মোটা-থেকে-সূক্ষ্ম দানাদারিত্ব জ্ঞানীয় প্রক্রিয়া অনুকরণ করে, প্রতিটি অনুমান পদক্ষেপে মাল্টি-স্কেল তথ্য গতিশীলভাবে একীভূত করে, ক্রমবর্ধমান মোটা-থেকে-সূক্ষ্ম প্রম্পট শৃঙ্খল গঠন করে। আটটি বেঞ্চমার্ক ডেটাসেটে ব্যাপক পরীক্ষা-নিরীক্ষা দেখায় যে MSGCOT অত্যাধুনিক একক-দানাদারিত্ব গ্রাফ প্রম্পট সূক্ষ্ম-সুর পদ্ধতিগুলিকে অতিক্রম করে, বিশেষ করে কম-নমুনা পরিস্থিতিতে উচ্চতর কর্মক্ষমতা প্রদর্শন করে।
এই গবেষণা যে মূল সমস্যাটি সমাধান করতে চায় তা হল বিদ্যমান গ্রাফ নিউরাল নেটওয়ার্ক প্রম্পট শেখার পদ্ধতিতে প্রম্পট প্রজন্মের প্রক্রিয়ায় একক-দানাদারিত্ব সীমাবদ্ধতা উপস্থিত রয়েছে। নির্দিষ্টভাবে প্রকাশ করা হয়েছে:
১. একক-দানাদারিত্ব সীমাবদ্ধতা: বিদ্যমান পদ্ধতিগুলি (যেমন GPF+, GCOT ইত্যাদি) শুধুমাত্র একক স্তরের তথ্যে মনোনিবেশ করে (নোড-স্তর, প্রান্ত-স্তর বা সাবগ্রাফ-স্তর), গ্রাফ ডেটায় নোড থেকে স্তরযুক্ত সাবগ্রাফ পর্যন্ত সহ-বিদ্যমান মাল্টি-স্কেল তথ্য উপেক্ষা করে ২. শব্দার্থ বৈচিত্র্যের অভাব: একক-দানাদারিত্ব প্রম্পট প্রজন্ম প্রম্পটের প্রকাশ ক্ষমতা এবং শব্দার্থ সমৃদ্ধি সীমাবদ্ধ করে ३. কাঠামোগত তথ্য ব্যবহার অপর্যাপ্ত: গ্রাফ ডেটায় অন্তর্নিহিত স্তরযুক্ত কাঠামোগত বৈশিষ্ট্যগুলি পর্যাপ্তভাবে ব্যবহার করা হয় না
এই সমস্যার গুরুত্ব প্রতিফলিত হয়:
१. ব্যবহারিক প্রয়োগের চাহিদা: বাস্তব-বিশ্বের গ্রাফ ডেটা (সামাজিক নেটওয়ার্ক, আণবিক গ্রাফ, সুপারিশ সিস্টেম ইত্যাদি) প্রকৃতিগতভাবে বহু-স্তরের কাঠামোগত তথ্য ধারণ করে २. কর্মক্ষমতা উন্নতির স্থান: মাল্টি-স্কেল তথ্যের কার্যকর ব্যবহার কম-নমুনা শেখার পরিস্থিতিতে মডেলের সাধারণীকরণ ক্ষমতা উল্লেখযোগ্যভাবে উন্নত করতে পারে ३. তাত্ত্বিক সম্পূর্ণতা: গ্রাফ প্রম্পট শেখার তাত্ত্বিক কাঠামোতে বহু-দানাদারিত্ব তথ্য মডেলিংয়ের ফাঁক পূরণ করে
१. GCOT: যদিও বহু-পদক্ষেপ প্রম্পট প্রজন্ম গ্রহণ করে, তবুও প্রতিটি পদক্ষেপ নোড-স্তর দানাদারিত্বে সীমাবদ্ধ থাকে २. একক-পদক্ষেপ প্রম্পট পদ্ধতি (GPF+, EdgePrompt ইত্যাদি): সম্পূর্ণ প্রম্পট সরাসরি তৈরি করে, ক্রমবর্ধমান অপ্টিমাইজেশন প্রক্রিয়া অনুপস্থিত ३. প্রাক-প্রশিক্ষণ নির্ভর পদ্ধতি: নির্দিষ্ট প্রাক-প্রশিক্ষণ কৌশলের প্রয়োজন, সীমিত সার্বজনীনতা
१. প্রথম মাল্টি-স্কেল গ্রাফ চেইন-অফ-থট কাঠামো: বহু-দানাদারিত্ব তথ্য একীভূত করার প্রথম গ্রাফ চেইন-অফ-থট প্রম্পট শেখার কাঠামো প্রস্তাব করে, বিদ্যমান পদ্ধতির একক-দানাদারিত্ব সীমাবদ্ধতা অতিক্রম করে
२. উদ্ভাবনী জ্ঞানীয় অনুকরণ প্রক্রিয়া: মাল্টি-স্কেল বৈশিষ্ট্য নিষ্কাশনের জন্য নিম্ন-র্যাঙ্ক সমন্বয় নেটওয়ার্ক ডিজাইন করে এবং ক্রমবর্ধমান প্রম্পট প্রজন্ম বাস্তবায়নের জন্য ব্যাকট্র্যাকিং প্রম্পট প্রক্রিয়া প্রস্তাব করে, মানুষের মোটা-থেকে-সূক্ষ্ম জ্ঞানীয় প্রক্রিয়া অনুকরণ করে
३. হালকা-ওজনের দক্ষ ডিজাইন: নিম্ন-র্যাঙ্ক বিয়োজনের মাধ্যমে পরামিতি সংখ্যা উল্লেখযোগ্যভাবে হ্রাস করে (GCOT এর তুলনায় ৪७.१%-८५.७% হ্রাস), একই সাথে উচ্চতর কর্মক্ষমতা বজায় রাখে
४. ব্যাপক পরীক্ষা-নিরীক্ষা যাচাইকরণ: ८টি বেঞ্চমার্ক ডেটাসেটে নোড শ্রেণীবিভাগ এবং গ্রাফ শ্রেণীবিভাগ কাজে সর্বোত্তম কর্মক্ষমতা অর্জন করে, বিশেষ করে কম-নমুনা পরিস্থিতিতে স্পষ্ট সুবিধা
ইনপুট: গ্রাফ , যেখানে নোড সেট, প্রান্ত সেট, নোড বৈশিষ্ট্য ম্যাট্রিক্স , সংলগ্ন ম্যাট্রিক্স
আউটপুট: ডাউনস্ট্রিম কাজের জন্য অপ্টিমাইজড প্রতিনিধিত্ব (নোড শ্রেণীবিভাগ/গ্রাফ শ্রেণীবিভাগ)
সীমাবদ্ধতা: প্রাক-প্রশিক্ষণ মডেল পরামিতি হিমায়িত, শুধুমাত্র হালকা-ওজনের প্রম্পট পরামিতি আপডেট করা হয়
MSGCOT কাঠামো তিনটি মূল মডিউল অন্তর্ভুক্ত করে:
যেখানে প্রাক-প্রশিক্ষণ এমবেডিং, নোড-স্তর প্রম্পট, প্রম্পট-পরবর্তী এমবেডিং।
নিম্ন-র্যাঙ্ক বিয়োজন ডিজাইন ব্যবহার করে হালকা-ওজনের সমন্বয় নেটওয়ার্ক:
যেখানে , (), -তম স্তরের সমন্বিত প্রতিনিধিত্ব।
নোড তথ্য হ্রাস প্রতিরোধ করতে কোসাইন পুনর্নির্মাণ ক্ষতি প্রবর্তন করে:
নোড শ্রেণীবিভাগ:
গ্রাফ শ্রেণীবিভাগ:
१. তত্ত্বাবধানকৃত শেখা: GCN, GAT २. প্রাক-প্রশিক্ষণ+সূক্ষ্ম-সুর: LP, GraphCL, DGI/InfoGraph ३. প্রাক-প্রশিক্ষণ+প্রম্পট:
८টি ডেটাসেটে, MSGCOT সর্বোত্তম কর্মক্ষমতা অর্জন করে:
নোড শ্রেণীবিভাগ:
গ্রাফ শ্রেণীবিভাগ:
१-३ নমুনা সেটিংয়ে, MSGCOT গড়ে ৫-८% দ্বারা বেসলাইন পদ্ধতি অতিক্রম করে, উচ্চতর কম-নমুনা সাধারণীকরণ ক্ষমতা প্রদর্শন করে।
সিস্টেমেটিক বিলোপন পরীক্ষা-নিরীক্ষা প্রতিটি উপাদানের অবদান যাচাই করে:
१. মাল্টি-স্কেল প্রম্পট (MSP): অপসারণের পরে নোড কাজ গড়ে ५.५२% হ্রাস, গ্রাফ কাজ १७.७% হ্রাস २. পুনর্নির্মাণ ক্ষতি (RE): নোড শ্রেণীবিভাগে উল্লেখযোগ্য প্রভাব, গ্রাফ শ্রেণীবিভাগ বৈশ্বিক তথ্যে মনোনিবেশ করে ३. ব্যাকট্র্যাকিং প্রক্রিয়া (TB): গ্রাফ শ্রেণীবিভাগের জন্য বিশেষভাবে গুরুত্বপূর্ণ, একমুখী প্রম্পট १२-१५% কর্মক্ষমতা হ্রাস করে ४. বৃদ্ধিমূলক আপডেট (IU): ক্রমবর্ধমান আপডেট २-५% কর্মক্ষমতা উন্নতি আনে
GCOT এর তুলনায় উল্লেখযোগ্যভাবে পরামিতি হ্রাস:
१. সমন্বয় হার: নোড কাজ সর্বোত্তম পরিসর ०.१-०.३, গ্রাফ কাজ ०.०५-०.३ পরিসরে স্থিতিশীল २. সমন্বয় স্তর সংখ্যা: নোড কাজ २ স্তরে সর্বোত্তম, গ্রাফ কাজ গভীর স্তর সমর্থন করতে পারে ३. লুকানো মাত্রা: r=८ এ নোড কাজ সর্বোত্তম, গ্রাফ কাজ r=१ এ ইতিমধ্যে উচ্চতর কর্মক্ষমতা
१. মাল্টি-স্কেল তথ্যের গুরুত্ব: পরীক্ষা-নিরীক্ষা প্রমাণ করে মাল্টি-স্কেল কাঠামোগত তথ্য গ্রাফ প্রম্পট শেখার জন্য গুরুত্বপূর্ণ २. জ্ঞানীয় অনুপ্রাণিত ডিজাইনের কার্যকারিতা: মানুষের মোটা-থেকে-সূক্ষ্ম জ্ঞানীয় প্রক্রিয়া অনুকরণ করা উল্লেখযোগ্যভাবে কর্মক্ষমতা উন্নত করে ३. পরামিতি দক্ষতা এবং কর্মক্ষমতার ভারসাম্য: নিম্ন-র্যাঙ্ক ডিজাইন পরামিতি উল্লেখযোগ্যভাবে হ্রাস করার সময় উচ্চতর কর্মক্ষমতা বজায় রাখে ४. কম-নমুনা শেখার সুবিধা: মাল্টি-স্কেল প্রম্পট ডেটা-দুর্লভ পরিস্থিতিতে বিশেষভাবে উচ্চতর কর্মক্ষমতা প্রদর্শন করে
१. গণনামূলক জটিলতা: বহু-পদক্ষেপ অনুমান নির্দিষ্ট গণনামূলক ওভারহেড যোগ করে २. হাইপারপ্যারামিটার সংবেদনশীলতা: সমন্বয় হার এবং স্তর সংখ্যা বিভিন্ন কাজের ধরনের জন্য সামঞ্জস্য প্রয়োজন ३. তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: মাল্টি-স্কেল প্রম্পটের কার্যকারিতার জন্য তাত্ত্বিক গ্যারান্টি অনুপস্থিত
१. স্ব-অভিযোজনশীল সমন্বয় কৌশল: কাজ স্ব-অভিযোজনশীল সমন্বয় প্রক্রিয়া গবেষণা করে २. তাত্ত্বিক বিশ্লেষণ: মাল্টি-স্কেল প্রম্পট শেখার তাত্ত্বিক কাঠামো প্রতিষ্ঠা করে ३. প্রসারিত প্রয়োগ: আরও বেশি গ্রাফ শেখার কাজে প্রয়োগের সম্ভাবনা অন্বেষণ করে
१. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো মাল্টি-স্কেল তথ্য সিস্টেমেটিকভাবে গ্রাফ প্রম্পট শেখায় একীভূত করে २. যুক্তিসঙ্গত ডিজাইন: নিম্ন-র্যাঙ্ক সমন্বয় নেটওয়ার্ক এবং ব্যাকট্র্যাকিং প্রক্রিয়া ডিজাইন দক্ষতা এবং কার্যকারিতা উভয়ই বিবেচনা করে ३. ব্যাপক পরীক্ষা-নিরীক্ষা: ८টি ডেটাসেট, একাধিক তুলনা পদ্ধতি, বিস্তারিত বিলোপন পরীক্ষা-নিরীক্ষা ४. উচ্চ ব্যবহারিক মূল্য: কম-নমুনা পরিস্থিতিতে স্পষ্ট সুবিধা, ব্যবহারিক প্রয়োগ চাহিদা পূরণ করে
१. দুর্বল তাত্ত্বিক ভিত্তি: পদ্ধতির কার্যকারিতার জন্য তাত্ত্বিক বিশ্লেষণ এবং গ্যারান্টি অনুপস্থিত २. গণনামূলক ওভারহেড বিশ্লেষণ অপর্যাপ্ত: জটিলতা বিশ্লেষণ প্রদান করা হয়েছে, কিন্তু প্রকৃত চালনা সময় তুলনা সীমিত ३. প্রয়োজনীয়তা অন্বেষণ অপর্যাপ্ত: বিভিন্ন ধরনের গ্রাফ ডেটার জন্য প্রয়োজনীয়তা বিশ্লেষণ অপর্যাপ্ত
१. একাডেমিক অবদান: গ্রাফ প্রম্পট শেখার ক্ষেত্রে নতুন গবেষণা দিকনির্দেশনা প্রদান করে २. ব্যবহারিক মূল্য: সম্পদ-সীমিত কম-নমুনা শেখার পরিস্থিতিতে গুরুত্বপূর্ণ প্রয়োগ মূল্য ३. পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং হাইপারপ্যারামিটার সেটিং প্রদান করা হয়েছে
१. কম-নমুনা গ্রাফ শেখা: লেবেলযুক্ত ডেটা দুর্লভ গ্রাফ বিশ্লেষণ কাজ २. মাল্টি-স্কেল গ্রাফ বিশ্লেষণ: বহু-স্তরের কাঠামোগত তথ্য ক্যাপচার প্রয়োজন এমন প্রয়োগ ३. সম্পদ-সীমিত পরিবেশ: পরামিতি দক্ষতার প্রয়োজনীয়তা সহ স্থাপনা পরিস্থিতি
এই পেপারটি ३८টি সম্পর্কিত রেফারেন্স উদ্ধৃত করে, যা গ্রাফ নিউরাল নেটওয়ার্ক, গ্রাফ প্রাক-প্রশিক্ষণ, প্রম্পট শেখা, গ্রাফ সমন্বয় এবং অন্যান্য সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।
সামগ্রিক মূল্যায়ন: এটি গ্রাফ নিউরাল নেটওয়ার্ক প্রম্পট শেখার একটি উচ্চ-মানের পেপার, যা সৃজনশীলভাবে বিদ্যমান পদ্ধতির একক-দানাদারিত্ব সীমাবদ্ধতা সমস্যা সমাধান করে। পদ্ধতি ডিজাইন যুক্তিসঙ্গত, পরীক্ষা-নিরীক্ষা যাচাইকরণ ব্যাপক, তাত্ত্বিক অবদান এবং ব্যবহারিক মূল্য উভয় ক্ষেত্রেই গুরুত্বপূর্ণ অর্থ রয়েছে। যদিও তাত্ত্বিক বিশ্লেষণে এখনও উন্নতির স্থান রয়েছে, সামগ্রিকভাবে গ্রাফ প্রম্পট শেখার ক্ষেত্রে গুরুত্বপূর্ণ অবদান রাখে।