গ্রাফ প্রম্পট লার্নিং (Graph Prompt Learning, GPL) গ্রাফ প্রাক-প্রশিক্ষিত মডেল এবং ডাউনস্ট্রিম কাজের মধ্যে সংযোগ স্থাপনের একটি কার্যকর প্যারাডাইম হিসাবে কাজ করে, যা লেবেল নির্ভরতা এবং আপস্ট্রিম-ডাউনস্ট্রিম কাজের অসামঞ্জস্য সমস্যা হ্রাস করতে পারে। যদিও বিদ্যমান GPL গবেষণা বিভিন্ন প্রম্পট কৌশল অন্বেষণ করেছে, তবুও এর কার্যকারিতা এবং সম্ভাব্য প্রক্রিয়া এখনও স্পষ্ট নয়। এই পেপারটি দুটি মূল সীমাবদ্ধতা চিহ্নিত করে: (1) অন্তর্নিহিত প্রক্রিয়া সম্পর্কে ঐক্যের অভাব: বিভিন্ন কৌশল মডেলের বিভিন্ন স্থানে (ইনপুট স্তর, স্তর, প্রতিনিধিত্ব স্তর) হস্তক্ষেপ করে; (2) সীমিত দৃশ্যকল্প অভিযোজনযোগ্যতা: বেশিরভাগ পদ্ধতি ডেটা বিতরণ পরিবর্তনের সময় সাধারণীকরণ করতে অসুবিধা পায়। এই পেপারটি তাত্ত্বিক বিশ্লেষণের মাধ্যমে প্রকাশ করে যে প্রতিনিধিত্ব-স্তরের প্রম্পট মূলত সহজ ডাউনস্ট্রিম শ্রেণীবিভাগকারীর সূক্ষ্ম-সুর করার সমতুল্য, এবং প্রস্তাব করে যে গ্রাফ প্রম্পট লার্নিং প্রাক-প্রশিক্ষিত মডেল ক্ষমতা মুক্ত করার উপর ফোকাস করা উচিত, যখন শ্রেণীবিভাগকারী ডাউনস্ট্রিম দৃশ্যকল্পে অভিযোজিত হয়। এই আবিষ্কারের উপর ভিত্তি করে, UniPrompt পদ্ধতি প্রস্তাব করা হয়, যা যেকোনো প্রাক-প্রশিক্ষিত মডেলের সাথে খাপ খাইয়ে নিতে পারে এবং ডোমেইন-অভ্যন্তরীণ এবং বাহ্যিক দৃশ্যকল্পে চমৎকার কর্মক্ষমতা অর্জন করে।
গ্রাফ প্রম্পট লার্নিং গ্রাফ প্রাক-প্রশিক্ষিত মডেল এবং ডাউনস্ট্রিম কাজের মধ্যে অসামঞ্জস্য সমস্যা সমাধানের লক্ষ্য রাখে, কিন্তু বিদ্যমান পদ্ধতিগুলি দুটি মূল চ্যালেঞ্জের সম্মুখীন:
প্রেরণামূলক পরীক্ষার মাধ্যমে, বিদ্যমান প্রতিনিধিত্ব-স্তরের প্রম্পট পদ্ধতিগুলি (যেমন GPPT, GraphPrompt) প্রাক-প্রশিক্ষিত মডেল পরিবর্তন করার সময় অস্থির কর্মক্ষমতা প্রদর্শন করে, এমনকি সহজ রৈখিক অনুসন্ধান পদ্ধতির চেয়ে খারাপ। এটি নির্দেশ করে যে বিদ্যমান পদ্ধতিগুলি "মিথ্যা অভিযোজন" ফাঁদে পড়ে থাকতে পারে।
গ্রাফ দেওয়া, যেখানে হল নোড সেট, হল প্রান্ত সেট, হল বৈশিষ্ট্য ম্যাট্রিক্স, হল লেবেল সেট। লক্ষ্য হল প্রাক-প্রশিক্ষিত এনকোডার হিমায়িত রেখে, শেখার যোগ্য প্রম্পট প্যারামিটার এর মাধ্যমে পূর্বাভাস ফাংশন অপ্টিমাইজ করা:
উপপাদ্য 4.1: রৈখিক প্রম্পট ফাংশন এবং শ্রেণীবিভাগকারী দেওয়া, একটি সমতুল্য রৈখিক শ্রেণীবিভাগকারী বিদ্যমান যাতে ।
এই তাত্ত্বিক ফলাফল নির্দেশ করে যে প্রতিনিধিত্ব-স্তরের প্রম্পট ফাংশন স্থান এবং অপ্টিমাইজেশন উদ্দেশ্যে রৈখিক অনুসন্ধানের সমতুল্য, তাই ইনপুট-স্তরের প্রম্পটের দিকে ফোকাস স্থানান্তরিত করা উচিত।
kNN ব্যবহার করে প্রাথমিক প্রম্পট গ্রাফ নির্মাণ:
S_{ij}, & \text{যদি } S_{ij} \in \text{top-k}\{S_{i \cdot}\} \\ 0, & \text{অন্যথায়} \end{cases}$$ যেখানে সাদৃশ্য গণনা করা হয়: $S_{ij} = \frac{x_i x_j^T}{\|x_i\|_2 \|x_j\|_2}$ #### 2. প্যারামিটারকরণ প্রক্রিয়া প্রতিটি প্রান্তে শেখার যোগ্য ওজন $w_{ij}$ প্রবর্তন করে, গেট নিয়ন্ত্রণ প্রক্রিয়া ব্যবহার করে: $$\tilde{A}_{ij} = \text{ELU}(w_{ij} \cdot \alpha - \alpha) + 1$$ #### 3. স্ব-বুটস্ট্র্যাপিং সমন্বয় মডেল ধসে পড়া এড়াতে পুনরাবৃত্তিমূলক আপডেট কৌশল গ্রহণ করে: $$\hat{A}^{(t)} = \tau \hat{A}^{(t-1)} + (1-\tau) \tilde{A}$$ যেখানে $\hat{A}^{(0)} = A$, $\tau \in [0,1]$ মূল গ্রাফ এবং প্রম্পট গ্রাফের ভারসাম্য নিয়ন্ত্রণ করে। #### 4. অপ্টিমাইজেশন উদ্দেশ্য প্রম্পট প্যারামিটার এবং শ্রেণীবিভাগকারী যৌথভাবে অপ্টিমাইজ করে: $$\min_{\phi, \Psi} \frac{1}{|V_L|} \sum_{v_i \in V_L} \ell_D(g_\phi(f_\theta(p_\Psi(A,X))_i), y_i)$$ ## পরীক্ষা সেটআপ ### ডেটাসেট 9টি নোড শ্রেণীবিভাগ ডেটাসেট ব্যবহার করে: - **সমজাতীয় গ্রাফ**: Cora, CiteSeer, PubMed - **বিষমজাতীয় গ্রাফ**: Cornell, Texas, Wisconsin, Chameleon, Actor, Squirrel ### মূল্যায়ন মেট্রিক্স - **নির্ভুলতা**: নোড শ্রেণীবিভাগ নির্ভুলতা - **কম-নমুনা সেটিং**: 1-shot, 3-shot, 5-shot শিক্ষা ### তুলনামূলক পদ্ধতি - **ভিত্তি পদ্ধতি**: Fine-tune, Linear-probe - **GPL পদ্ধতি**: GPPT, GraphPrompt, All-in-one, GPF/GPF+, EdgePrompt/EdgePrompt+ - **প্রাক-প্রশিক্ষিত মডেল**: DGI, GRACE, GraphMAE ### বাস্তবায়ন বিবরণ - 2-স্তরের GCN/GAT ব্যবহার করে মেরুদণ্ড নেটওয়ার্ক হিসাবে - 2000 রাউন্ড প্রশিক্ষণ, প্রাথমিক থামা patience=20 - 5টি র্যান্ডম বীজ × 20 বার পুনরাবৃত্তি পরীক্ষা ## পরীক্ষার ফলাফল ### প্রধান ফলাফল #### 1-shot ডোমেইন-অভ্যন্তরীণ নোড শ্রেণীবিভাগ Cornell, Texas, Wisconsin ইত্যাদি বিষমজাতীয় গ্রাফে উল্লেখযোগ্য উন্নতি অর্জন করে: - Cornell: DGI-তে সর্বোত্তম ভিত্তি 34.56% থেকে 51.13%-এ উন্নীত - Texas: সর্বোত্তম ভিত্তি 37.50% থেকে 48.21%-এ উন্নীত - Wisconsin: সর্বোত্তম ভিত্তি 33.91% থেকে 58.75%-এ উন্নীত #### ক্রস-ডোমেইন নোড শ্রেণীবিভাগ 1-shot ক্রস-ডোমেইন সেটিংয়ে: - PubMed: 46.84% থেকে 55.01%-এ উন্নীত - Cornell: 40.77% থেকে 51.58%-এ উন্নীত ### বিলোপন পরীক্ষা প্রতিস্থাপন পরীক্ষার মাধ্যমে মূল উপাদান যাচাই করে: - **Random_Topo**: kNN-কে র্যান্ডম টপোলজি দিয়ে প্রতিস্থাপন করে, কর্মক্ষমতা হ্রাস পায় - **Simple_Add**: স্ব-বুটস্ট্র্যাপিং কৌশলকে সহজ সংযোজন দিয়ে প্রতিস্থাপন করে, অতিফিটিং ঘটায় - **Discard_Topo**: সম্পূর্ণভাবে মূল গ্রাফ বাদ দেয়, সমজাতীয় গ্রাফে কর্মক্ষমতা উল্লেখযোগ্যভাবে হ্রাস পায় ### হাইপার-প্যারামিটার বিশ্লেষণ - **τ প্যারামিটার**: বিষমজাতীয় গ্রাফের জন্য ছোট τ মান প্রয়োজন (0.999-0.9999), সমজাতীয় গ্রাফ τ≥0.9999 এ স্থিতিশীল - **k প্যারামিটার**: বিরল বিষমজাতীয় গ্রাফ সর্বাধিক সুবিধা পায়, ঘন গ্রাফ এবং সমজাতীয় গ্রাফ তুলনামূলকভাবে স্থিতিশীল ### গণনামূলক খরচ - প্রাক-প্রক্রিয়াকরণ সময়: প্রায় 1.3 সেকেন্ড - প্রতিটি প্রশিক্ষণ রাউন্ডের সময় মধ্যম বৃদ্ধি - GPU মেমরি ব্যবহার গ্রহণযোগ্য পরিসরে ## সম্পর্কিত কাজ ### গ্রাফ প্রাক-প্রশিক্ষণ - **বৈপরীত্য শিক্ষা পদ্ধতি**: DGI, GRACE, GraphCL ইত্যাদি পারস্পরিক তথ্য সর্বাধিক করে প্রতিনিধিত্ব শিখে - **উৎপাদনশীল পদ্ধতি**: GraphMAE ইত্যাদি মুখোশ পুনর্নির্মাণের মাধ্যমে প্রতিনিধিত্ব শিখে ### গ্রাফ প্রম্পট লার্নিং - **ইনপুট-স্তরের প্রম্পট**: GPF সিরিজ পদ্ধতি বৈশিষ্ট্য স্থানে প্রম্পট ভেক্টর যোগ করে - **প্রতিনিধিত্ব-স্তরের প্রম্পট**: GPPT, GraphPrompt ইত্যাদি আউটপুট স্তরে প্রম্পট যোগ করে - **স্তর-স্তরের প্রম্পট**: GNN এর বিভিন্ন স্তরে প্রম্পট তথ্য একীভূত করে ### গ্রাফ ভিত্তি মডেল সাম্প্রতিক গ্রাফ ভিত্তি মডেলের বিকাশ GPL-কে নতুন প্রয়োগ দৃশ্যকল্প এবং চ্যালেঞ্জ প্রদান করে। ## উপসংহার এবং আলোচনা ### প্রধান উপসংহার 1. **তাত্ত্বিক অন্তর্দৃষ্টি**: প্রতিনিধিত্ব-স্তরের প্রম্পট রৈখিক শ্রেণীবিভাগকারীর সমতুল্য, ইনপুট-স্তরের প্রম্পটে ফোকাস করা উচিত 2. **ডিজাইন নীতি**: প্রম্পট প্রাক-প্রশিক্ষিত মডেল ক্ষমতা মুক্ত করা উচিত, শ্রেণীবিভাগকারী ডাউনস্ট্রিম কাজে অভিযোজিত হওয়া উচিত 3. **ব্যবহারিক পদ্ধতি**: UniPrompt স্ব-অভিযোজনশীল টপোলজি প্রম্পটের মাধ্যমে সর্বজনীন মডেল অভিযোজন বাস্তবায়ন করে ### সীমাবদ্ধতা 1. **LLM একীকরণ সীমাবদ্ধতা**: বড় ভাষা মডেলের সাথে একীকরণ অন্বেষণ করা হয়নি 2. **হাইপার-প্যারামিটার নির্ভরতা**: τ এবং k প্যারামিটার বিভিন্ন ডেটাসেট ধরনের জন্য সামঞ্জস্য প্রয়োজন 3. **সীমিত কাজের কভারেজ**: প্রধানত নোড শ্রেণীবিভাগ মূল্যায়ন করে, অন্যান্য গ্রাফ কাজ যাচাইকরণ অপেক্ষা করছে 4. **শব্দ সংবেদনশীলতা**: বৈশিষ্ট্য শব্দের প্রতি তুলনামূলকভাবে সংবেদনশীল ### ভবিষ্যত দিকনির্দেশনা 1. গ্রাফ শ্রেণীবিভাগ, লিংক পূর্বাভাস ইত্যাদি কাজে সম্প্রসারণ 2. LLM এর সাথে সংমিশ্রণ আরও শক্তিশালী গ্রাফ ভিত্তি মডেল নির্মাণ করতে 3. শব্দ এবং বিতরণ পরিবর্তনের প্রতি দৃঢ়তা উন্নত করতে 4. স্বয়ংক্রিয় হাইপার-প্যারামিটার নির্বাচন প্রক্রিয়া অন্বেষণ করতে ## গভীর মূল্যায়ন ### সুবিধা 1. **তাত্ত্বিক অবদান উল্লেখযোগ্য**: প্রথমবারের মতো তাত্ত্বিক দৃষ্টিকোণ থেকে বিভিন্ন প্রম্পট প্রক্রিয়া একীভূত করে বোঝে, গুরুত্বপূর্ণ অন্তর্দৃষ্টি প্রদান করে 2. **পদ্ধতি ডিজাইন চতুর**: স্ব-বুটস্ট্র্যাপিং একীকরণ কৌশল কার্যকরভাবে মডেল ধসে পড়া এড়ায়, kNN আরম্ভীকরণ যুক্তিসঙ্গতভাবে বৈশিষ্ট্য সাদৃশ্য ব্যবহার করে 3. **ব্যাপক পরীক্ষা**: একাধিক প্রাক-প্রশিক্ষিত মডেল, ডেটাসেট ধরন এবং মূল্যায়ন সেটিং কভার করে 4. **উচ্চ ব্যবহারিক মূল্য**: পদ্ধতি সহজ এবং কার্যকর, বাস্তবায়ন এবং স্থাপনা সহজ ### অপর্যাপ্ততা 1. **তাত্ত্বিক বিশ্লেষণ সীমাবদ্ধতা**: প্রধানত রৈখিক ক্ষেত্রে, অ-রৈখিক প্রম্পটের বিশ্লেষণ অপর্যাপ্ত 2. **গণনামূলক খরচ**: kNN নির্মাণ এবং পুনরাবৃত্তিমূলক আপডেট গণনামূলক খরচ বৃদ্ধি করে 3. **প্যারামিটার সংবেদনশীলতা**: মূল হাইপার-প্যারামিটার সাবধানে সামঞ্জস্য প্রয়োজন, স্বয়ংক্রিয়করণ ডিগ্রি কম 4. **শব্দ দৃঢ়তা**: বৈশিষ্ট্য শব্দের অধীনে কর্মক্ষমতা উল্লেখযোগ্যভাবে হ্রাস পায় ### প্রভাব 1. **একাডেমিক মূল্য**: গ্রাফ প্রম্পট লার্নিংয়ের জন্য গুরুত্বপূর্ণ তাত্ত্বিক ভিত্তি এবং ডিজাইন নীতি প্রদান করে 2. **ব্যবহারিক তাৎপর্য**: প্রাক-প্রশিক্ষিত গ্রাফ মডেলের অভিযোজনযোগ্যতা এবং সাধারণীকরণ ক্ষমতা উন্নত করে 3. **গবেষণা অনুপ্রেরণা**: পরবর্তী গবেষণার জন্য দিকনির্দেশনা নির্দেশ করে, বিশেষত ইনপুট-স্তরের প্রম্পটের গুরুত্ব ### প্রযোজ্য দৃশ্যকল্প 1. **কম-নমুনা শিক্ষা**: মন্তব্য ডেটা বিরল গ্রাফ শিক্ষা কাজ 2. **ক্রস-ডোমেইন স্থানান্তর**: প্রাক-প্রশিক্ষণ এবং ডাউনস্ট্রিম কাজ বিতরণ ভিন্ন দৃশ্যকল্প 3. **বিষমজাতীয় গ্রাফ প্রক্রিয়াকরণ**: ঐতিহ্যবাহী সমজাতীয় অনুমান প্রযোজ্য নয় এমন গ্রাফ ডেটা 4. **দ্রুত অভিযোজন**: প্রাক-প্রশিক্ষিত মডেল দ্রুত স্থাপনার প্রয়োজন এমন প্রয়োগ ## সংদর্ভ পেপারটি 91টি সম্পর্কিত সংদর্ভ উদ্ধৃত করে, গ্রাফ নিউরাল নেটওয়ার্ক, গ্রাফ স্ব-তত্ত্বাবধান শিক্ষা, গ্রাফ প্রম্পট লার্নিং ইত্যাদি একাধিক ক্ষেত্রের গুরুত্বপূর্ণ কাজ কভার করে, গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে। --- **সংক্ষেপ**: এই পেপারটি গভীর তাত্ত্বিক বিশ্লেষণ এবং ব্যাপক পরীক্ষামূলক যাচাইকরণের মাধ্যমে, গ্রাফ প্রম্পট লার্নিং ক্ষেত্রে গুরুত্বপূর্ণ তাত্ত্বিক অন্তর্দৃষ্টি এবং ব্যবহারিক পদ্ধতি প্রদান করে। UniPrompt পদ্ধতি সহজ এবং কার্যকর, ভাল সর্বজনীনতা এবং অভিযোজনযোগ্যতা রয়েছে, গ্রাফ ভিত্তি মডেলের বিকাশে মূল্যবান অবদান রাখে।