2025-11-17T15:28:12.912033

One Prompt Fits All: Universal Graph Adaptation for Pretrained Models

Huang, Zhao, He et al.
Graph Prompt Learning (GPL) has emerged as a promising paradigm that bridges graph pretraining models and downstream scenarios, mitigating label dependency and the misalignment between upstream pretraining and downstream tasks. Although existing GPL studies explore various prompt strategies, their effectiveness and underlying principles remain unclear. We identify two critical limitations: (1) Lack of consensus on underlying mechanisms: Despite current GPLs have advanced the field, there is no consensus on how prompts interact with pretrained models, as different strategies intervene at varying spaces within the model, i.e., input-level, layer-wise, and representation-level prompts. (2) Limited scenario adaptability: Most methods fail to generalize across diverse downstream scenarios, especially under data distribution shifts (e.g., homophilic-to-heterophilic graphs). To address these issues, we theoretically analyze existing GPL approaches and reveal that representation-level prompts essentially function as fine-tuning a simple downstream classifier, proposing that graph prompt learning should focus on unleashing the capability of pretrained models, and the classifier should adapt to downstream scenarios. Based on our findings, we propose UniPrompt, a novel GPL method that adapts any pretrained models, unleashing the capability of pretrained models while preserving the input graph. Extensive experiments demonstrate that our method can effectively integrate with various pretrained models and achieve strong performance across in-domain and cross-domain scenarios.
academic

موجه واحد يناسب الجميع: التكيف الرسومي العام للنماذج المدربة مسبقاً

المعلومات الأساسية

  • معرّف الورقة: 2509.22416
  • العنوان: One Prompt Fits All: Universal Graph Adaptation for Pretrained Models
  • المؤلفون: Yongqi Huang, Jitao Zhao, Dongxiao He, Xiaobao Wang, Yawen Li, Yuxiao Huang, Di Jin, Zhiyong Feng
  • التصنيف: cs.LG
  • المؤتمر: NeurIPS 2025
  • رابط الورقة: https://arxiv.org/abs/2509.22416

الملخص

يعتبر تعلم الموجهات الرسومية (Graph Prompt Learning, GPL) نموذجاً فعالاً يربط بين النماذج الرسومية المدربة مسبقاً والمهام النهائية، مما يخفف من الاعتماد على التسميات وعدم التطابق بين المهام العليا والدنيا. على الرغم من أن الأبحاث الحالية في GPL استكشفت استراتيجيات موجهة متعددة، إلا أن فعاليتها والآليات الكامنة وراءها لا تزال غير واضحة. تحدد هذه الورقة حدين رئيسيين: (1) الافتقار إلى إجماع حول الآليات الكامنة: تتدخل الاستراتيجيات المختلفة في مساحات مختلفة من النموذج (مستوى الإدخال، مستوى الطبقة، مستوى التمثيل)؛ (2) التكيف المحدود مع السيناريوهات: تواجه معظم الطرق صعوبة في التعميم عند حدوث تحول في توزيع البيانات. تكشف هذه الورقة من خلال التحليل النظري أن موجهات مستوى التمثيل تعادل بشكل أساسي ضبط دقيق لمصنف بسيط نهائي، وتقترح أن تركز موجهات التعلم الرسومي على تحرير قدرات النموذج المدرب مسبقاً، بينما يتكيف المصنف مع السيناريوهات النهائية. بناءً على هذا الاكتشاف، يتم اقتراح طريقة UniPrompt التي يمكنها التكيف مع أي نموذج مدرب مسبقاً وتحقيق أداء ممتازة في السيناريوهات داخل وخارج المجال.

خلفية البحث والدافع

المشكلة الأساسية

يهدف تعلم الموجهات الرسومية إلى حل مشكلة عدم التطابق بين نماذج الرسوم البيانية المدربة مسبقاً والمهام النهائية، لكن الطرق الحالية تواجه تحديين رئيسيين:

  1. عدم وضوح الآلية: تتضمن طرق GPL الحالية ثلاث استراتيجيات موجهة مختلفة (مستوى الإدخال، مستوى الطبقة، ومستوى التمثيل)، لكنها تفتقر إلى إطار عمل نظري موحد يشرح كيفية عمل هذه الآليات المختلفة.
  2. عدم كفاية التكيف: تنخفض أداء معظم الطرق بشكل كبير عند مواجهة تحول توزيع البيانات (مثل الانتقال من الرسوم البيانية المتجانسة إلى الرسوم البيانية غير المتجانسة)، ولا يمكنها التعميم بفعالية على سيناريوهات نهائية مختلفة.

أهمية البحث

  • الأهمية النظرية: توفير إطار عمل نظري موحد لتعلم الموجهات الرسومية وتوضيح طبيعة آليات الموجهات المختلفة
  • القيمة العملية: تحسين تأثير نماذج الرسوم البيانية المدربة مسبقاً في التعلم قليل العينات والنقل عبر المجالات
  • التقدم التقني: تعزيز تطور نماذج الرسوم البيانية الأساسية وتحسين عمومية النموذج وقابليته للتكيف

قيود الطرق الموجودة

من خلال تجارب الدافع، يتم اكتشاف أن طرق الموجهات على مستوى التمثيل الحالية (مثل GPPT و GraphPrompt) تظهر أداءً غير مستقر عند التبديل بين النماذج المدربة مسبقاً، وقد تكون أسوأ من طرق الاستكشاف الخطي البسيطة. يشير هذا إلى أن الطرق الحالية قد تقع في فخ "التكيف الزائف".

المساهمات الأساسية

  1. المساهمة النظرية: إثبات نظري لأول مرة بأن موجهات مستوى التمثيل تعادل بشكل أساسي ضبط دقيق لمصنف خطي، واقتراح منظور جديد: "الموجهات تحرر قدرات النموذج المدرب مسبقاً، والمصنف يتكيف مع المهام النهائية"
  2. ابتكار الطريقة: اقتراح UniPrompt، طريقة موجهة رسومية عامة على مستوى الإدخال، تتعلم رسم بياني موجه طوبولوجي مع الحفاظ على بنية الرسم البياني الأصلي
  3. التحقق التجريبي: إجراء تجارب واسعة على مجموعات بيانات الرسوم البيانية المتجانسة وغير المتجانسة، مما يثبت فعالية الطريقة في السيناريوهات داخل وخارج المجال
  4. مبادئ التصميم: إنشاء مبادئ تصميم لتعلم الموجهات الرسومية لتوجيه الأبحاث المستقبلية

شرح الطريقة بالتفصيل

تعريف المهمة

بالنظر إلى الرسم البياني G=(V,E,X,Y)G = (V, E, X, Y)، حيث VV هي مجموعة العقد، EE هي مجموعة الحواف، X∈RN×FX \in \mathbb{R}^{N \times F} هي مصفوفة الميزات، و YY هي مجموعة التسميات. الهدف هو تحسين دالة التنبؤ من خلال معاملات موجهة قابلة للتعلم Ψ\Psi مع تجميد المشفر المدرب مسبقاً fθf_\theta:

max⁡Ψ1∣D∣∑(A,X,y)∈D∑i=1Nlog⁡P(yi∣PredictΨ(A,X,vi;fθ))\max_\Psi \frac{1}{|D|} \sum_{(A,X,y) \in D} \sum_{i=1}^N \log P(y_i | \text{Predict}_\Psi(A,X,v_i; f_\theta))

التحليل النظري

نظرية تكافؤ الموجهات على مستوى التمثيل

النظرية 4.1: بالنظر إلى دالة موجهة خطية T(h)=WTh+bTT(h) = W_T h + b_T ومصنف C(h)=WCThC(h) = W_C^T h، يوجد مصنف خطي معادل C′(h)=WC′Th+bC′C'(h) = W_{C'}^T h + b_{C'} بحيث (C∘T)(h)=C′(h)(C \circ T)(h) = C'(h).

تشير هذه النتيجة النظرية إلى أن موجهات مستوى التمثيل تعادل الاستكشاف الخطي في كل من فضاء الدالة والهدف الأمثل، وبالتالي يجب نقل التركيز نحو موجهات مستوى الإدخال.

معمارية UniPrompt

1. تهيئة الموجهات

استخدام kNN لبناء رسم بياني موجه أولي:

S_{ij}, & \text{if } S_{ij} \in \text{top-k}\{S_{i \cdot}\} \\ 0, & \text{otherwise} \end{cases}$$ حيث يتم حساب التشابه كالتالي: $S_{ij} = \frac{x_i x_j^T}{\|x_i\|_2 \|x_j\|_2}$ #### 2. آلية البارامترية إدخال أوزان قابلة للتعلم $w_{ij}$ لكل حافة، باستخدام آلية البوابة: $$\tilde{A}_{ij} = \text{ELU}(w_{ij} \cdot \alpha - \alpha) + 1$$ #### 3. التجميع الذاتي اعتماد استراتيجية التحديث التكراري لتجنب انهيار النموذج: $$\hat{A}^{(t)} = \tau \hat{A}^{(t-1)} + (1-\tau) \tilde{A}$$ حيث $\hat{A}^{(0)} = A$، و $\tau \in [0,1]$ يتحكم في التوازن بين الرسم البياني الأصلي والرسم البياني الموجه. #### 4. الهدف الأمثل تحسين معاملات الموجهات والمصنف بشكل مشترك: $$\min_{\phi, \Psi} \frac{1}{|V_L|} \sum_{v_i \in V_L} \ell_D(g_\phi(f_\theta(p_\Psi(A,X))_i), y_i)$$ ## إعداد التجارب ### مجموعات البيانات استخدام 9 مجموعات بيانات لتصنيف العقد: - **الرسوم البيانية المتجانسة**: Cora و CiteSeer و PubMed - **الرسوم البيانية غير المتجانسة**: Cornell و Texas و Wisconsin و Chameleon و Actor و Squirrel ### مقاييس التقييم - **الدقة**: دقة تصنيف العقد - **إعدادات قليلة العينات**: تعلم 1-shot و 3-shot و 5-shot ### طرق المقارنة - **الطرق الأساسية**: Fine-tune و Linear-probe - **طرق GPL**: GPPT و GraphPrompt و All-in-one و GPF/GPF+ و EdgePrompt/EdgePrompt+ - **النماذج المدربة مسبقاً**: DGI و GRACE و GraphMAE ### تفاصيل التنفيذ - استخدام GCN/GAT بطبقتين كشبكة عمود فقري - التدريب لمدة 2000 جولة، مع إيقاف مبكر بصبر = 20 - 5 بذور عشوائية × 20 تكرار تجربة ## نتائج التجارب ### النتائج الرئيسية #### تصنيف العقد داخل المجال بـ 1-shot تحقيق تحسينات كبيرة على الرسوم البيانية غير المتجانسة مثل Cornell و Texas و Wisconsin: - Cornell: تحسن من أفضل خط أساس 34.56% إلى 51.13% - Texas: تحسن من أفضل خط أساس 37.50% إلى 48.21% - Wisconsin: تحسن من أفضل خط أساس 33.91% إلى 58.75% #### تصنيف العقد عبر المجالات في إعداد 1-shot عبر المجالات: - PubMed: تحسن من 46.84% إلى 55.01% - Cornell: تحسن من 40.77% إلى 51.58% ### تجارب الاستبدال التحقق من المكونات الرئيسية من خلال تجارب الاستبدال: - **Random_Topo**: استبدال الطوبولوجيا العشوائية بـ kNN، انخفاض الأداء - **Simple_Add**: استبدال الإضافة البسيطة بالاستراتيجية الذاتية، مما يؤدي إلى الإفراط في التدريب - **Discard_Topo**: التخلص الكامل من الرسم البياني الأصلي، انخفاض كبير في الأداء على الرسوم البيانية المتجانسة ### تحليل المعاملات الفائقة - **معامل τ**: تتطلب الرسوم البيانية غير المتجانسة قيم τ أصغر (0.999-0.9999)، والرسوم البيانية المتجانسة مستقرة عند τ≥0.9999 - **معامل k**: تستفيد الرسوم البيانية غير المتجانسة الخفيفة بشكل أكبر، والرسوم البيانية الكثيفة والمتجانسة نسبياً مستقرة ### التكلفة الحسابية - وقت المعالجة المسبقة: حوالي 1.3 ثانية - زيادة طفيفة في وقت التدريب لكل جولة - استخدام ذاكرة GPU ضمن النطاق المقبول ## الأعمال ذات الصلة ### التدريب المسبق للرسوم البيانية - **طرق التعلم المتناقض**: DGI و GRACE و GraphCL وغيرها تتعلم التمثيلات من خلال تعظيم المعلومات المتبادلة - **الطرق التوليدية**: GraphMAE وغيرها تتعلم التمثيلات من خلال إعادة البناء المقنعة ### تعلم الموجهات الرسومية - **موجهات مستوى الإدخال**: طرق سلسلة GPF تضيف متجهات موجهة في فضاء الميزات - **موجهات مستوى التمثيل**: GPPT و GraphPrompt وغيرها تضيف موجهات في الطبقة الناتجة - **موجهات مستوى الطبقة**: دمج معلومات الموجهات في جميع طبقات GNN ### نماذج الرسوم البيانية الأساسية يوفر التطور الأخير لنماذج الرسوم البيانية الأساسية سيناريوهات تطبيق جديدة وتحديات لـ GPL. ## الخلاصة والمناقشة ### الاستنتاجات الرئيسية 1. **الرؤى النظرية**: موجهات مستوى التمثيل تعادل مصنف خطي، يجب التركيز على موجهات مستوى الإدخال 2. **مبادئ التصميم**: يجب أن تحرر الموجهات قدرات النموذج المدرب مسبقاً، والمصنف مسؤول عن التكيف مع المهام النهائية 3. **الطريقة العملية**: تحقق UniPrompt من خلال موجهات طوبولوجية تكيفية تكيفاً عاماً مع أي نموذج مدرب مسبقاً ### القيود 1. **قيود التكامل مع نماذج اللغة الكبيرة**: لم يتم استكشاف التكامل مع نماذج اللغة الكبيرة 2. **الاعتماد على المعاملات الفائقة**: تتطلب معاملات τ و k تحسيناً لأنواع مجموعات بيانات مختلفة 3. **تغطية محدودة للمهام**: التقييم الرئيسي لتصنيف العقد، والمهام الرسومية الأخرى تحتاج إلى التحقق 4. **الحساسية للضوضاء**: حساسة نسبياً لضوضاء الميزات ### الاتجاهات المستقبلية 1. التوسع إلى تصنيف الرسوم البيانية والتنبؤ بالروابط والمهام الأخرى 2. الدمج مع نماذج اللغة الكبيرة لبناء نماذج رسوم بيانية أساسية أقوى 3. تحسين الثبات تجاه الضوضاء وتحول التوزيع 4. استكشاف آليات اختيار المعاملات الفائقة التلقائية ## التقييم المتعمق ### المزايا 1. **المساهمة النظرية بارزة**: توحيد فهم آليات الموجهات المختلفة من منظور نظري لأول مرة، توفير رؤى مهمة 2. **تصميم الطريقة ماهر**: استراتيجية التجميع الذاتي تتجنب بفعالية انهيار النموذج، وتهيئة kNN تستفيد بشكل معقول من التشابه في الميزات 3. **التجارب شاملة**: تغطي نماذج مدربة مسبقاً متعددة وأنواع مجموعات بيانات وإعدادات تقييم 4. **القيمة العملية عالية**: الطريقة بسيطة وفعالة، سهلة التنفيذ والنشر ### أوجه القصور 1. **قيود التحليل النظري**: يركز بشكل أساسي على الحالة الخطية، التحليل للموجهات غير الخطية غير كافٍ 2. **التكلفة الحسابية**: بناء kNN والتحديث التكراري يزيد من التكلفة الحسابية 3. **حساسية المعاملات**: تتطلب المعاملات الرئيسية ضبطاً دقيقاً، درجة الأتمتة منخفضة 4. **ثبات الضوضاء**: انخفاض كبير في الأداء تحت ضوضاء الميزات ### التأثير 1. **القيمة الأكاديمية**: توفير أساس نظري مهم وتصميم مبادئ لتعلم الموجهات الرسومية 2. **الأهمية العملية**: تحسين التكيف والقدرة على التعميم لنماذج الرسوم البيانية المدربة مسبقاً 3. **الإلهام البحثي**: توجيه الأبحاث اللاحقة، خاصة أهمية موجهات مستوى الإدخال ### السيناريوهات المعمول بها 1. **التعلم قليل العينات**: مهام تعلم الرسوم البيانية حيث تكون البيانات المسماة نادرة 2. **النقل عبر المجالات**: السيناريوهات حيث يختلف توزيع المهام المدربة مسبقاً والنهائية 3. **معالجة الرسوم البيانية غير المتجانسة**: بيانات الرسوم البيانية حيث لا تنطبق الافتراضات المتجانسة التقليدية 4. **التكيف السريع**: التطبيقات التي تتطلب نشراً سريعاً للنماذج المدربة مسبقاً ## المراجع تستشهد الورقة بـ 91 مرجعاً ذا صلة، تغطي شبكات الرسوم البيانية العصبية والتعلم الذاتي الإشرافي للرسوم البيانية وتعلم الموجهات الرسومية وغيرها من المجالات المهمة، مما يوفر أساساً نظرياً قوياً للبحث. --- **الملخص**: من خلال التحليل النظري العميق والتحقق التجريبي الواسع، توفر هذه الورقة رؤى نظرية مهمة وطريقة عملية لمجال تعلم الموجهات الرسومية. طريقة UniPrompt بسيطة وفعالة، مع عمومية وقابلية تكيف جيدة، مما يساهم بقيمة في تطور نماذج الرسوم البيانية الأساسية.