2025-11-21T00:49:15.710789

Learning Optimal Prompt Ensemble for Multi-source Visual Prompt Transfer

Zhang, Cao, Wu et al.

Prompt tuning has emerged as a lightweight strategy for adapting foundation models to downstream tasks, particularly for resource-constrained systems. As pre-trained prompts become valuable assets, combining multiple source prompts offers a promising approach to enhance generalization for new tasks by leveraging complementary knowledge. However, naive aggregation often overlooks different source prompts have different contribution potential to the target task. To address this, we propose HGPrompt, a dynamic framework that learns optimal ensemble weights. These weights are optimized by jointly maximizing an information-theoretic metric for transferability and minimizing gradient conflicts via a novel regularization strategy. Specifically, we propose a differentiable prompt transferability metric to captures the discriminability of prompt-induced features on the target task. Meanwhile, HGPrompt match the gradient variances with respect to different source prompts based on Hessian and Fisher Information, ensuring stable and coherent knowledge transfer while suppressing gradient conflicts among them. Extensive experiments on the large-scale VTAB benchmark demonstrate the state-of-the-art performance of HGPrompt, validating its effectiveness in learning an optimal ensemble for effective multi-source prompt transfer.

academic

বহু-উৎস ভিজ্যুয়াল প্রম্পট ট্রান্সফার এর জন্য সর্বোত্তম প্রম্পট সমন্বয় শেখা

মৌলিক তথ্য

পেপার আইডি: 2504.12311
শিরোনাম: Learning Optimal Prompt Ensemble for Multi-source Visual Prompt Transfer
লেখক: Enming Zhang, Liwen Cao, Yanru Wu, Zijie Zhao, Yang Li (তিংহুয়া বিশ্ববিদ্যালয় শেনজেন আন্তর্জাতিক স্নাতক স্কুল, দক্ষিণ-পূর্ব বিশ্ববিদ্যালয়)
শ্রেণীবিভাগ: cs.CL (কম্পিউটেশনাল ভাষাবিজ্ঞান)
প্রকাশনার সময়/সম্মেলন: arXiv প্রি-প্রিন্ট (২০২৫ সালের অক্টোবর ১৫ তারিখের সর্বশেষ সংস্করণ)
পেপার লিঙ্ক: https://arxiv.org/abs/2504.12311v5

সারসংক্ষেপ

এই পেপারটি বহু-উৎস ভিজ্যুয়াল প্রম্পট ট্রান্সফার কাজের জন্য HGPrompt ফ্রেমওয়ার্ক প্রস্তাব করে। এই পদ্ধতিটি তথ্য-তাত্ত্বিক স্থানান্তরযোগ্যতা পরিমাপ এবং গ্রেডিয়েন্ট সংঘর্ষ ন্যূনতমকরণ নিয়মিতকরণ পদ সংযুক্ত অপ্টিমাইজেশনের মাধ্যমে সর্বোত্তম সমন্বয় ওজন শিখে। বিশেষভাবে, এটি লক্ষ্য কাজে প্রম্পট-প্ররোচিত বৈশিষ্ট্যের বৈষম্যমূলকতা ক্যাপচার করার জন্য একটি পার্থক্যযোগ্য প্রম্পট স্থানান্তরযোগ্যতা পরিমাপ প্রস্তাব করে, এবং একই সাথে Hessian এবং Fisher তথ্য ম্যাচিং এর মাধ্যমে বিভিন্ন উৎস প্রম্পটের গ্রেডিয়েন্ট বৈচিত্র্য মিলিয়ে স্থিতিশীল এবং সামঞ্জস্যপূর্ণ জ্ঞান স্থানান্তর নিশ্চিত করে এবং গ্রেডিয়েন্ট সংঘর্ষ দমন করে। বৃহৎ-স্কেল VTAB বেঞ্চমার্কে পরীক্ষা-নিরীক্ষা HGPrompt এর কার্যকারিতা যাচাই করেছে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

ভিজ্যুয়াল ভিত্তি মডেলের উন্নয়নের সাথে, প্রম্পট টিউনিং (Prompt Tuning) ডাউনস্ট্রিম কাজের সাথে খাপ খাওয়ানোর জন্য একটি হালকা-ওজনের কৌশল হয়ে উঠেছে। বিদ্যমান পদ্ধতিগুলির মুখোমুখি মূল সমস্যা হল: নতুন কাজের সাধারণীকরণ ক্ষমতা বৃদ্ধির জন্য একাধিক উৎস প্রম্পট কীভাবে কার্যকরভাবে একত্রিত করা যায়।

গবেষণা প্রেরণা

সম্পদ দক্ষতার প্রয়োজন: সম্পূর্ণ মডেল সূক্ষ্ম-সুর সমন্বয় বৃহৎ-স্কেল প্রাক-প্রশিক্ষিত মডেলে অবাস্তব হয়ে উঠেছে, প্রম্পট টিউনিং মাত্র ০.৪% পরামিতি আপডেট করে প্রতিযোগিতামূলক কর্মক্ষমতা অর্জন করতে পারে
প্রম্পট সম্পদ মূল্য: প্রাক-প্রশিক্ষিত প্রম্পটগুলি মূল্যবান জ্ঞান সম্পদ হয়ে উঠেছে, বহু-উৎস প্রম্পটের সমন্বয় পরিপূরক জ্ঞান ব্যবহার করতে পারে
বিদ্যমান পদ্ধতির সীমাবদ্ধতা: সাধারণ সংযোগ বা গড় সমন্বয় বিভিন্ন উৎস প্রম্পটের লক্ষ্য কাজে অবদানের পার্থক্য উপেক্ষা করে, যা প্রতিনিধিত্ব ভাঙ্গন ঘটাতে পারে

মূল চ্যালেঞ্জ

ঐতিহ্যবাহী পদ্ধতি প্রতিটি প্রম্পটের স্থানান্তরযোগ্যতা বিচ্ছিন্নভাবে মূল্যায়ন করে, প্রম্পটগুলির মধ্যে পারস্পরিক নির্ভরতা উপেক্ষা করে
তাত্ত্বিক ভিত্তিহীন হিউরিস্টিক পদ্ধতির অভাব (যেমন পরামিতি সাদৃশ্য গণনা)
বহু-প্রম্পট সমন্বয় দ্বারা প্রবর্তিত গ্রেডিয়েন্ট হস্তক্ষেপ অপ্টিমাইজেশন অস্থিরতা ঘটায়

মূল অবদান

HGPrompt ফ্রেমওয়ার্ক প্রস্তাব: সর্বোত্তম প্রম্পট ওজন গতিশীলভাবে শেখার প্রথম তাত্ত্বিকভাবে নির্ভরযোগ্য ফ্রেমওয়ার্ক, সমন্বিত প্রম্পট-প্ররোচিত বৈশিষ্ট্যের স্থানান্তরযোগ্যতা মূল্যায়নের মাধ্যমে
তথ্য-তাত্ত্বিক স্থানান্তরযোগ্যতা পরিমাপ: H-score এর উপর ভিত্তি করে পার্থক্যযোগ্য প্রম্পট স্থানান্তরযোগ্যতা পরিমাপ, স্পষ্ট এবং ব্যাখ্যাযোগ্য অবদান পরিমাণ প্রদান করে
গ্রেডিয়েন্ট সারিবদ্ধকরণ নিয়মিতকরণ: উদ্ভাবনী গ্রেডিয়েন্ট বৈচিত্র্য ম্যাচিং উদ্দেশ্য, বহু-উৎস প্রম্পটের মধ্যে গ্রেডিয়েন্ট সংঘর্ষ সমস্যা সমাধান করে
SOTA কর্মক্ষমতা: VTAB বেঞ্চমার্কে অত্যাধুনিক কর্মক্ষমতা অর্জন, গড় নির্ভুলতা ৬০.৩%

পদ্ধতি বিস্তারিত

কাজ সংজ্ঞা

κ টি উৎস কাজ S = {Si}ᵏᵢ₌₁ এবং তাদের সংশ্লিষ্ট অপ্টিমাইজড প্রম্পট {Pi}ᵏᵢ₌₁ দেওয়া, লক্ষ্য নতুন কাজ T এর জন্য উৎস প্রম্পটের সর্বোত্তম সমন্বয়ের মাধ্যমে লক্ষ্য প্রম্পট PT তৈরি করা। M ≤ κ নির্বাচিত উৎস প্রম্পটের সংখ্যা হিসাবে সেট করুন, ওজন α = (α₁,...,αM) ∑ᵢαᵢ = 1 এবং αᵢ ≥ 0 সন্তুষ্ট করে।

মডেল আর্কিটেকচার

১. ভিজ্যুয়াল প্রম্পট টিউনিং ভিত্তি

প্রাক-প্রশিক্ষিত Transformer এর জন্য, m টি শেখার যোগ্য প্রম্পট টোকেন P = p₁,...,pm ∈ Rᵐˣᵈ প্রবর্তন করুন। ইনপুট ইমেজ X এর প্যাচ এম্বেডিং E(X) ∈ Rⁿˣᵈ দেওয়া, সমন্বিত ইনপুট সিকোয়েন্স P;E(X) ∈ R⁽ᵐ⁺ⁿ⁾ˣᵈ।

পূর্বাভাস সম্ভাবনা:

Prθ(Y|X;P) = exp(fY([P;E(X)];θ)) / ∑ᶜᵢ₌₁exp(fi([P;E(X)];θ))

২. H-score স্থানান্তরযোগ্যতা পরিমাপ

সংজ্ঞা ১: ইনপুট ডেটা x, লেবেল y এবং বৈশিষ্ট্য নিষ্কাশক f(x) দেওয়া, একক-পক্ষীয় H-score সংজ্ঞায়িত করা হয়:

H(f) = tr(cov(f(X))⁻¹cov(E_PX|Y[f(X)|Y]))

এই পরিমাপটির স্বজ্ঞাত ব্যাখ্যা রয়েছে: উচ্চ H-score বৃহত্তর শ্রেণী-মধ্যস্থ বৈষম্যমূলকতা cov(Ef(X)|Y) এবং ন্যূনতম বৈশিষ্ট্য অপ্রয়োজনীয়তা tr(cov(f(X))) নির্দেশ করে।

সংজ্ঞা ২: সর্বোত্তম বৈশিষ্ট্য ওজন ওজনযুক্ত বৈশিষ্ট্য যোগের H-score সর্বাধিক করে নির্ধারিত হয়:

α* = argmax_α H(∑ⱼαⱼ·fPⱼ) s.t. ∑ⱼαⱼ = 1

উপপাদ্য ১: H-score ওজন α এর একটি উত্তল দ্বিঘাত রূপ, অপ্টিমাইজেশন সমস্যার নির্ভরযোগ্য সমাধান নিশ্চিত করে।

৩. গ্রেডিয়েন্ট সারিবদ্ধকরণ নিয়মিতকরণ

বহু-প্রম্পট সমন্বয়ের গ্রেডিয়েন্ট হস্তক্ষেপ সমস্যা সমাধানের জন্য, গ্রেডিয়েন্ট বৈচিত্র্য ম্যাচিং উদ্দেশ্য প্রস্তাব করা হয়:

প্রতিটি উৎস প্রম্পট Pi এর গ্রেডিয়েন্ট গণনা করুন:

gi = ∇Pi L(fθ([x₀;Pi;E(X)]), y)

গ্রেডিয়েন্ট বৈচিত্র্য:

vi = Var(G) = 1/(N-1) ∑ⱼ(gⁱⱼ - gᵅⱼ)²

নিয়মিতকরণ পদ:

Lalign(α) = 1/M ∑ᵢ||vi - v̄(α)||²₂

মোট উদ্দেশ্য ফাংশন:

L(α) = -H(α) + λLalign(α)

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

সমন্বিত মূল্যায়ন বনাম বিচ্ছিন্ন মূল্যায়ন: ঐতিহ্যবাহী পদ্ধতি প্রতিটি প্রম্পট স্বাধীনভাবে মূল্যায়ন করার বিপরীতে, এই পেপারটি সমন্বিত প্রম্পটের সামগ্রিক স্থানান্তরযোগ্যতা মূল্যায়ন করে
তাত্ত্বিক ভিত্তি: তথ্য-তাত্ত্বিক H-score এর উপর ভিত্তি করে কঠোর গাণিতিক ভিত্তি প্রদান করে, হিউরিস্টিক পদ্ধতি প্রতিস্থাপন করে
গ্রেডিয়েন্ট সংঘর্ষ সমাধান: Hessian এবং Fisher তথ্যের তাত্ত্বিক অন্তর্দৃষ্টির মাধ্যমে, অপ্টিমাইজেশন অসামঞ্জস্য হ্রাস করতে গ্রেডিয়েন্ট বৈচিত্র্য ম্যাচিং ডিজাইন করুন

পরীক্ষা-নিরীক্ষা সেটআপ

ডেটাসেট

VTAB-1k বেঞ্চমার্কের ১৩ টি ডেটাসেট ব্যবহার করুন, তিনটি কাজের শ্রেণী জুড়ে:

প্রাকৃতিক: নিয়মিত ক্যামেরা দ্বারা ক্যাপচার করা ইমেজ (যেমন CIFAR100, Flowers102, Pets)
বিশেষায়িত: বিশেষ ডিভাইস দ্বারা অর্জিত ডেটা (যেমন EuroSAT স্যাটেলাইট ইমেজ)
কাঠামোগত: স্থানিক যুক্তি প্রয়োজন (যেমন CLEVR গণনা কাজ)

মূল্যায়ন মেট্রিক্স

শ্রেণীবিভাগ নির্ভুলতা প্রধান মূল্যায়ন মেট্রিক হিসাবে ব্যবহার করুন, তিনটি স্বাধীন রান এর গড় ফলাফল রিপোর্ট করুন।

তুলনা পদ্ধতি

১১ টি বেসলাইন পদ্ধতি অন্তর্ভুক্ত:

পুনরায় প্রশিক্ষণ শ্রেণীবিভাগ হেড: PARTIAL-k, MLP-k
পরামিতি সাবসেট আপডেট: Adapter, SIDETUNE, BIAS
প্রম্পট স্থানান্তর: Average, Single-Best, VPT, SPoT, ATTEMPT, PANDA

বাস্তবায়ন বিবরণ

ব্যাকবোন নেটওয়ার্ক: ViT-B/16 (ImageNet-21k প্রাক-প্রশিক্ষিত)
প্রম্পট টোকেনের সংখ্যা: ৫০
উৎস কাজ প্রশিক্ষণ: ১০ এপোক
গণনা ডিভাইস: NVIDIA A800-80GB GPU
নমুনা সংখ্যা: স্থানান্তরযোগ্যতা এবং গ্রেডিয়েন্ট সারিবদ্ধকরণ ক্ষতি গণনার জন্য প্রতিটি উৎস কাজ থেকে ২০০০ নমুনা

পরীক্ষা-নিরীক্ষা ফলাফল

প্রধান ফলাফল

HGPrompt ১৩ টি ভিজ্যুয়াল কাজে SOTA কর্মক্ষমতা অর্জন করে:

পদ্ধতি	CIFAR100	DTD	Flowers102	Pets	SVHN	EuroSAT	গড়
PANDA	74.1	61.3	96.5	86.2	71.2	90.8	58.7
HGPrompt	75.9	64.2	98.1	87.4	71.0	92.6	60.3

গড় নির্ভুলতা ৬০.৩%, সমস্ত বেসলাইন পদ্ধতি অতিক্রম করে
সূক্ষ্ম-দানাদার স্বীকৃতি কাজে (Flowers102, Pets) উল্লেখযোগ্য কর্মক্ষমতা
জ্যামিতিক যুক্তি কাজে (sNORB-Azimuth, dSprite-Orientation) নতুন বেঞ্চমার্ক স্থাপন করে

অপসারণ পরীক্ষা-নিরীক্ষা

প্রতিটি উপাদানের অবদান বিশ্লেষণ:

H(α)	Lalign	CIFAR	DTD	Pets	EuroSAT	গড়
×	×	60.4	57.8	82.7	89.1	72.5
✓	×	74.6	62.3	85.9	91.2	78.5
×	✓	74.1	61.9	85.5	90.8	78.1
✓	✓	75.9	64.2	87.4	92.6	80.0

ফলাফল দেখায় যে দুটি উপাদান পরিপূরক ভূমিকা পালন করে, সংযুক্ত ব্যবহার সর্বোত্তম কর্মক্ষমতা অর্জন করে।

ওজন বিশ্লেষণ

Spearman র‍্যাঙ্ক সম্পর্ক সহগ দ্বারা ওজন গুণমান যাচাই করুন:

পদ্ধতি	CIFAR	C-dist	d-Loc	DML	SVHN	গড়
SPoT	0.552	0.175	-0.168	0.112	-0.147	0.105
PANDA	0.916	0.441	0.552	0.713	0.224	0.569
HGPrompt	0.944	0.664	0.853	0.727	0.853	0.808

HGPrompt দ্বারা শেখা ওজন শূন্য-শট স্থানান্তর নির্ভুলতার সাথে সর্বোচ্চ সম্পর্ক রয়েছে, কাজের মধ্যে শব্দার্থিক সখ্যতা আরও সঠিকভাবে প্রতিফলিত করে।

সম্প্রসারণযোগ্যতা বিশ্লেষণ

উৎস প্রম্পটের সংখ্যা ৩ থেকে ১১ এ বৃদ্ধি পেলে, HGPrompt PANDA এবং SPoT এর তুলনায় শক্তিশালী কর্মক্ষমতা সুবিধা প্রদর্শন করে, বৃহৎ-স্কেল প্রম্পট সংগ্রহে পদ্ধতির কার্যকারিতা যাচাই করে।

প্রতিনিধিত্ব ভিজ্যুয়ালাইজেশন

t-SNE ভিজ্যুয়ালাইজেশন দেখায় যে HGPrompt দ্বারা উৎপাদিত বৈশিষ্ট্যগুলি আরও ভাল শ্রেণী বৈষম্যমূলকতা রয়েছে, একই শ্রেণীর বস্তুগুলি শক্ত গ্রুপিং এবং স্পষ্ট সীমানা গঠন করে।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

HGPrompt H-score এবং গ্রেডিয়েন্ট সারিবদ্ধকরণ সংযুক্ত অপ্টিমাইজেশনের মাধ্যমে সর্বোত্তম প্রম্পট সমন্বয় অর্জন করে
তথ্য-তাত্ত্বিক পরিমাপ হিউরিস্টিক পদ্ধতির চেয়ে প্রম্পট স্থানান্তরযোগ্যতা আরও কার্যকরভাবে পরিমাপ করে
গ্রেডিয়েন্ট বৈচিত্র্য ম্যাচিং বহু-উৎস প্রম্পটের হস্তক্ষেপ সমস্যা সফলভাবে সমাধান করে

সীমাবদ্ধতা

আর্কিটেকচার বিশেষত্ব: বর্তমান কাজ Transformer আর্কিটেকচারে ফোকাস করে, অন্যান্য আর্কিটেকচারে প্রযোজ্যতা সীমিত
মোডালিটি সীমাবদ্ধতা: প্রধানত ভিজ্যুয়াল কাজে ফোকাস করে, বহু-মোডাল শেখায় নতুন প্রম্পট ডিজাইন পদ্ধতির প্রয়োজন
গণনা ওভারহেড: একাধিক উৎস প্রম্পটের বৈশিষ্ট্য এবং গ্রেডিয়েন্ট গণনা প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

আর্কিটেকচার-অজ্ঞেয় সর্বজনীন প্রম্পট ইন্টারফেসে সম্প্রসারণ করুন
বহু-মোডাল শেখায় প্রম্পট ডিজাইন অন্বেষণ করুন
আরও দক্ষ স্থানান্তরযোগ্যতা মূল্যায়ন পদ্ধতি গবেষণা করুন

গভীর মূল্যায়ন

সুবিধা

তাত্ত্বিক উদ্ভাবন: তথ্য-তাত্ত্বিক স্থানান্তরযোগ্যতা পরিমাপ কঠোর গাণিতিক ভিত্তি প্রদান করে
প্রযুক্তিগত অগ্রগতি: গ্রেডিয়েন্ট সারিবদ্ধকরণ নিয়মিতকরণ বহু-উৎস হস্তক্ষেপ সমস্যা চতুরভাবে সমাধান করে
ব্যাপক পরীক্ষা-নিরীক্ষা: বৃহৎ-স্কেল বেঞ্চমার্কে ব্যাপক মূল্যায়ন পদ্ধতির কার্যকারিতা যাচাই করে
শক্তিশালী ব্যাখ্যাযোগ্যতা: ওজন শেখার প্রক্রিয়া স্পষ্ট তাত্ত্বিক ব্যাখ্যা রয়েছে

অপূর্ণতা

তাত্ত্বিক বিশ্লেষণ গভীরতা: যদিও উত্তলতা প্রমাণ প্রদান করে, সংগ্রহ এবং সর্বোত্তমতার বিশ্লেষণ যথেষ্ট গভীর নয়
হাইপারপ্যারামিটার সংবেদনশীলতা: λ পরামিতির নির্বাচন কর্মক্ষমতায় উল্লেখযোগ্য প্রভাব ফেলে, স্ব-অভিযোজন প্রক্রিয়ার অভাব
গণনা জটিলতা: পদ্ধতির গণনা জটিলতা এবং সম্প্রসারণযোগ্যতা বিস্তারিত বিশ্লেষণ অনুপস্থিত

প্রভাব

একাডেমিক অবদান: বহু-উৎস প্রম্পট স্থানান্তরের জন্য নতুন তাত্ত্বিক ফ্রেমওয়ার্ক এবং ব্যবহারিক পদ্ধতি প্রদান করে
ব্যবহারিক মূল্য: সম্পদ-সীমিত পরিস্থিতিতে গুরুত্বপূর্ণ প্রয়োগ মূল্য রয়েছে
পুনরুৎপাদনযোগ্যতা: লেখকরা উৎস কোড প্রদানের প্রতিশ্রুতি দেন, পদ্ধতি প্রচারে সহায়তা করে

প্রযোজ্য পরিস্থিতি

সম্পদ-সীমিত পরিবেশ: মোবাইল ডিভাইস, এজ কম্পিউটিং ইত্যাদি পরিস্থিতি
দ্রুত অভিযোজন প্রয়োজন: নতুন কাজে দ্রুত অভিযোজনের প্রয়োজনীয় অ্যাপ্লিকেশন
বহু-কাজ শেখা: একাধিক সম্পর্কিত কাজের জ্ঞান ব্যবহার প্রয়োজনীয় পরিস্থিতি

রেফারেন্স

পেপারটি সমৃদ্ধ সম্পর্কিত কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

পরামিতি-দক্ষ শেখা: Houlsby et al. (2019), Hu et al. (2021)
স্থানান্তরযোগ্যতা মূল্যায়ন: Bao et al. (2019), You et al. (2021)
বহু-কাজ শেখা: Yu et al. (2020), Rame et al. (2022)
ভিজ্যুয়াল Transformer: Dosovitskiy (2020), Jia et al. (2022)

এই পেপারটি বহু-উৎস ভিজ্যুয়াল প্রম্পট স্থানান্তর ক্ষেত্রে গুরুত্বপূর্ণ অবদান রাখে, তাত্ত্বিক উদ্ভাবন এবং প্রযুক্তিগত অগ্রগতির মাধ্যমে বিদ্যমান পদ্ধতির মূল সমস্যা সমাধান করে, পরামিতি-দক্ষ স্থানান্তর শেখার জন্য নতুন গবেষণা দিকনির্দেশনা প্রদান করে।