2025-11-23T22:52:17.543262

FedGTEA: Federated Class-Incremental Learning with Gaussian Task Embedding and Alignment

Li, Bidkhori

We introduce a novel framework for Federated Class Incremental Learning, called Federated Gaussian Task Embedding and Alignment (FedGTEA). FedGTEA is designed to capture task-specific knowledge and model uncertainty in a scalable and communication-efficient manner. At the client side, the Cardinality-Agnostic Task Encoder (CATE) produces Gaussian-distributed task embeddings that encode task knowledge, address statistical heterogeneity, and quantify data uncertainty. Importantly, CATE maintains a fixed parameter size regardless of the number of tasks, which ensures scalability across long task sequences. On the server side, FedGTEA utilizes the 2-Wasserstein distance to measure inter-task gaps between Gaussian embeddings. We formulate the Wasserstein loss to enforce inter-task separation. This probabilistic formulation not only enhances representation learning but also preserves task-level privacy by avoiding the direct transmission of latent embeddings, aligning with the privacy constraints in federated learning. Extensive empirical evaluations on popular datasets demonstrate that FedGTEA achieves superior classification performance and significantly mitigates forgetting, consistently outperforming strong existing baselines.

academic

FedGTEA: التعلم الفيدرالي المتزايد للفئات مع تضمين مهام غاوسي والمحاذاة

المعلومات الأساسية

معرّف الورقة: 2510.12927
العنوان: FedGTEA: Federated Class-Incremental Learning with Gaussian Task Embedding and Alignment
المؤلفون: Haolin Li, Hoda Bidkhori (جامعة جورج ميسون)
التصنيف: cs.LG stat.ML
المؤتمر: AISTATS 2026، طنجة، المغرب
رابط الورقة: https://arxiv.org/abs/2510.12927

الملخص

تقدم هذه الورقة إطار عمل جديد للتعلم الفيدرالي المتزايد للفئات يُسمى FedGTEA (التعلم الفيدرالي مع تضمين مهام غاوسي والمحاذاة). يلتقط هذا الإطار المعرفة الخاصة بالمهام وعدم اليقين في النموذج بطريقة قابلة للتوسع وفعالة من حيث الاتصالات. على جانب العميل، يُنتج مُشفِّر المهام غير المرتبط بالعدد (CATE) تضمينات مهام موزعة بشكل غاوسي، مما يُشفِّر معرفة المهام ويحل عدم التجانس الإحصائي ويقيس عدم اليقين في البيانات. الخاصية الرئيسية لـ CATE هي الحفاظ على حجم معاملات ثابت بغض النظر عن عدد المهام، مما يضمن قابلية التوسع لسلاسل المهام الطويلة. على جانب الخادم، يستخدم FedGTEA مسافة 2-Wasserstein لقياس الفجوات بين المهام في التضمينات الغاوسية، مما يفرض فصل المهام من خلال خسارة Wasserstein. لا تعزز هذه الصيغة الاحتمالية تعلم التمثيل فحسب، بل تحمي أيضًا خصوصية مستوى المهام بتجنب نقل التضمينات الكامنة مباشرة.

خلفية البحث والدافع

تعريف المشكلة

التعلم الفيدرالي المتزايد للفئات (FCIL) هو مزيج من التعلم الفيدرالي (FL) والتعلم المتزايد للفئات (CIL)، ويتطلب معالجة ثلاثة تحديات أساسية في نفس الوقت:

النسيان الكارثي: يحدث على مستوى العميل المحلي وفي عملية التجميع العام
عدم التجانس الإحصائي: عادة ما تكون توزيعات البيانات بين العملاء غير مستقلة وموزعة بشكل متطابق
غموض السياق المرتبط بالمهام: غياب هوية المهام في وقت الاختبار يؤدي إلى انجراف دلالي وانخفاض الأداء

دافع البحث

تركز معظم طرق FCIL الحالية على استخدام الميزات على مستوى البيانات، بينما تتجاهل أهمية السياق على مستوى المهام. كما هو موضح في الشكل 1، قد ينتج نفس الإدخال إجابات متناقضة في مهام مختلفة (على سبيل المثال، "ما هذا الكائن؟" مقابل "ما لون الخلفية؟")، وهذا يتطلب معلومات سياق مختلفة على مستوى المهام. لذلك، لا تزال كيفية الاستفادة الفعالة من السياق المرتبط بالمهام في FCIL مجالًا بحثيًا نسبيًا غير مستكشف.

قيود الطرق الموجودة

تركز معظم الطرق على استخدام الميزات على مستوى البيانات القائمة على الذاكرة
بينما تدمج طرق التعلم الفوري معرفة المهام، إلا أنها تعاني من زيادة استخدام الذاكرة والنفقات الحسابية
نقص في تصميم مُشفِّرات المهام الفعالة من حيث المعاملات

المساهمات الأساسية

اقتراح خوارزمية FedGTEA: التقاط المعرفة على مستوى المهام بطريقة قابلة للتوسع وقوية في FCIL، مع إدخال مُشفِّر مهام غير مرتبط بالعدد (CATE) على جانب العميل لإنتاج تضمينات المهام، وتصميمها كمتغيرات عشوائية غاوسية، والاستفادة من مسافة 2-Wasserstein على جانب الخادم لتعزيز فصل المهام.
تصميم وحدة CATE: قادرة على استنتاج تضمينات المهام من دفعات بيانات بأحجام عشوائية، مع خاصية عدم الارتباط بالعدد. من خلال تصميم التضمينات كمتغيرات عشوائية غاوسية، يمكن للخادم قياس المسافة بين المهام باستخدام مقياس 2-Wasserstein.
إطار عمل التحسين على جانب الخادم: يبدأ بالتجميع الأولي للنموذج باستخدام مبدأ FedAvg، ثم يصيغ مشكلة تحسين تتضمن ثلاثة مكونات خسارة: خسارة تقطير المعرفة، وخسارة Wasserstein، وخسارة الارتساء.
التحقق التجريبي: تحقيق دقة أفضل وأداء نسيان مقارنة بخطوط أساس قوية (AC-GAN + FedAvg/FedProx، GLFC، FedCIL، FLwF-2T) على عدة مجموعات بيانات معيارية.

شرح الطريقة

تعريف المهام

يتضمن نظام FCIL N عميل وخادم مركزي واحد، ويعالج سلسلة مهام عام T = {T¹, T², ..., Tᵀ}. يجمع كل عميل Cₖ مجموعة بيانات محلية Dᵗₖ ⊂ Tᵗ في المهمة Tᵗ. الهدف هو إيجاد معاملات عام θᵗₘ تقلل الخسارة على جميع المهام المرئية وجميع العملاء.

معمارية النموذج

نموذج العميل

يتضمن نموذج العميل مكونين أساسيين:

1. مُشفِّر المهام غير المرتبط بالعدد (CATE)

مصمم كشبكة عصبية متصلة بالكامل، بحيث يُعطى دفعة بحجم عشوائي B = (x₁, x₂, ..., xᵦ)، ينتج تضمين مهام بحجم d:
```
Eᵦ = (1/b)∑ᵢ₌₁ᵇ CATE(xᵢ) ∈ ℝᵈ
```
لا يزداد عدد المعاملات مع عدد المهام، مما يضمن قابلية التوسع لسلاسل المهام الطويلة

2. وحدة AC-GAN

يتضمن المميز رؤوس حقيقية/مزيفة ورأس تصنيف
يدمج رأس التصنيف ميزات البيانات F وتضمين المهام E للتنبؤ
ينتج المولد G صور للإعادة

تضمين المهام الغاوسي

يتم تصميم تضمين المهام كمتغير عشوائي غاوسي:

عام: Eᵗ ~ N(μᵗ, Σᵗ)
خاص بالعميل: Eᵗₖ ~ N(μᵗₖ, Σᵗₖ)

التجميع والتنظيم على جانب الخادم

التجميع الأولي للنموذج

يتبع مبدأ FedAvg:

θ̂ᵗₘ = ∑ₖ₌₁ᴺ wₖθᵗₖ

حيث الأوزان wₖ متناسبة مع عدد نقاط البيانات المحلية |Dᵗₖ|.

تنظيم النموذج والتكامل

تتضمن خسارة الخادم ثلاثة مكونات:

Lserver = αLKD + βLWasserstein + γLanchor

1. خسارة تقطير المعرفة:

LKD = ∑(x,y)∈Aᵀ KL(θᵀ⁻¹ₘ(x)∥θ(x))

2. خسارة Wasserstein: استخدام مسافة 2-Wasserstein لقياس المسافة بين المهام، بالنسبة لتوزيعين غاوسيين:

W²₂(m₁,m₂) = ∥μ₁ - μ₂∥²₂ + tr(Σ₁ + Σ₂ - 2(Σ₁^(1/2)Σ₂Σ₁^(1/2))^(1/2))

خسارة Wasserstein هي:

LWasserstein = [∑₁≤ᵢ<ⱼ≤ᵀ W²₂(Nᵢ,Nⱼ)]⁻¹

3. خسارة الارتساء:

Lanchor = ∥θ - θ̂ᵗₘ∥₂

نقاط الابتكار التقني

التصميم غير المرتبط بالعدد: يمكن لـ CATE التعامل مع دفعات إدخال بأحجام عشوائية، مما يوفر قوة وتكيفًا أفضل
النمذجة الغاوسية: تصميم تضمينات المهام كمتغيرات عشوائية غاوسية، مما يسهل استخدام مسافة Wasserstein لقياس المسافة بين المهام
حماية الخصوصية: حماية خصوصية مستوى المهام بتجنب نقل التضمينات الكامنة مباشرة
التنظيم متعدد المستويات: دالة خسارة شاملة تجمع بين تقطير المعرفة وفصل المهام واستقرار النموذج

إعداد التجارب

مجموعات البيانات

استخدام ثلاث مجموعات بيانات معيارية لـ FCIL:

CIFAR-10: 10 فئات، 60,000 مثيل
تقسيم CIFAR-100 iCaRL: تقسيم عشوائي وفقًا لمبدأ iCaRL
تقسيم الفئات الفائقة لـ CIFAR-100: 20 فئة فائقة ذات صلة دلالية، تحتوي كل منها على 5 فئات

إعدادات سلسلة المهام

السلسلة 1 (CIFAR-10): 5 عملاء، 5 مهام، فئتان لكل مهمة
السلسلة 2 (CIFAR-100): 10 عملاء، 10 مهام، 10 فئات لكل مهمة
السلسلة 3 (فئات فائقة CIFAR-100): 10 عملاء، 20 مهمة، 5 فئات دلالية ذات صلة لكل مهمة

مقاييس التقييم

متوسط الدقة: دقة الاختبار النهائية على جميع المهام المرئية
متوسط النسيان: الفجوة بين ذروة دقة كل مهمة والدقة النهائية

طرق المقارنة

خطوط أساس FL: FedAvg, FedProx
طرق CIL: iCaRL, DER
طرق FCIL: FLwF-2T, FedCIL, GLFC
خطوط أساس محسّنة: AC-GAN + FedAvg/FedProx

تفاصيل التنفيذ

المُحسِّن: Adam
حجم الدفعة: 64
CIFAR-10: معدل التعلم 1×10⁻⁴، 60 جولة اتصال عام، 100 تكرار محلي لكل جولة
CIFAR-100: معدل التعلم 1×10⁻³، 40 جولة اتصال عام، 400 تكرار محلي لكل جولة
المعاملات الفائقة: α=0.3, β=0.3, γ=0.4

نتائج التجارب

النتائج الرئيسية

النموذج	السلسلة 1: CIFAR-10	السلسلة 2: CIFAR-100	السلسلة 3: فئات فائقة CIFAR-100
	الدقة↑ النسيان↓	الدقة↑ النسيان↓	الدقة↑ النسيان↓
FedAvg	26.2±2.6 8.5±1.7	23.4±2.9 9.2±1.9	23.7±2.5 13.2±1.6
FedProx	26.1±1.8 8.6±1.3	24.1±1.9 8.4±2.0	23.1±1.9 14.5±2.3
GLFC	35.7±1.1 6.3±0.9	33.1±0.6 10.7±1.8	33.6±1.7 11.2±2.2
FedCIL	32.4±1.9 6.9±1.9	31.5±0.4 7.4±1.2	31.2±1.6 10.8±2.0
FedGTEA	37.1±0.7 4.5±0.5	35.9±0.6 6.6±1.7	35.1±1.2 8.6±1.4

النتائج الرئيسية

السلسلة 1: يحقق FedGTEA أعلى دقة (37.1±0.7) ومعدل نسيان وحيد أقل من 5% (4.5±0.5)
السلسلة 2: يحصل FedGTEA على أفضل دقة (35.9±0.6)، مع الحفاظ على معدل نسيان أحادي الرقم (6.6±1.7)
السلسلة 3: يُظهر FedGTEA أفضل أداء في كل من الدقة (35.1±1.2) ومعدل النسيان (8.6±1.4)

التجارب الاستئصالية

متغير النموذج	السلسلة 1: CIFAR-10	السلسلة 2: CIFAR-100	السلسلة 3: فئات فائقة CIFAR-100
بدون CATE و Wasserstein	32.6±0.5 7.1±0.7	32.2±0.5 8.1±1.1	31.7±0.7 10.5±0.9
بدون Wasserstein	34.1±0.7 5.8±0.4	33.3±0.4 8.8±0.7	32.2±0.3 10.3±0.3
بدون Anchor	30.2±1.3 6.9±1.4	32.5±0.4 8.1±0.3	31.0±0.4 10.8±0.2
بدون Distillation	32.3±1.5 8.7±1.1	31.9±0.6 10.9±1.6	31.4±1.1 12.2±2.4
FedGTEA الكامل	37.1±0.7 4.5±0.5	35.9±0.6 6.6±1.7	35.1±1.2 8.6±1.4

تحليل التجارب الاستئصالية

خسارة التقطير: إزالتها تؤدي إلى زيادة كبيرة في معدل النسيان (من 8.6 إلى 12.2 على فئات فائقة CIFAR-100)، مما يثبت أهميتها في الحفاظ على المعرفة السابقة
خسارة الارتساء: إزالتها تؤدي إلى انخفاض كبير في الدقة (انخفاض بمقدار 7% تقريبًا على CIFAR-10)، مما يشير إلى ضرورتها لاستقرار تمثيل الميزات المميزة
خسارة CATE و Wasserstein: إزالتها تؤدي إلى انخفاض كبير في الأداء، مما يتحقق من فعالية مُشفِّر المهام وآلية فصل المهام

الأعمال ذات الصلة

التعلم المتزايم للفئات

تنقسم طرق CIL إلى ثلاث فئات رئيسية:

طرق الإعادة: مثل iCaRL و GEM، تحافظ على مخزن مؤقت للعينات
طرق التنظيم: تقيد تحديثات المعاملات من خلال تقطير المعرفة
طرق الفورية: مثل L2P و DualPrompt، تتعلم مجموعة متجهات السياق

التعلم الفيدرالي

تتضمن استراتيجيات التجميع الرئيسية FedAvg و FedProx، التي تتعامل مع عدم التجانس الإحصائي من خلال المتوسط المرجح والتنظيم على التوالي.

التعلم الفيدرالي المتزايم للفئات

تنقسم طرق FCIL الموجودة إلى:

طرق الإعادة: استخدام مخزن مؤقت للعينات المحلية أو الإعادة المولدة
طرق التنظيم والتقطير: نقل المعرفة من خلال تقطير المعرفة
طرق الفورية: تخزين مجموعة فورية على العميل لتشفير السياق المرتبط بالمهام

الخلاصة والمناقشة

الاستنتاجات الرئيسية

يحقق FedGTEA نمذجة فعالة للمعرفة على مستوى المهام في FCIL من خلال إدخال مُشفِّر مهام غير مرتبط بالعدد وتنظيم مسافة Wasserstein، متفوقًا على الطرق الموجودة في كل من دقة الأداء والنسيان.

القيود

التعقيد الحسابي: قد يصبح التعقيد O(n³) لحساب مسافة 2-Wasserstein عنقًا زجاجيًا في التضمينات عالية الأبعاد
حساسية المعاملات الفائقة: تتطلب أوزان مكونات الخسارة الثلاثة ضبطًا دقيقًا
نطاق التقييم: يقتصر التقييم على مهام تصنيف الصور، مع عدم معرفة قابلية التطبيق في المجالات الأخرى

الاتجاهات المستقبلية

استكشاف طرق أكثر كفاءة لحساب مسافة Wasserstein
دراسة استراتيجيات ضبط المعاملات الفائقة التكيفية
التوسع إلى أنماط وأنواع مهام أخرى

التقييم المتعمق

المزايا

ابتكار قوي: أول من يقوم بنمذجة المعرفة على مستوى المهام بشكل منهجي في FCIL، مع اقتراح تصميم مُشفِّر مهام غير مرتبط بالعدد
أساس نظري متين: استخدام الخصائص الرياضية لمسافة 2-Wasserstein يوفر دعمًا نظريًا صارمًا لفصل المهام
تجارب شاملة: تقييم شامل عبر مجموعات بيانات وإعدادات متعددة، مع تجارب استئصالية تثبت فعالية كل مكون
حماية الخصوصية: حماية خصوصية مستوى المهام بتجنب نقل التضمينات مباشرة

أوجه القصور

النفقات الحسابية: قد يؤدي حساب مسافة Wasserstein والعمليات المصفوفية إلى تكاليف حسابية إضافية
ضبط المعاملات: يتطلب موازنة معاملات متعددة عملاً كبيرًا من الضبط
التحقق من قابلية التعميم غير كافٍ: التحقق فقط على مجموعات بيانات CIFAR، مع نقص التجارب على نطاق أوسع وأكثر تنوعًا

التأثير

يقدم هذا العمل فكرة جديدة لنمذجة مستوى المهام في مجال FCIL، وقد يلهم المزيد من الأبحاث التي تركز على السياق المرتبط بالمهام. يجعل التصميم غير المرتبط بالعدد وخصائص حماية الخصوصية لديها إمكانات جيدة في التطبيقات العملية.

السيناريوهات القابلة للتطبيق

الأنظمة الفيدرالية التي تتطلب تعلمًا طويل الأجل لفئات جديدة
سيناريوهات التعلم الموزع ذات متطلبات الخصوصية العالية
البيئات التي يكون فيها توزيع بيانات العميل مختلفًا بشكل كبير

المراجع

تستشهد الورقة بأعمال مهمة في مجالات FCIL و CIL و FL، بما في ذلك الطرق الكلاسيكية مثل FedAvg و iCaRL و AC-GAN، وكذلك أحدث أبحاث FCIL مثل FedCIL و GLFC، مما يوفر أساسًا نظريًا متينًا لهذا البحث.