2025-11-25T14:25:18.089963

FedLoRA-Optimizer: Federated LoRA Fine-Tuning with Global and Local Optimization in Heterogeneous Data Scenarios

Zhao, Zhu, Zhang et al.
Federated efficient fine-tuning has emerged as an approach that leverages distributed data and computational resources across nodes to address the challenges of large-scale fine-tuning and privacy preservation. The Low-Rank Adaptation (LoRA) enables efficient fine-tuning of large-scale pre-trained models by introducing trainable low-rank matrices into weight updates.However, in heterogeneous data scenarios, client drift weakens the generalization of the global model, and local models often fail to meet the personalized needs of individual clients.Moreover, existing federated LoRA efficient fine-tuning techniques overlook fine-grained analysis of the tuning matrices. To address this, we conducted preliminary experiments and found that different LoRA matrices exhibit different sensitivity to changes in the direction and magnitude of their vectors.We thus propose a fine-grained federated LoRA tuning method. By fine-tuning the more sensitive directional vectors in the A matrix, which encode shared knowledge, our method learns shared features more effectively across clients and enhances global generalization. Simultaneously, by fine-tuning the more sensitive magnitude vectors in the B matrix, which encode personalized knowledge, our method better captures personalized knowledge, enabling detailed adaptation to local data. The method uses a pipeline combining global and local optimizers. Global optimization further improves local models, achieving collaborative optimization between global and local levels. This improves both the generalization ability of the global model and the personalized adaptation of local models under heterogeneous data scenarios. Experiments on Databricks-Dolly-15k and Natural Instructions with LLaMA2-7B and Deepseek-7B confirm that our method improves global performance by 0.39% and local performance by 0.59%.
academic

FedLoRA-Optimizer: الضبط الدقيق الموحد لـ LoRA مع التحسين العام والمحلي في سيناريوهات البيانات غير المتجانسة

المعلومات الأساسية

  • معرّف الورقة: 2510.11274
  • العنوان: FedLoRA-Optimizer: الضبط الدقيق الموحد لـ LoRA مع التحسين العام والمحلي في سيناريوهات البيانات غير المتجانسة
  • المؤلفون: Jianzhe Zhao, Hailin Zhu, Yu Zhang, Ziqi Chen, Guibing Guo (جامعة نورثيسترن)
  • التصنيف: cs.LG (التعلم الآلي)
  • تاريخ النشر: 13 أكتوبر 2025 (نسخة أولية على arXiv)
  • رابط الورقة: https://arxiv.org/abs/2510.11274

الملخص

يعالج الضبط الدقيق الموحد الفعال تحديات الضبط الدقيق على نطاق واسع وحماية الخصوصية من خلال الاستفادة من البيانات الموزعة والموارد الحسابية عبر العقد. يحقق التكيف منخفض الرتبة (LoRA) الضبط الدقيق الفعال للنماذج المدربة مسبقاً على نطاق واسع من خلال إدخال مصفوفات منخفضة الرتبة قابلة للتدريب في تحديثات الأوزان. ومع ذلك، في سيناريوهات البيانات غير المتجانسة، يضعف انجراف العميل القدرة على التعميم للنموذج العام، وغالباً ما تفشل النماذج المحلية في تلبية احتياجات التخصيص لكل عميل على حدة. علاوة على ذلك، تتجاهل تقنيات الضبط الدقيق الموحد الفعال الحالية لـ LoRA التحليل الدقيق لمصفوفات الضبط. لهذا السبب، أجرينا تجارب أولية وكتشفنا أن مصفوفات LoRA المختلفة تظهر حساسيات مختلفة تجاه التغييرات في اتجاه وحجم المتجهات. بناءً على هذا الاكتشاف، نقترح طريقة ضبط دقيق موحدة دقيقة الحبيبات تتعلم بشكل أكثر فعالية الميزات المشتركة عبر العملاء من خلال ضبط متجهات الاتجاه الأكثر حساسية التي تشفر المعرفة المشتركة في مصفوفة A، مما يعزز القدرة على التعميم العام؛ وفي الوقت نفسه، تلتقط بشكل أفضل المعرفة المخصصة من خلال ضبط متجهات الحجم الأكثر حساسية التي تشفر المعرفة المخصصة في مصفوفة B. تستخدم الطريقة بنية خط أنابيب تجمع بين محسّنات عامة ومحلية، مما يحسّن القدرة على التعميم للنموذج العام والتكيف الشخصي للنموذج المحلي في سيناريوهات البيانات غير المتجانسة.

الخلفية البحثية والدافع

المشكلة البحثية

تركز هذه الورقة على حل المشكلة الأساسية المتمثلة في عدم كفاءة الضبط الدقيق الموحد لـ LoRA في بيئات البيانات غير المتجانسة، وتشمل بشكل محدد:

  1. مشكلة انجراف العميل: الاختلافات في توزيع البيانات بين العملاء في بيئة التعلم الموحد غير المتجانسة تؤدي إلى انخفاض القدرة على التعميم للنموذج العام
  2. عدم كفاية احتياجات التخصيص: النماذج المحلية لا تلبي بشكل جيد احتياجات التخصيص لكل عميل
  3. نقص التحليل الدقيق: تتجاهل الطرق الحالية التحليل الدقيق لمصفوفات ضبط LoRA

أهمية المشكلة

مع الاستخدام الواسع للنماذج المدربة مسبقاً الكبيرة، أصبح كيفية إجراء ضبط دقيق موزع فعال مع حماية الخصوصية تحدياً رئيسياً. يوفر التعلم الموحد حلاً، لكنه يواجه مشاكل تدهور الأداء في سيناريوهات البيانات غير المتجانسة، مما يؤثر بشكل مباشر على فعالية النماذج الكبيرة في التطبيقات العملية.

قيود الطرق الموجودة

  1. طرق التعلم الموحد التقليدية: مثل FedAvg تواجه صعوبات في التقارب في ظل عدم تجانس البيانات، مع انخفاض الدقة
  2. طرق الضبط الدقيق الموحد الحالية لـ LoRA: تركز بشكل أساسي على تصميم البنية المعمارية، وتفتقر إلى التحليل الدقيق لتغييرات مصفوفات الضبط
  3. طرق كفاءة المعاملات: بينما تقلل تكاليف الاتصال، لا يزال التوازن بين التعميم العام والتكيف الشخصي في البيئات غير المتجانسة صعباً

الدافع البحثي

اكتشف المؤلفون من خلال التجارب أن مصفوفات A و B في LoRA تظهر أنماط حساسية مختلفة تجاه التغييرات في الاتجاه والحجم، مما يوفر أساساً نظرياً لتصميم استراتيجيات تحسين موجهة.

المساهمات الأساسية

  1. التحليل التجريبي الدقيق: أول تحليل دقيق الحبيبات لتغييرات الاتجاه والحجم في مصفوفات ضبط LoRA، مع اكتشاف أن تغييرات الاتجاه في مصفوفة A تبلغ حوالي 1.7 مرة من مصفوفة B، بينما تغييرات الحجم في مصفوفة B تبلغ حوالي 41 مرة من مصفوفة A
  2. طريقة ضبط دقيق موحدة دقيقة الحبيبات للبيانات غير المتجانسة: تقترح طريقة تحسّن بشكل منفصل متجهات الاتجاه عالية الحساسية في مصفوفة A ومتجهات الحجم عالية الحساسية في مصفوفة B، مما يعزز بشكل كبير القدرة على التعميم للنموذج العام والتكيف للنموذج المحلي
  3. بنية تحسين عام-محلي متعاون: تصمم بنية خط أنابيب تجمع بين محسّنات عامة ومحلية، مما يحقق التحسين المتعاون على المستويات العام والمحلي
  4. التحقق التجريبي: التحقق على نماذج LLaMA2-7B و Deepseek-7B باستخدام مجموعات بيانات Databricks-Dolly-15k و Natural Instructions، مع تحسن دقة المهام العامة بحوالي 0.39% وتحسن المهام المحلية بحوالي 0.59%

شرح الطريقة

تعريف المهمة

تدرس هذه الورقة مهمة الضبط الدقيق الفعال لنماذج اللغة الكبيرة في بيئة التعلم الموحد. بالنظر إلى N عميل، حيث يمتلك كل عميل i مجموعة بيانات محلية Di، الهدف هو تدريب نموذج يتمتع بقدرة تعميم عام جيدة ويلبي احتياجات التخصيص لكل عميل، دون مشاركة البيانات الأصلية.

الملاحظات والاكتشافات الرئيسية

من خلال التحليل التجريبي على نموذج LLaMA2-7B، اكتشف المؤلفون ملاحظتين مهمتين:

الملاحظة 1: تغييرات الاتجاه في مصفوفة A تبلغ حوالي 1.7 مرة من مصفوفة B

  • تشفر مصفوفة A المعرفة المشتركة عبر المهام، وتعتبر بمثابة "الإطار الأساسي" للمعرفة العامة
  • التغييرات في متجهات الاتجاه تؤثر بشكل مباشر على أداء التدريب للمهام العامة

الملاحظة 2: تغييرات الحجم في مصفوفة B تبلغ حوالي 41 مرة من مصفوفة A

  • تشفر مصفوفة B المعلومات المخصصة الخاصة بالمهمة
  • التغييرات في متجهات الحجم تلعب دوراً حاسماً في تأثير التدريب على المهام النهائية

البنية المعمارية

استراتيجية تحليل المصفوفة

مستوحاة من فكرة DoRA، يتم تحليل مصفوفات LoRA إلى مكونات الحجم والاتجاه:

A = AM · AD, B = BM · BD

حيث AM و BM تمثل متجهات الحجم، و AD و BD تمثل متجهات الاتجاه.

المحسّن العام

الهدف: تعزيز القدرة على التعميم للنموذج العام
الاستراتيجية: التركيز على تعديل متجهات الاتجاه في مصفوفة A

صيغة التجميع الموحد:

ĀD = (1/N) ∑(i=1 to N) AD,i
ĀM = (1/N) ∑(i=1 to N) AM,i  
B̄M = (1/N) ∑(i=1 to N) BM,i
B̄D = (1/N) ∑(i=1 to N) BD,i

تحديث النموذج العام:

Wg = W0 + B̄M · B̄D · ĀM · (ĀD + ΔAD,g)

المحسّن المحلي

الهدف: تحسين أداء النموذج المخصص
الاستراتيجية: التركيز على تعديل متجهات الحجم في مصفوفة B

تحديث النموذج المحلي:

Wl = Wg + (B̄'M + ΔB'M,l) · B̄'D · Ā'M · Ā'D

دالة الخسارة المحلية:

Llocal = Ltask(Wlx,y) + (λ/2)||ΔMl||²F

صيغة تحديث التدرج:

∇ΔMlocalLlocal = B̄'D · Ā'M · Ā'D · ∇ypredLtask + λ · ΔMlocal

نقاط الابتكار التقني

  1. التحسين المختلف القائم على الحساسية: بناءً على الحساسيات المختلفة لمصفوفات A و B تجاه التغييرات في الاتجاه والحجم، تطبق استراتيجيات تحسين موجهة
  2. تصميم بنية خط الأنابيب: يقوم المحسّن العام بتدريب النموذج العام أولاً، ثم يقوم المحسّن المحلي بالضبط الدقيق الشخصي بناءً على النموذج العام
  3. التحكم الدقيق في المعاملات: يتحكم بشكل منفصل في تحديث متجهات الاتجاه والحجم، مما يحقق ضبطاً دقيقاً أكثر دقة للمعاملات

إعداد التجارب

مجموعات البيانات

  • Databricks-Dolly-15k: مجموعة بيانات ضبط دقيق للتعليمات تتضمن مهام نهائية متعددة
  • Natural Instructions: مجموعة بيانات التعليمات الطبيعية
  • أنواع المهام: اختيار ثلاث مهام تمثيلية لمحاكاة بيئة غير متجانسة
    • الاستدلال السببي (Causal)
    • الأسئلة والأجوبة (QA)
    • استخراج المعلومات (IE)
  • تقسيم البيانات: 80% مجموعة تدريب، 20% مجموعة اختبار

مقاييس التقييم

  • الدقة (Accuracy): قياس دقة الإجابات من خلال التشابه الدلالي بين مخرجات النموذج والاستجابات المستهدفة
  • الأداء العام: الأداء على جميع مجموعات المهام (ALL)
  • الأداء المحلي: الأداء على كل مهمة محددة

طرق المقارنة

  • LoRA: خوارزمية LoRA القياسية، تدريب معاملات المحول فقط
  • Prompt Tuning: تقنية ضبط دقيق خفيفة الوزن قائمة على المطالبات
  • Adapt Tuning: طريقة ضبط دقيق فعالة أخرى للمعاملات

تفاصيل التنفيذ

  • النموذج: LLaMA2-7B و DeepSeek-7B
  • معاملات LoRA: rank=8, scaling factor=32, dropout=0.1
  • طبقة التطبيق: تطبيق على طبقات Q و V الفرعية للاهتمام الذاتي فقط
  • الأجهزة: خادم A800 Linux، 100GB RAM، معالج Intel Xeon Gold 6348 بـ 14 نواة

نتائج التجارب

النتائج الرئيسية

نتائج LLaMA2-7B

مجموعة بيانات Natural Instructions:

  • مهمة PH: 11.62% مقابل 11.46% لـ LoRA
  • مهمة QA: 66.69% مقابل 61.69% لـ LoRA
  • مهمة IE: 21.18% مقابل 22.85% لـ LoRA
  • مهمة ALL: 32.44% مقابل 33.04% لـ LoRA
  • تحسن الدقة الإجمالي 0.73%

مجموعة بيانات Databricks-Dolly-15k:

  • مهمة Causal: 18.99% مقابل 18.59% لـ LoRA
  • مهمة QA: 40.57% مقابل 40.48% لـ LoRA
  • مهمة IE: 27.91% مقابل 25.91% لـ LoRA
  • مهمة ALL: 26.20% مقابل 25.70% لـ LoRA
  • تحسن الدقة الإجمالي 0.75%

نتائج DeepSeek-7B

مجموعة بيانات Natural Instructions:

  • تحسن إجمالي 1.11%، من 6.00% إلى 6.44%

مجموعة بيانات Databricks-Dolly-15k:

  • تحسن إجمالي 0.53%، من 18.90% إلى 20.10%

تحليل المعاملات

من خلال تحليل إعدادات rank المختلفة، وجد أن النموذج يحقق أفضل أداء عندما r=8 و n=2، مع دقة 18.59% في مهمة الاستدلال السببي.

التجارب الاستئصالية

التحقق من فعالية بنية خط الأنابيب:

  • مقارنة بنية خط الأنابيب "التحسين العام + التحسين المحلي" مع الطريقة التي تستخدم التحسين المحلي فقط
  • تظهر نتائج التجارب أن نمط خط الأنابيب يتفوق على النمط غير الخطي في جميع المهام الثلاث (Causal و IE و QA)
  • يثبت فعالية استراتيجية التدريب المرحلي

الاكتشافات التجريبية

  1. التحقق من الحساسية المختلفة للاتجاه مقابل الحجم: تم التحقق من أن تغييرات اتجاه مصفوفة A أكبر بالفعل من مصفوفة B بحوالي 1.7 مرة، وتغييرات حجم مصفوفة B أكبر من مصفوفة A بحوالي 41 مرة
  2. ضرورة بنية خط الأنابيب: التحسين المحلي بعد التحسين العام أفضل من التحسين المحلي المباشر
  3. أهمية إعدادات المعاملات: لإعدادات rank المناسبة تأثير كبير على الأداء

الأعمال ذات الصلة

الضبط الدقيق الفعال للمعاملات

  • Adapters: إدراج وحدات قابلة للتدريب صغيرة في طبقات Transformer
  • LoRA: تحليل مصفوفات الأوزان إلى مكونات منخفضة الرتبة، تحديث وحدات الالتفافية فقط
  • DoRA: تحليل إضافي لمصفوفات LoRA إلى "حجم + اتجاه"
  • Prompt Tuning: توجيه النموذج من خلال مطالبات نصية مصممة بعناية

التعلم الموحد

  • FedAvg: التحسين العام من خلال متوسط التحديثات، لكن الأداء ضعيفة في ظل عدم تجانس البيانات
  • FedProx: إضافة حد قريب لتقييد انحراف التحديثات المحلية
  • SCAFFOLD: استخدام متغيرات التحكم لتصحيح "انجراف العميل"
  • التعلم الموحد الشخصي: بناء نماذج عملاء مخصصة

الضبط الدقيق الموحد الفعال للمعاملات

  • FFA-LoRA: تثبيت مصفوفة منخفضة الرتبة واحدة مع ضبط أخرى لتحسين الاستقرار
  • طرق التحسين من الدرجة الصفرية: تحقيق الضبط الدقيق الموحد للنماذج الكبيرة من خلال مشاركة البذور العشوائية

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. قيمة التحليل الدقيق: يكشف التحليل الدقيق الحبيبات لتغييرات الاتجاه والحجم في مصفوفات LoRA عن أنماط فروقات حساسية مهمة
  2. فعالية استراتيجيات التحسين المختلفة: استراتيجيات التحسين المختلفة الموجهة لمتجهات الاتجاه في مصفوفة A ومتجهات الحجم في مصفوفة B قادرة على تحسين القدرة على التعميم العام والقدرة على التخصيص المحلي في نفس الوقت
  3. مزايا بنية خط الأنابيب: التحسين المتعاون العام-المحلي أكثر فعالية من التحسين المحلي البحت

القيود

  1. تحسن الأداء محدود: بينما الطريقة فعالة، فإن تحسن الأداء الإجمالي محدود نسبياً (0.39%-0.59%)
  2. التعقيد الحسابي: تزيد بنية خط الأنابيب من التعقيد الحسابي للتدريب
  3. نطاق التطبيق: التحقق بشكل أساسي على نماذج اللغة الكبيرة، والقابلية للتعميم على أنواع نماذج أخرى تحتاج إلى التحقق
  4. الاعتماد على درجة عدم التجانس: قد تعتمد فعالية الطريقة على درجة عدم تجانس البيانات

الاتجاهات المستقبلية

يقترح المؤلفون استكشاف استراتيجيات التحسين في المستقبل لتحسين قابلية تكيف النموذج والكفاءة في البيئات غير المتجانسة، بما في ذلك:

  1. تحسين آلية التعاون العام-المحلي بشكل إضافي
  2. استكشاف استراتيجيات تحليل وتجميع معاملات أكثر كفاءة
  3. التوسع إلى أنواع نماذج ومهام أكثر

التقييم المتعمق

المزايا

  1. رؤى نظرية مبتكرة: أول تحليل من منظور دقيق الحبيبات لفروقات حساسية مصفوفات LoRA، يوفر أساساً نظرياً لاستراتيجيات التحسين
  2. تصميم الطريقة معقول: استراتيجيات التحسين المختلفة المصممة بناءً على الملاحظات التجريبية لها معقولية قوية جداً
  3. تصميم التجارب شامل: يتضمن تجارب مقارنة كافية وتحليل معاملات وتجارب استئصالية
  4. تعريف المشكلة واضح: تحديد دقيق للتحديات الرئيسية في الضبط الدقيق الموحد لـ LoRA

أوجه القصور

  1. نطاق تحسن الأداء محدود: مقارنة بتعقيد الطريقة، تحسن الأداء محدود نسبياً
  2. التحليل النظري غير عميق بما فيه الكفاية: يفتقر إلى شرح نظري لسبب إظهار مصفوفات A و B حساسيات مختلفة
  3. نطاق التجارب محدود: التحقق على نموذجين فقط ومجموعتي بيانات، والقابلية للتعميم تحتاج إلى تعزيز
  4. تحليل التكاليف الحسابية غير موجود: لم يتم توفير تحليل تفصيلي لتكاليف الحساب والاتصال

التأثير

  1. المساهمة الأكاديمية: توفير منظور بحثي جديد للضبط الدقيق الفعال للمعاملات في التعلم الموحد
  2. القيمة العملية: لها إمكانية تطبيق في سيناريوهات الضبط الدقيق الموزع لنماذج اللغة الكبيرة الحساسة لخصوصية البيانات
  3. القابلية للتكرار: توفر الورقة إعدادات تجريبية وتكوينات معاملات تفصيلية

السيناريوهات المناسبة

تناسب هذه الطريقة بشكل خاص:

  1. سيناريوهات الضبط الدقيق الموزع لنماذج اللغة الكبيرة الحساسة لخصوصية البيانات
  2. بيئات التعلم الموحد ذات عدم التجانس القوي في البيانات
  3. تطبيقات التوازن بين التعميم العام والتخصيص
  4. البيئات المحدودة الموارد الحسابية لكن التي تحتاج إلى ضبط دقيق فعال

المراجع

تستشهد الورقة بـ 25 مرجعاً ذا صلة، تغطي الأعمال المهمة في المجالات الرئيسية لـ LoRA والتعلم الموحد والضبط الدقيق الفعال للمعاملات، مما يوفر أساساً نظرياً متيناً للبحث.

التقييم الإجمالي: هذا عمل قيّم في مجال التقاطع بين التعلم الموحد والضبط الدقيق الفعال للمعاملات. بينما تحسن الأداء محدود نسبياً، فإن منظور التحليل الدقيق الحبيبات واستراتيجيات التحسين المختلفة التي تقترحها توفر منظوراً بحثياً جديداً للمجال، مع قيمة أكاديمية وإمكانية تطبيق عملي معينة.