2025-11-14T15:31:11.541597

Mitigating the Noise Shift for Denoising Generative Models via Noise Awareness Guidance

Zhong, Jiang, Tao et al.

Existing denoising generative models rely on solving discretized reverse-time SDEs or ODEs. In this paper, we identify a long-overlooked yet pervasive issue in this family of models: a misalignment between the pre-defined noise level and the actual noise level encoded in intermediate states during sampling. We refer to this misalignment as noise shift. Through empirical analysis, we demonstrate that noise shift is widespread in modern diffusion models and exhibits a systematic bias, leading to sub-optimal generation due to both out-of-distribution generalization and inaccurate denoising updates. To address this problem, we propose Noise Awareness Guidance (NAG), a simple yet effective correction method that explicitly steers sampling trajectories to remain consistent with the pre-defined noise schedule. We further introduce a classifier-free variant of NAG, which jointly trains a noise-conditional and a noise-unconditional model via noise-condition dropout, thereby eliminating the need for external classifiers. Extensive experiments, including ImageNet generation and various supervised fine-tuning tasks, show that NAG consistently mitigates noise shift and substantially improves the generation quality of mainstream diffusion models.

academic

تخفيف انزياح الضوضاء لنماذج التوليد إزالة الضوضاء عبر التوجيه الواعي للضوضاء

المعلومات الأساسية

معرّف الورقة: 2510.12497
العنوان: Mitigating the Noise Shift for Denoising Generative Models via Noise Awareness Guidance
المؤلفون: Jincheng Zhong, Boyuan Jiang, Xin Tao, Pengfei Wan, Kun Gai, Mingsheng Long
التصنيف: cs.LG (التعلم الآلي)
تاريخ النشر: 14 أكتوبر 2025 (نسخة أولية من arXiv)
رابط الورقة: https://arxiv.org/abs/2510.12497

الملخص

تعتمد نماذج التوليد إزالة الضوضاء الحالية على حل معادلات SDE أو ODE العكسية المنفصلة زمنياً. تحدد هذه الورقة مشكلة طويلة الأمد تم تجاهلها لكنها منتشرة في هذه النماذج: عدم التطابق بين مستويات الضوضاء المحددة مسبقاً والمستويات الفعلية للضوضاء المشفرة في الحالات الوسيطة أثناء عملية الأخذ. يسمي المؤلفون هذا عدم التطابق "انزياح الضوضاء" (noise shift). من خلال التحليل التجريبي، يثبت المؤلفون أن انزياح الضوضاء منتشر على نطاق واسع في نماذج الانتشار الحديثة ويظهر انحيازاً منهجياً، مما يؤدي إلى مشاكل التعميم خارج التوزيع والتحديثات غير الدقيقة لإزالة الضوضاء، مما ينتج عنه نتائج توليد دون المستوى الأمثل. لحل هذه المشكلة، يقترح المؤلفون التوجيه الواعي للضوضاء (NAG)، وهي طريقة تصحيح بسيطة وفعالة توجه بشكل صريح مسارات الأخذ للحفاظ على الاتساق مع جدول الضوضاء المحدد مسبقاً.

الخلفية البحثية والدافع

تحديد المشكلة

حققت نماذج التوليد إزالة الضوضاء مثل نماذج الانتشار ونماذج التدفق نجاحاً ملحوظاً في مهام التوليد البصري مثل تركيب الصور وتوليد الفيديو. المبدأ الأساسي لهذه النماذج هو استعادة العينة المستهدفة بشكل تدريجي من الضوضاء النقية من خلال عملية تكرارية. ومع ذلك، أثناء عملية الأخذ التكرارية، يتراكم النموذج حتماً أخطاء من مصادر متعددة، بما في ذلك:

التقريب غير الكامل للشبكة
أخطاء التقطيع في التكامل العددي
عوامل عشوائية أخرى

المشكلة الأساسية

يكتشف المؤلفون أن أحد المظاهر الرئيسية لهذه الأخطاء المتراكمة هو: قد ينحرف مستوى الضوضاء المشفر بشكل متأصل في الحالات الوسيطة عن الجدول المحدد مسبقاً. هذه الظاهرة المسماة "انزياح الضوضاء" تم تجاهلها طويلاً من قبل المجتمع العلمي، لكنها في الواقع منتشرة على نطاق واسع وجذورها في التأثير الجماعي لمصادر الأخطاء المختلفة.

أهمية المشكلة

يؤدي انزياح الضوضاء إلى عدم تطابق أساسي في شبكة إزالة الضوضاء بين التدريب والاستدلال، والذي يتجلى في:

مشاكل التعميم خارج التوزيع: يتم تطبيق النموذج المدرب على حالات وسيطة منزاحة
عمليات إزالة ضوضاء دون المستوى الأمثل: استخدام معاملات محددة مسبقاً غير دقيقة لحساب الحالة التالية

المساهمات الأساسية

تحديد مشكلة انزياح الضوضاء: تحديد منهجي وتحليل لأول مرة لمشكلة انزياح الضوضاء المنتشرة على نطاق واسع والمتجاهلة طويلاً في نماذج التوليد إزالة الضوضاء
اقتراح طريقة NAG: تصميم طريقة التوجيه الواعي للضوضاء (NAG) لتخفيف مشكلة انزياح الضوضاء
تطوير متغير بدون مصنف: اقتراح متغير بدون مصنف من NAG من خلال تدريب مشترك للنماذج الشرطية وغير الشرطية للضوضاء باستخدام dropout شرطي للضوضاء
التحقق التجريبي الشامل: التحقق من فعالية وعمومية NAG على مهام توليد ImageNet والضبط الدقيق الخاضع للإشراف

شرح الطريقة

تشكيل المشكلة

العملية الأمامية

لمستوى ضوضاء $t \in [0,T]$ ، يتم تعريف الاستيفاء العشوائي المستمر في الوقت على النحو التالي: $x_t = \alpha_t x_0 + \sigma_t \epsilon$ حيث $\alpha_0 = \sigma_T = 1$ ، $\alpha_T = \sigma_0 = 0$ ، $\alpha_t$ تناقصي رتيب، $\sigma_t$ تصاعدي رتيب.

الوصف الرياضي لانزياح الضوضاء

يمكن اعتبار الخطأ المتراكم $e$ كاضطراب غاوسي إضافي مطبق على $x_t$ : $\hat{x}_t = x_t + e$ ، حيث $e \sim \mathcal{N}(0, \sigma_e^2 I)$ .

يزيد هذا الاضطراب التباين الفعال من $\sigma_t^2$ إلى $\sigma_t^2 + \sigma_e^2$ ، مما يجعل الحالة المضطربة تتصرف كما لو تم أخذ عينات منها عند مستوى ضوضاء منزاح $t' = t + \delta$ : $\sigma_{t+\delta}^2 = \sigma_t^2 + \sigma_e^2$

الملاحظة 1: عندما يكون تباين الخطأ $\sigma_e^2$ صغيراً، يكون التقريب من الدرجة الأولى للانزياح $\delta$ هو: $\delta \approx \frac{\sqrt{\sigma_t^2 + \sigma_e^2} - \sigma_t}{\dot{\sigma}_t}$

التوجيه الواعي للضوضاء (NAG)

NAG المستند إلى المصنف

يمكن كتابة درجة الضوضاء الشرطية على النحو التالي: $s(x|t) = \nabla_x \log p_t(x|t) = \nabla_x \log p_t(x) + \nabla_x \log p_t(t|x)$

من خلال مقدر خلفي خارجي $g_\phi$ يوفر إشارة توجيه $\nabla \log g_\phi(t|x)$ .

NAG بدون مصنف

باستخدام $p_t(t|x) \propto p_t(x|t)/p_t(x)$ ، استخدام مزج الدرجات لتقريب تدرج متنبئ الضوضاء الضمني: $s^{w_{nag}}(x|t) = (w_{nag} + 1)s(x|t) - w_{nag}s(x)$

حيث $w_{nag}$ هو معامل التوجيه لـ NAG.

استراتيجية التنفيذ

اتباع استراتيجية تدريب CFG: إسقاط عشوائي لشرط الضوضاء $t$ باحتمالية ثابتة أثناء التدريب، مما يسمح للنموذج بمشاركة الأوزان بين الأهداف الشرطية وغير الشرطية.

نقاط الابتكار التقني

استهداف مباشر لانزياح الضوضاء: يستهدف NAG بشكل مباشر مشكلة عدم تطابق مستوى الضوضاء، بدلاً من التخفيف غير المباشر
متعامد مع CFG: يقدم NAG محور شرط مستوى الضوضاء المتعامد مع محور الشرط في CFG، مما يوفر تحكماً متكاملاً
بسيط وفعال: لا يتطلب مصنفاً خارجياً، يمكن دمجه مباشرة في النماذج الموجودة

إعداد التجارب

مجموعات البيانات

ImageNet 256×256: استخدام VAE Stable Diffusion المدرب مسبقاً للحصول على متجهات كامنة 32×32×4
مجموعات بيانات الضبط الدقيق الخاضع للإشراف: Food101، SUN397، DF20-Mini، Caltech101، CUB-200-2011، ArtBench-10، Stanford Cars

معمارية النموذج

DiT (Diffusion Transformers): متغيرات S/2، B/2، L/2، XL/2
SiT (Scalable Interpolant Transformers): متغيرات التكوين نفسه

مقاييس التقييم

FID (Fréchet Inception Distance): مقياس التقييم الرئيسي
الدقة والاستدعاء: للتقييم على النتائج المتقاربة

تفاصيل التنفيذ

خطوات الأخذ: DiT يستخدم 250 خطوة أخذ DDPM، SiT يستخدم 250 خطوة أخذ SDE-Euler-Maruyama
أوزان التوجيه: $w_{nag} = 3.0$ (بدون CFG)، $w_{nag} = 2.0$ (مع CFG)
dropout الضوضاء: احتمالية 10% لإسقاط شرط الضوضاء أثناء التدريب

نتائج التجارب

النتائج الرئيسية

توليد ImageNet

الجدول 1: نتائج المقارنة للنماذج المتقاربة

النموذج	عدد الحقب	التوليد بدون CFG	التوليد مع CFG
DiT-XL/2	1400	FID: 9.62	FID: 2.27
+NAG	10+(1400*)	FID: 2.59	FID: 2.14
SiT-XL/2	1400	FID: 8.61	FID: 2.06
+NAG	10+(1400*)	FID: 2.26	FID: 1.72

النتائج الرئيسية:

يمكن لـ NAG وحده تحقيق جودة توليد قريبة من توجيه CFG
عند الدمج مع CFG، يستمر NAG في توفير تحسينات إضافية
يتطلب فقط 10 حقب إضافية من الضبط الدقيق (حوالي 0.7% من تكلفة التدريب المسبق) لتفعيل NAG

نتائج الضبط الدقيق الخاضع للإشراف

الجدول 2: مقارنة FID لمهام الضبط الدقيق

الطريقة	Food	SUN	Caltech	CUB	Stanford Car	DF-20M	ArtBench	متوسط FID
الضبط الدقيق (بدون CFG)	16.04	21.41	31.34	9.81	11.29	17.92	22.76	18.65
+NAG	11.18	14.95	24.32	5.68	5.92	14.79	19.22	13.72
الضبط الدقيق (مع CFG)	10.93	14.13	23.84	5.37	6.32	15.29	19.94	13.69
+NAG	5.78	8.81	21.87	3.52	3.91	12.55	15.69	10.31

تأثير تخفيف انزياح الضوضاء

يظهر التحليل التجريبي من خلال مقدر الضوضاء الخارجي $g_\phi$ :

انزياح الضوضاء منتشر على نطاق واسع في نماذج الانتشار الحديثة
يتجلى كانحياز منهجي نحو مستويات ضوضاء أكبر
يقلل NAG بشكل فعال هذا الانزياح، خاصة في النطاق حيث نسبة الإشارة إلى الضوضاء أكبر من 1

تجارب الاستئصال

حساسية وزن التوجيه: $w_{nag}$ يظهر أداء مستقرة في النطاق 2.0-4.0
تأثير خطوات الأخذ: NAG فعال عند خطوات أخذ مختلفة
عمومية المعمارية: يظهر تحسينات متسقة على معماريات DiT و SiT

الأعمال ذات الصلة

نماذج التوليد إزالة الضوضاء

نماذج الانتشار: DDPM، DiT وغيرها تركز على جداول الضوضاء والأهداف التدريبية ومعماريات النماذج
نماذج التدفق: طرق Flow Matching وغيرها
تسريع الأخذ: محللات من رتبة أعلى، نمذجة فترات محسنة وغيرها

تقنيات التوجيه

التوجيه المستند إلى المصنف: استخدام مصنف خارجي للتوليد الشرطي
التوجيه بدون مصنف (CFG): تحقيق التوجيه من خلال مزج النماذج الشرطية وغير الشرطية
التوجيه المجال (DoG): طريقة توجيه مصممة خصيصاً لسيناريوهات الضبط الدقيق

NAG في هذه الورقة هي أول طريقة تستخدم بشكل صريح مستوى الضوضاء نفسه كإشارة توجيه، مما يعزز بشكل مباشر المحاذاة مع شرط الضوضاء المتوقع.

الخلاصة والمناقشة

الاستنتاجات الرئيسية

انزياح الضوضاء منتشر على نطاق واسع: يتم اكتشاف عدم تطابق التدريب والاستدلال على نطاق واسع في نماذج التوليد إزالة الضوضاء الحديثة
NAG يخفف المشكلة بشكل فعال: من خلال استهداف مباشر لعدم تطابق مستوى الضوضاء، يحسن بشكل كبير جودة التوليد
قوة عمومية الطريقة: يظهر تحسينات متسقة عبر معماريات وحالات استخدام وطرق أساسية مختلفة

القيود

الاعتماد على مقدر الضوضاء: يعتمد التحليل التجريبي على دقة مقدر الضوضاء الخارجي
تبسيط التحليل النظري: قد لا يتمكن التحليل النظري المستند إلى افتراضات مبسطة من التقاط التعقيد الكامل للواقع
النفقات الحسابية: يتطلب تدريب فرع غير شرطي إضافي

الاتجاهات المستقبلية

يأمل المؤلفون أن يجذب هذا العمل انتباه الباحثين إلى مشكلة عدم التطابق بين التدريب والاستدلال المنتشرة على نطاق واسع في التوليد إزالة الضوضاء، مما يعزز اتجاهات البحث التالية:

التحليل النظري أو التجريبي لمشكلة انزياح الضوضاء
بناء نماذج توليد قوية تجاه الانزياح في مرحلة الاستدلال
استكشاف حدود التوليد عالي الجودة
طرق أخذ أسرع

التقييم المتعمق

المزايا

ابتكار تحديد المشكلة: تحديد منهجي وتحليل لأول مرة لمشكلة انزياح الضوضاء المنتشرة على نطاق واسع والمتجاهلة
طريقة بسيطة وفعالة: تصميم NAG بسيط، سهل الدمج في النماذج الموجودة، وذو تأثير ملحوظ
تجارب شاملة: تغطي معماريات وحالات استخدام ومهام متعددة، مما يتحقق من عمومية الطريقة
دعم نظري: توفير تحليل رياضي وصيغ تقريبية لانزياح الضوضاء
قيمة عملية عالية: يمكن تطبيقها مباشرة لتحسين أداء النماذج الموجودة بشكل كبير

أوجه القصور

قيود التحليل النظري: مستند إلى افتراضات مبسطة، قد لا يشرح بشكل كامل الحالات المعقدة الفعلية
مشكلة مقدر الضوضاء: يعتمد التحليل التجريبي على مقدر خارجي، قد يدخل أخطاء إضافية
التكلفة الحسابية: يتطلب تدريب فرع غير شرطي إضافي، مما يزيد من تكاليف التدريب والاستدلال
نطاق التطبيق: تم التحقق بشكل أساسي على مهام التوليد البصري، وتطبيقيته على الأنماط الأخرى غير معروفة

التأثير

المساهمة الأكاديمية: الكشف عن مشكلة مهمة في نماذج التوليد إزالة الضوضاء، توفير اتجاه بحثي جديد للمجال
القيمة العملية: يمكن تطبيقها مباشرة لتحسين أداء النماذج الموجودة، ذات قيمة عملية قوية
عمومية الطريقة: متعامدة ومتكاملة مع طرق التوجيه الموجودة، ذات قابلية تطبيق واسعة

السيناريوهات المناسبة

مهام التوليد الصور على نطاق واسع
الضبط الدقيق الخاضع للإشراف للنماذج المدربة مسبقاً
سيناريوهات التطبيق التي تتطلب توليداً عالي الجودة
البيئات ذات الموارد الحسابية الكافية نسبياً

المراجع

تستشهد الورقة بأعمال مهمة في المجالات ذات الصلة بما في ذلك نماذج الانتشار، نماذج التدفق، وتقنيات التوجيه:

Ho et al. (2020): ورقة DDPM الأصلية
Peebles & Xie (2023): معمارية DiT
Ma et al. (2024): معمارية SiT
Ho & Salimans (2021): التوجيه بدون مصنف
Dhariwal & Nichol (2021): التوجيه المستند إلى المصنف

التقييم الشامل: هذه ورقة بحثية عالية الجودة تحدد مشكلة مهمة لكن متجاهلة في نماذج التوليد إزالة الضوضاء، وتقترح حلاً بسيطاً وفعالاً، وتتحقق من فعالية وعمومية الطريقة من خلال تجارب شاملة. يتمتع هذا العمل بقيمة أكاديمية وعملية مهمة لمجال نماذج الانتشار.