2025-11-14T00:52:10.685423

Speech Enhancement and Dereverberation with Diffusion-based Generative Models

Richter, Welker, Lemercier et al.

In this work, we build upon our previous publication and use diffusion-based generative models for speech enhancement. We present a detailed overview of the diffusion process that is based on a stochastic differential equation and delve into an extensive theoretical examination of its implications. Opposed to usual conditional generation tasks, we do not start the reverse process from pure Gaussian noise but from a mixture of noisy speech and Gaussian noise. This matches our forward process which moves from clean speech to noisy speech by including a drift term. We show that this procedure enables using only 30 diffusion steps to generate high-quality clean speech estimates. By adapting the network architecture, we are able to significantly improve the speech enhancement performance, indicating that the network, rather than the formalism, was the main limitation of our original approach. In an extensive cross-dataset evaluation, we show that the improved method can compete with recent discriminative models and achieves better generalization when evaluating on a different corpus than used for training. We complement the results with an instrumental evaluation using real-world noisy recordings and a listening experiment, in which our proposed method is rated best. Examining different sampler configurations for solving the reverse process allows us to balance the performance and computational speed of the proposed method. Moreover, we show that the proposed method is also suitable for dereverberation and thus not limited to additive background noise removal. Code and audio examples are available online, see https://github.com/sp-uhh/sgmse.

academic

تحسين الكلام وإزالة الصدى باستخدام نماذج توليدية قائمة على الانتشار

المعلومات الأساسية

معرّف الورقة: 2208.05830
العنوان: Speech Enhancement and Dereverberation with Diffusion-based Generative Models
المؤلفون: Julius Richter, Simon Welker, Jean-Marie Lemercier, Bunlong Lay, Timo Gerkmann
التصنيف: eess.AS (معالجة الصوت والكلام)، cs.LG (التعلم الآلي)، cs.SD (الصوت)
تاريخ النشر: أغسطس 2022 (نسخة arXiv الأولية)
رابط الورقة: https://arxiv.org/abs/2208.05830
رابط الكود: https://github.com/sp-uhh/sgmse

الملخص

تستند هذه الورقة إلى الأعمال السابقة للمؤلفين، وتستخدم نماذج توليدية قائمة على الانتشار لتحسين الكلام. تقدم الورقة شرحاً مفصلاً لعملية الانتشار القائمة على المعادلات التفاضلية العشوائية (SDE)، وتجري تحليلاً نظرياً متعمقاً. بخلاف مهام التوليد المشروط التقليدية، لا تبدأ الورقة العملية العكسية من ضوضاء غاوسية نقية، بل من مزيج من الكلام الضوضائي والضوضاء الغاوسية. يتطابق هذا مع العملية الأمامية التي تتضمن حداً للانجراف، والتي تنتقل من الكلام النظيف إلى الكلام الضوضائي. تُظهر الدراسة أن الطريقة تحتاج فقط إلى 30 خطوة انتشار لتوليد تقديرات كلام نظيف عالية الجودة. من خلال تحسين معمارية الشبكة، تم تحسين أداء تحسين الكلام بشكل كبير، مما يشير إلى أن الشبكة وليس الطريقة الرسمية هي العامل المحدد الرئيسي في الطريقة الأصلية.

الخلفية البحثية والدافع

تعريف المشكلة

يهدف تحسين الكلام إلى استعادة إشارة الكلام النظيفة من تسجيلات صوتية متأثرة بالضوضاء الصوتية أو الصدى. هذه مشكلة معالجة إشارات كلاسيكية ذات قيمة تطبيقية مهمة في الاتصالات الهاتفية والأجهزة السمعية والتعرف على الكلام.

قيود الطرق الموجودة

قيود النماذج التمييزية:
- صعوبة تغطية جميع الظروف الصوتية المحتملة في بيانات التدريب
- قد تنتج تشويهات كلام غير طبيعية
- قدرة تعميم محدودة
مشاكل نماذج VAE التوليدية:
- قيود تقليل الأبعاد في الطبقة الكامنة
- حساسية المشفر للمدخلات الضوضائية
- الاعتماد على نماذج الضوضاء الخطية
أوجه القصور في نماذج الانتشار الموجودة:
- يتطلب CDiffuSE تقديراً صريحاً للضوضاء البيئية
- الحفاظ الضعيف على المعلومات عالية التردد

الدافع البحثي

تهدف هذه الورقة إلى تصميم نموذج انتشار توليدي نقي، من خلال تعلم توزيع الأولويات للكلام النظيف، لتحقيق تحسين كلام وإزالة صدى عالية الجودة في مجال STFT المعقد.

المساهمات الأساسية

عملية انتشار SDE مبتكرة: اقتراح معادلة تفاضلية عشوائية تتضمن حداً للانجراف، مما يجعل العملية الأمامية تنتقل من الكلام النظيف إلى الكلام الضوضائي
معمارية شبكة محسّنة: اعتماد معمارية NCSN++ بدلاً من U-Net المعقد الأصلي، مما يحسن الأداء بشكل كبير
إطار عمل موحد: يمكن للإطار الواحد التعامل مع مهام تحسين الكلام وإزالة الصدى
تقييم شامل: يتضمن التقييم عبر مجموعات البيانات والاختبار على بيانات حقيقية وتجارب الاستماع الذاتية
تحسين الكفاءة: موازنة الأداء وسرعة الحساب من خلال تكوينات أخذ العينات المختلفة
التحليل النظري: توفير اشتقاق وتحليل نظري مفصل لعملية الانتشار

شرح الطريقة

تعريف المهمة

المدخل: إشارة كلام ضوضائية/صدى $y$
المخرج: إشارة كلام نظيفة $x_0$
القيد: الحفاظ على طبيعية الكلام وفهمه

تمثيل البيانات

تعمل الورقة في مجال STFT المعقد، باستخدام تحويل ضغط السعة: $\tilde{c} = \beta|c|^{\alpha}e^{i\angle(c)}$ حيث $\alpha \in (0,1]$ هو مؤشر الضغط، و $\beta \in \mathbb{R}^+$ هو عامل التحجيم.

تصميم المعادلة التفاضلية العشوائية

العملية الأمامية

تعريف SDE خطي: $dx_t = f(x_t, y)dt + g(t)dw$

حيث:

معامل الانجراف: $f(x_t, y) = \gamma(y - x_t)$
معامل الانتشار: $g(t) = \sigma_{min}\left(\frac{\sigma_{max}}{\sigma_{min}}\right)^t\sqrt{2\log\left(\frac{\sigma_{max}}{\sigma_{min}}\right)}$

العملية العكسية

معادلة SDE العكسية المقابلة: $dx_t = [f(x_t, y) - g(t)^2s_\theta(x_t, y, t)]dt + g(t)d\bar{w}$

حيث $s_\theta(x_t, y, t)$ هي دالة الدرجة التي يجب تعلمها.

هدف التدريب

بناءً على مطابقة الدرجة إزالة الضوضاء، هدف التدريب هو: $\arg\min_\theta \mathbb{E}_{t,(x_0,y),z,x_t|(x_0,y)}\left[\left\|s_\theta(x_t, y, t) + \frac{z}{\sigma(t)}\right\|_2^2\right]$

معمارية الشبكة

اعتماد معمارية NCSN++، الميزات الرئيسية:

بنية U-Net متعددة الدقة
مسارات النمو التدريجي
آليات الانتباه العام
تضمين الوقت: استخدام تضمين فورييه لترميز معلومات الوقت
كتل البقايا: كتل الشبكة المتبقية بناءً على BigGAN

إعداد التجارب

مجموعات البيانات

WSJ0-CHiME3: استخدام كلام WSJ0 النظيف وضوضاء CHiME3، نطاق SNR 0-20dB
VB-DMD (VoiceBank-DEMAND): مجموعة بيانات معيار تحسين الكلام القياسية
WSJ0-REVERB: بيانات الصدى المحاكاة باستخدام pyroomacoustics، نطاق T60 0.4-1.0 ثانية

مؤشرات التقييم

مؤشرات المرجع الكامل: POLQA, PESQ, ESTOI, SI-SDR, SI-SIR, SI-SAR
مؤشرات بدون مرجع: DNSMOS, SIG, BAK, OVRL, WVMOS

طرق المقارنة

نماذج توليدية: STCN, DVAE, CDiffuSE, SGMSE (الإصدار الأصلي)
نماذج تمييزية: MetricGAN+, Conv-TasNet, GaGNet, TCN+SA+S

تفاصيل التنفيذ

معاملات STFT: طول النافذة 510، طول القفزة 128، نافذة Hann
معاملات SDE: $\sigma_{min}=0.05$ , $\sigma_{max}=0.5$ , $\gamma=1.5$
التدريب: 4×Quadro RTX 6000، 160 حقبة، معدل التعلم $10^{-4}$
أخذ العينات: 30 خطوة عملية عكسية، أخذ عينات التنبؤ-التصحيح

نتائج التجارب

النتائج الرئيسية

أداء تحسين الكلام (WSJ0-CHiME3)

الطريقة	مجموعة التدريب	POLQA	PESQ	SI-SDR
SGMSE+	WSJ0-C3	3.73	2.96	18.3
Conv-TasNet	WSJ0-C3	3.65	2.99	19.9
MetricGAN+	WSJ0-C3	3.52	3.03	10.5
CDiffuSE	WSJ0-C3	3.08	2.27	9.2

القدرة على التعميم عبر مجموعات البيانات

في الظروف غير المتطابقة (التدريب على VB-DMD، الاختبار على WSJ0-CHiME3)، يتفوق SGMSE+ على الطرق الأخرى في جميع المؤشرات، مما يُظهر قدرة تعميم ممتازة.

أداء إزالة الصدى (WSJ0-REVERB)

الطريقة	POLQA	PESQ	SI-SDR
SGMSE+	3.24	2.66	1.6
Conv-TasNet	2.41	1.84	1.6
GaGNet	2.62	1.98	-0.6

تجارب الاستئصال

تحسين تكوين أخذ العينات

أخذ عينات التنبؤ-التصحيح: خطوة تصحيح واحدة تحقق أفضل توازن أداء
اختيار الخطوات: 30 خطوة تحقق تشبع الأداء
الكفاءة الحسابية: RTF هو 1.77 (1.77 مرة من المعالجة في الوقت الفعلي)

تأثير تحسينات المعمارية

مقارنة بـ SGMSE الأصلي، يحسن SGMSE+ POLQA بمقدار 0.75 و PESQ بمقدار 0.68، مما يثبت أهمية معمارية الشبكة.

تجارب الاستماع الذاتية

تُظهر نتائج تجربة MUSHRA أن SGMSE+ حصل على أعلى درجة، خاصة في الظروف غير المتطابقة مع إظهار متانة ممتازة.

التقييم على البيانات الحقيقية

على بيانات الضوضاء الحقيقية من DNS Challenge 2020، يُظهر SGMSE+ أفضل أداء في جميع المؤشرات بدون مرجع.

الأعمال ذات الصلة

طرق النماذج التمييزية

إخفاء الوقت والتردد: تعلم الإخفاء الثنائي المثالي أو إخفاء النسبة
رسم الطيف المعقد المباشر: تقدير معاملات STFT المعقدة مباشرة
طرق المجال الزمني: معالجة الموجة الطرفية من النهاية إلى النهاية

طرق النماذج التوليدية

القائمة على VAE: تعلم توزيع أولويات الكلام، لكن محدودة بتقليل أبعاد الفضاء الكامن
طرق GAN: تقدير الكثافة الضمنية، لكن التدريب غير مستقر
نماذج الانتشار: ظهرت مؤخراً، مقسمة إلى فئتي إعادة التوليد والنمذجة المباشرة

تطبيق نماذج الانتشار في الكلام

إعادة توليد الكلام: طرق مثل CDiffuSE
النمذجة المباشرة: طرق سلسلة SGMSE في هذه الورقة

الخلاصة والمناقشة

الاستنتاجات الرئيسية

معمارية الشبكة المحسّنة هي العامل الرئيسي لتحسين الأداء
النماذج التوليدية تتفوق على النماذج التمييزية في التعميم عبر مجموعات البيانات
يمكن للإطار الواحد التعامل بفعالية مع مهام استعادة الكلام المتعددة
عملية انتشار 30 خطوة يمكنها تحقيق توليد كلام عالي الجودة

القيود

التعقيد الحسابي: حجم حساب أكبر مقارنة بالنماذج التمييزية
الأشياء الاصطناعية: قد تنتج "تصويت" اصطناعي في SNR منخفض جداً
نمذجة الطور: تأثير تحسين الطور للنمذجة المعقدة محدود
حساسية المعاملات: يتطلب ضبط معاملات SDE بعناية

الاتجاهات المستقبلية

دمج كشف نشاط الكلام ومعلومات الفونيم المشروطة
استكشاف استراتيجيات أخذ عينات أكثر كفاءة
دراسة تحسين الطور في أطوال إطار أقصر
التوسع إلى مهام استعادة كلام أخرى

التقييم المتعمق

المميزات

المساهمة النظرية: توفير اشتقاق وتحليل نظري كامل لـ SDE
ابتكار الطريقة: تصميم ذكي لحد الانجراف لتحقيق التكيف مع المهمة
التجارب الشاملة: تتضمن التقييم عبر مجموعات البيانات والبيانات الحقيقية والتقييم الذاتي
القيمة العملية: الكود مفتوح المصدر، مما يسهل إعادة الإنتاج والتطبيق
الكتابة الواضحة: الاشتقاق النظري مفصل، تصميم التجارب معقول

أوجه القصور

كفاءة الحساب: RTF هو 1.77، الأداء في الوقت الفعلي يحتاج إلى تحسين
مشكلة الأشياء الاصطناعية: "التصويت" الاصطناعي في SNR منخفض يحتاج إلى حل
ضبط المعاملات: معاملات SDE تحتاج إلى تحسين لكل مجموعة بيانات
التحليل النظري: تحليل تأثير عدم تطابق العمليات الأمامية والعكسية غير كافٍ

التأثير

القيمة الأكاديمية: توفير مرجع مهم لتطبيق نماذج الانتشار في معالجة الكلام
القيمة العملية: تحقيق أداء تنافسية على مجموعات بيانات معيار متعددة
قابلية إعادة الإنتاج: توفير كود كامل وعينات صوتية
الإلهام: توفير إطار عمل عام لمهام استعادة الكلام الأخرى

السيناريوهات المطبقة

تحسين الكلام: الاتصالات الهاتفية والأجهزة السمعية
إزالة الصدى: معالجة التسجيلات الصوتية الداخلية بعد الإنتاج
استعادة الكلام: ترميم التسجيلات التاريخية
المعالجة المسبقة: معالجة الواجهة الأمامية لأنظمة التعرف على الكلام

المراجع

تستشهد الورقة بعدد كبير من الأعمال ذات الصلة، تشمل بشكل أساسي:

Song et al. (2021): Score-based generative modeling through stochastic differential equations
Lu et al. (2022): Conditional diffusion probabilistic model for speech enhancement
Vincent (2011): A connection between score matching and denoising autoencoders
Anderson (1982): Reverse-time diffusion equation models

التقييم الإجمالي: هذه ورقة بحثية عالية الجودة، تُظهر أداءً ممتازاً في الابتكار النظري وتصميم الطريقة والتحقق التجريبي. نجحت الورقة في تطبيق نماذج الانتشار على مهام تحسين الكلام، وحققت من خلال تصميم SDE ذكي وتحسينات معمارية الشبكة أداءً مماثلة للنماذج التمييزية، مع إظهار قدرة تعميم أفضل. على الرغم من وجود مشاكل في الكفاءة الحسابية والأشياء الاصطناعية، فإن مساهماتها النظرية وقيمتها العملية تجعلها عملاً مهماً في هذا المجال.