2025-11-14T00:52:10.685423

Speech Enhancement and Dereverberation with Diffusion-based Generative Models

Richter, Welker, Lemercier et al.

In this work, we build upon our previous publication and use diffusion-based generative models for speech enhancement. We present a detailed overview of the diffusion process that is based on a stochastic differential equation and delve into an extensive theoretical examination of its implications. Opposed to usual conditional generation tasks, we do not start the reverse process from pure Gaussian noise but from a mixture of noisy speech and Gaussian noise. This matches our forward process which moves from clean speech to noisy speech by including a drift term. We show that this procedure enables using only 30 diffusion steps to generate high-quality clean speech estimates. By adapting the network architecture, we are able to significantly improve the speech enhancement performance, indicating that the network, rather than the formalism, was the main limitation of our original approach. In an extensive cross-dataset evaluation, we show that the improved method can compete with recent discriminative models and achieves better generalization when evaluating on a different corpus than used for training. We complement the results with an instrumental evaluation using real-world noisy recordings and a listening experiment, in which our proposed method is rated best. Examining different sampler configurations for solving the reverse process allows us to balance the performance and computational speed of the proposed method. Moreover, we show that the proposed method is also suitable for dereverberation and thus not limited to additive background noise removal. Code and audio examples are available online, see https://github.com/sp-uhh/sgmse.

academic

विसरण-आधारित जनरेटिव मॉडल के साथ वाक् संवर्धन और डीरेवर्बरेशन

मूल जानकारी

पेपर ID: 2208.05830
शीर्षक: विसरण-आधारित जनरेटिव मॉडल के साथ वाक् संवर्धन और डीरेवर्बरेशन
लेखक: Julius Richter, Simon Welker, Jean-Marie Lemercier, Bunlong Lay, Timo Gerkmann
वर्गीकरण: eess.AS (ऑडियो और वाक् प्रसंस्करण), cs.LG (मशीन लर्निंग), cs.SD (ध्वनि)
प्रकाशन समय: अगस्त 2022 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2208.05830
कोड लिंक: https://github.com/sp-uhh/sgmse

सारांश

यह पेपर लेखकों के पिछले कार्य पर आधारित है, जो विसरण-आधारित जनरेटिव मॉडल का उपयोग करके वाक् संवर्धन करता है। पेपर स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) आधारित विसरण प्रक्रिया का विस्तार से वर्णन करता है और गहन सैद्धांतिक विश्लेषण प्रदान करता है। पारंपरिक सशर्त जनरेटिव कार्यों के विपरीत, यह पेपर विपरीत प्रक्रिया को शुद्ध गाऊसी शोर से शुरू नहीं करता, बल्कि शोरयुक्त वाक् और गाऊसी शोर के मिश्रण से शुरू करता है। यह ड्रिफ्ट पद युक्त अग्रगामी प्रक्रिया से मेल खाता है, जो स्वच्छ वाक् से शोरयुक्त वाक् की ओर जाता है। अनुसंधान दर्शाता है कि यह विधि केवल 30 विसरण चरणों में उच्च गुणवत्ता वाली स्वच्छ वाक् अनुमान उत्पन्न कर सकती है। नेटवर्क आर्किटेक्चर में सुधार के माध्यम से, वाक् संवर्धन प्रदर्शन में उल्लेखनीय वृद्धि हुई है, जो दर्शाता है कि नेटवर्क मूल विधि की मुख्य सीमा है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

वाक् संवर्धन का लक्ष्य ध्वनिक शोर या प्रतिध्वनि से प्रभावित ऑडियो रिकॉर्डिंग से स्वच्छ वाक् संकेत को पुनः प्राप्त करना है। यह एक शास्त्रीय संकेत प्रसंस्करण समस्या है, जिसका टेलीफोन संचार, श्रवण सहायक उपकरण, वाक् पहचान और अन्य क्षेत्रों में महत्वपूर्ण अनुप्रयोग मूल्य है।

मौजूदा विधियों की सीमाएं

विभेदक मॉडल की सीमाएं:
- प्रशिक्षण डेटा में सभी संभावित ध्वनिक स्थितियों को कवर करना कठिन है
- अप्राकृतिक वाक् विकृति उत्पन्न कर सकता है
- सीमित सामान्यीकरण क्षमता
VAE जनरेटिव मॉडल की समस्याएं:
- अव्यक्त परत में आयाम में कमी की सीमा
- शोरयुक्त इनपुट के प्रति एनकोडर की संवेदनशीलता
- रैखिक शोर मॉडल पर निर्भरता
मौजूदा विसरण मॉडल की कमियां:
- CDiffuSE को स्पष्ट पर्यावरणीय शोर अनुमान की आवश्यकता है
- उच्च आवृत्ति जानकारी का खराब संरक्षण

अनुसंधान प्रेरणा

यह पेपर एक शुद्ध जनरेटिव विसरण मॉडल डिजाइन करने का लक्ष्य रखता है, जो स्वच्छ वाक् के पूर्व वितरण को सीखकर, जटिल STFT डोमेन में उच्च गुणवत्ता वाली वाक् संवर्धन और डीरेवर्बरेशन प्राप्त करता है।

मुख्य योगदान

नवीन SDE विसरण प्रक्रिया: ड्रिफ्ट पद युक्त स्टोकेस्टिक डिफरेंशियल इक्वेशन प्रस्तावित करता है, जो अग्रगामी प्रक्रिया को स्वच्छ वाक् से शोरयुक्त वाक् की ओर ले जाता है
सुधारित नेटवर्क आर्किटेक्चर: मूल जटिल U-Net के स्थान पर NCSN++ आर्किटेक्चर अपनाता है, जो प्रदर्शन में उल्लेखनीय सुधार करता है
एकीकृत ढांचा: एक ही ढांचा वाक् संवर्धन और डीरेवर्बरेशन दोनों कार्यों को संभाल सकता है
व्यापक मूल्यांकन: क्रॉस-डेटासेट मूल्यांकन, वास्तविक डेटा परीक्षण और व्यक्तिपरक श्रवण प्रयोग शामिल हैं
दक्षता अनुकूलन: विभिन्न सैंपलर कॉन्फ़िगरेशन के माध्यम से प्रदर्शन और कम्प्यूटेशनल गति को संतुलित करता है
सैद्धांतिक विश्लेषण: विसरण प्रक्रिया का विस्तृत सैद्धांतिक व्युत्पत्ति और विश्लेषण प्रदान करता है

विधि विवरण

कार्य परिभाषा

इनपुट: शोरयुक्त/प्रतिध्वनि वाक् संकेत $y$
आउटपुट: स्वच्छ वाक् संकेत $x_0$
बाधा: वाक् की प्राकृतिकता और समझदारी को बनाए रखना

डेटा प्रतिनिधित्व

पेपर जटिल STFT डोमेन में काम करता है, आयाम संपीड़न परिवर्तन का उपयोग करता है: $\tilde{c} = \beta|c|^{\alpha}e^{i\angle(c)}$ जहां $\alpha \in (0,1]$ संपीड़न घातांक है, $\beta \in \mathbb{R}^+$ स्केलिंग कारक है।

स्टोकेस्टिक डिफरेंशियल इक्वेशन डिजाइन

अग्रगामी प्रक्रिया

रैखिक SDE को परिभाषित करता है: $dx_t = f(x_t, y)dt + g(t)dw$

जहां:

ड्रिफ्ट गुणांक: $f(x_t, y) = \gamma(y - x_t)$
विसरण गुणांक: $g(t) = \sigma_{min}\left(\frac{\sigma_{max}}{\sigma_{min}}\right)^t\sqrt{2\log\left(\frac{\sigma_{max}}{\sigma_{min}}\right)}$

विपरीत प्रक्रिया

संबंधित विपरीत SDE है: $dx_t = [f(x_t, y) - g(t)^2s_\theta(x_t, y, t)]dt + g(t)d\bar{w}$

जहां $s_\theta(x_t, y, t)$ सीखने योग्य स्कोर फंक्शन है।

प्रशिक्षण उद्देश्य

डीनोइजिंग स्कोर मिलान पर आधारित, प्रशिक्षण उद्देश्य है: $\arg\min_\theta \mathbb{E}_{t,(x_0,y),z,x_t|(x_0,y)}\left[\left\|s_\theta(x_t, y, t) + \frac{z}{\sigma(t)}\right\|_2^2\right]$

नेटवर्क आर्किटेक्चर

NCSN++ आर्किटेक्चर अपनाता है, मुख्य विशेषताएं:

बहु-रिजोल्यूशन U-Net संरचना
प्रगतिशील वृद्धि पथ
वैश्विक ध्यान तंत्र
समय एम्बेडिंग: समय जानकारी को एन्कोड करने के लिए फूरियर एम्बेडिंग का उपयोग
अवशिष्ट ब्लॉक: BigGAN आधारित अवशिष्ट नेटवर्क ब्लॉक

प्रयोग सेटअप

डेटासेट

WSJ0-CHiME3: WSJ0 स्वच्छ वाक् और CHiME3 शोर का उपयोग, SNR श्रेणी 0-20dB
VB-DMD (VoiceBank-DEMAND): मानक वाक् संवर्धन बेंचमार्क डेटासेट
WSJ0-REVERB: pyroomacoustics द्वारा अनुकृत प्रतिध्वनि डेटा, T60 श्रेणी 0.4-1.0 सेकंड

मूल्यांकन मेट्रिक्स

पूर्ण संदर्भ मेट्रिक्स: POLQA, PESQ, ESTOI, SI-SDR, SI-SIR, SI-SAR
संदर्भ-रहित मेट्रिक्स: DNSMOS, SIG, BAK, OVRL, WVMOS

तुलनात्मक विधियां

जनरेटिव मॉडल: STCN, DVAE, CDiffuSE, SGMSE (मूल संस्करण)
विभेदक मॉडल: MetricGAN+, Conv-TasNet, GaGNet, TCN+SA+S

कार्यान्वयन विवरण

STFT पैरामीटर: विंडो लंबाई 510, हॉप लंबाई 128, Hann विंडो
SDE पैरामीटर: $\sigma_{min}=0.05$ , $\sigma_{max}=0.5$ , $\gamma=1.5$
प्रशिक्षण: 4×Quadro RTX 6000, 160 epoch, सीखने की दर $10^{-4}$
सैंपलिंग: 30-चरण विपरीत प्रक्रिया, भविष्यद्वाणी-सुधार सैंपलर

प्रयोग परिणाम

मुख्य परिणाम

वाक् संवर्धन प्रदर्शन (WSJ0-CHiME3)

विधि	प्रशिक्षण सेट	POLQA	PESQ	SI-SDR
SGMSE+	WSJ0-C3	3.73	2.96	18.3
Conv-TasNet	WSJ0-C3	3.65	2.99	19.9
MetricGAN+	WSJ0-C3	3.52	3.03	10.5
CDiffuSE	WSJ0-C3	3.08	2.27	9.2

क्रॉस-डेटासेट सामान्यीकरण क्षमता

असंगत स्थितियों में (VB-DMD प्रशिक्षण, WSJ0-CHiME3 परीक्षण), SGMSE+ सभी मेट्रिक्स पर अन्य विधियों से बेहतर है, जो उत्कृष्ट सामान्यीकरण क्षमता दर्शाता है।

डीरेवर्बरेशन प्रदर्शन (WSJ0-REVERB)

विधि	POLQA	PESQ	SI-SDR
SGMSE+	3.24	2.66	1.6
Conv-TasNet	2.41	1.84	1.6
GaGNet	2.62	1.98	-0.6

विलोपन प्रयोग

सैंपलर कॉन्फ़िगरेशन अनुकूलन

भविष्यद्वाणी-सुधार सैंपलर: 1 सुधार चरण सर्वोत्तम प्रदर्शन संतुलन प्राप्त करता है
चरण चयन: 30 चरण प्रदर्शन संतृप्ति तक पहुंचता है
कम्प्यूटेशनल दक्षता: RTF 1.77 है (वास्तविक समय प्रसंस्करण का 1.77 गुना)

आर्किटेक्चर सुधार प्रभाव

मूल SGMSE की तुलना में, SGMSE+ POLQA पर 0.75 की वृद्धि करता है, PESQ पर 0.68 की वृद्धि करता है, जो नेटवर्क आर्किटेक्चर की महत्ता को प्रमाणित करता है।

व्यक्तिपरक श्रवण प्रयोग

MUSHRA प्रयोग परिणाम दर्शाते हैं कि SGMSE+ सर्वोच्च स्कोर प्राप्त करता है, विशेष रूप से असंगत स्थितियों में उत्कृष्ट मजबूतता प्रदर्शन करता है।

वास्तविक डेटा मूल्यांकन

DNS Challenge 2020 वास्तविक शोर डेटा पर, SGMSE+ सभी संदर्भ-रहित मेट्रिक्स पर सर्वोत्तम प्रदर्शन करता है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

सुधारित नेटवर्क आर्किटेक्चर प्रदर्शन सुधार की कुंजी है
जनरेटिव मॉडल क्रॉस-डेटासेट सामान्यीकरण में विभेदक मॉडल से बेहतर हैं
एक ही ढांचा कई वाक् पुनर्प्राप्ति कार्यों को प्रभावी ढंग से संभाल सकता है
30-चरण विसरण प्रक्रिया उच्च गुणवत्ता वाली वाक् पीढ़ी तक पहुंच सकती है

सीमाएं

कम्प्यूटेशनल जटिलता: विभेदक मॉडल की तुलना में अधिक कम्प्यूटेशनल मात्रा
कृत्रिम वस्तुएं: अत्यंत कम SNR पर "वोकिंग" कृत्रिम वस्तुएं उत्पन्न कर सकता है
चरण मॉडलिंग: जटिल मॉडलिंग का चरण सुधार प्रभाव सीमित है
पैरामीटर संवेदनशीलता: SDE पैरामीटर को सावधानीपूर्वक समायोजित करने की आवश्यकता है

भविष्य की दिशाएं

वाक् गतिविधि पहचान और फोनीम जानकारी शर्तीकरण जोड़ना
अधिक कुशल सैंपलिंग रणनीति का अन्वेषण
छोटे फ्रेम लंबाई के तहत चरण संवर्धन का अनुसंधान
अन्य वाक् पुनर्प्राप्ति कार्यों तक विस्तार

गहन मूल्यांकन

लाभ

सैद्धांतिक योगदान: SDE सिद्धांत व्युत्पत्ति और विश्लेषण का पूर्ण प्रदान करता है
विधि नवाचार: ड्रिफ्ट पद का चतुर डिजाइन कार्य अनुकूलन प्राप्त करता है
व्यापक प्रयोग: क्रॉस-डेटासेट, वास्तविक डेटा और व्यक्तिपरक मूल्यांकन शामिल
व्यावहारिक मूल्य: कोड खुला स्रोत है, पुनरुत्पादन और अनुप्रयोग के लिए सुविधाजनक
स्पष्ट लेखन: विस्तृत सैद्धांतिक व्युत्पत्ति, तर्कसंगत प्रयोग डिजाइन

कमियां

कम्प्यूटेशनल दक्षता: RTF 1.77 है, वास्तविक समय प्रदर्शन में सुधार की आवश्यकता है
कृत्रिम वस्तु समस्या: कम SNR पर "वोकिंग" कृत्रिम वस्तुओं को हल करने की आवश्यकता है
पैरामीटर समायोजन: SDE पैरामीटर को डेटासेट के लिए अनुकूलित करने की आवश्यकता है
सैद्धांतिक विश्लेषण: अग्रगामी और विपरीत प्रक्रिया असंगति के प्रभाव का विश्लेषण अपर्याप्त है

प्रभाव

शैक्षणिक मूल्य: वाक् प्रसंस्करण में विसरण मॉडल के अनुप्रयोग के लिए महत्वपूर्ण संदर्भ प्रदान करता है
व्यावहारिक मूल्य: कई बेंचमार्क डेटासेट पर प्रतिस्पर्धी प्रदर्शन प्राप्त करता है
पुनरुत्पादनीयता: पूर्ण कोड और ऑडियो नमूने प्रदान करता है
प्रेरणा: अन्य वाक् पुनर्प्राप्ति कार्यों के लिए सामान्य ढांचा प्रदान करता है

लागू दृश्य

वाक् संवर्धन: टेलीफोन संचार, श्रवण सहायक उपकरण
डीरेवर्बरेशन: इनडोर वाक् रिकॉर्डिंग पोस्ट-प्रसंस्करण
वाक् पुनर्प्राप्ति: ऐतिहासिक रिकॉर्डिंग मरम्मत
प्रीप्रोसेसिंग: वाक् पहचान प्रणाली का अग्रभाग प्रसंस्करण

संदर्भ

पेपर संबंधित कार्यों के बड़ी संख्या में उद्धृत करता है, मुख्य रूप से:

Song et al. (2021): स्टोकेस्टिक डिफरेंशियल इक्वेशन के माध्यम से स्कोर-आधारित जनरेटिव मॉडलिंग
Lu et al. (2022): वाक् संवर्धन के लिए सशर्त विसरण संभाव्य मॉडल
Vincent (2011): स्कोर मिलान और डीनोइजिंग ऑटोएनकोडर के बीच संबंध
Anderson (1982): विपरीत-समय विसरण इक्वेशन मॉडल

समग्र मूल्यांकन: यह एक उच्च गुणवत्ता वाला अनुसंधान पेपर है, जो सैद्धांतिक नवाचार, विधि डिजाइन और प्रयोग सत्यापन में उत्कृष्ट प्रदर्शन करता है। पेपर विसरण मॉडल को वाक् संवर्धन कार्य में सफलतापूर्वक लागू करता है, SDE डिजाइन और नेटवर्क आर्किटेक्चर सुधार के माध्यम से, विभेदक मॉडल के बराबर प्रदर्शन प्राप्त करता है, साथ ही सामान्यीकरण क्षमता में बेहतर प्रदर्शन करता है। कम्प्यूटेशनल दक्षता और कृत्रिम वस्तु समस्याओं के बावजूद, इसका सैद्धांतिक योगदान और व्यावहारिक मूल्य इसे इस क्षेत्र का महत्वपूर्ण कार्य बनाता है।