2025-11-13T21:10:11.295731

Continuous-Token Diffusion for Speaker-Referenced TTS in Multimodal LLMs

He, Ray, Mallidi et al.
Unified architectures in multimodal large language models (MLLM) have shown promise in handling diverse tasks within a single framework. In the text-to-speech (TTS) task, current MLLM-based approaches rely on discrete token representations, which disregard the inherently continuous nature of speech and can lead to loss of fine-grained acoustic information.In this work, we investigate the TTS within the MLLM paradigm using continuous speech representations. We design a dual-head architecture and implement two complementary training strategies for a robust model. (1) A diffusion head generating continuous speech representations is added on the MLLM, which is on frame-level and strictly autoregressive. (2) The original language model head is retained to preserve multitask capability and to control the start and end of speech synthesis. (3) Masked training is employed to address exposure bias in autoregressive decoding. (4) To stabilize optimization, we propose a two-stage scheme where the LM is frozen in the second stage, ensuring the diffusion head learns from a fixed input distribution. Evaluations on LibriSpeech(PC) test-clean show that our approach achieves state-of-the-art autoregressive performance, with a WER of 1.95%, speaker similarity of 0.54, and UTMOS of 4.00. The two-stage training yields a 46% relative WER reduction over the one-stage training baseline. These results highlight the effectiveness of combining autoregressive modeling with continuous-token diffusion, supported by a two-stage training procedure.
academic

मल्टीमोडल LLM में स्पीकर-संदर्भित TTS के लिए निरंतर-टोकन विसरण

बुनियादी जानकारी

  • पेपर ID: 2510.12995
  • शीर्षक: Continuous-Token Diffusion for Speaker-Referenced TTS in Multimodal LLMs
  • लेखक: Xinlu He¹, Swayambhu Nath Ray², Harish Mallidi², Jia-Hong Huang², Ashwin Bellur², Chander Chandak², M. Maruf², Venkatesh Ravichandran²
  • संस्थान: ¹Worcester Polytechnic Institute, USA ²Amazon AGI, USA
  • वर्गीकरण: eess.AS cs.SD
  • प्रकाशन सम्मेलन: NeurIPS 2025 Workshop: Structured Probabilistic Inference & Generative Modeling (SPIGM)
  • पेपर लिंक: https://arxiv.org/abs/2510.12995

सारांश

एकीकृत मल्टीमोडल बड़े भाषा मॉडल (MLLM) आर्किटेक्चर एकल ढांचे के भीतर विविध कार्यों को संभालने में वादा दिखाते हैं। पाठ-से-भाषण (TTS) कार्यों में, वर्तमान MLLM-आधारित विधियां असतत टोकन प्रतिनिधित्व पर निर्भर करती हैं, जो भाषण की अंतर्निहित निरंतरता को नजरअंदाज करती हैं, जिससे सूक्ष्म-दानेदार ध्वनिक जानकारी का नुकसान हो सकता है। यह कार्य MLLM प्रतिमान के भीतर TTS के लिए निरंतर भाषण प्रतिनिधित्व का उपयोग करके अनुसंधान करता है। एक द्वि-शीर्ष आर्किटेक्चर डिज़ाइन किया गया और मजबूत मॉडल बनाने के लिए दो पूरक प्रशिक्षण रणनीतियां लागू की गईं। यह विधि LibriSpeech(PC) test-clean पर अत्याधुनिक स्वचालित प्रतिगमन प्रदर्शन प्राप्त करती है, WER 1.95%, वक्ता समानता 0.54, और UTMOS 4.00।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

वर्तमान MLLM-आधारित TTS विधियों में मुख्य समस्याएं हैं:

  1. असतत करण हानि: मौजूदा विधियां भाषण को असतत टोकन में परिवर्तित करती हैं, भाषण की निरंतरता को नजरअंदाज करती हैं, जिससे सूक्ष्म-दानेदार ध्वनिक जानकारी खो जाती है
  2. परिमाणीकरण बाधा: असतत परिमाणीकरण सूक्ष्म ध्वनिक विवरण को त्याग देता है, भाषण की प्राकृतिकता और निष्ठा को सीमित करता है
  3. एकीकृत ढांचे की कमी: MLLM की बहु-कार्य क्षमता को बनाए रखते हुए उच्च-गुणवत्ता वाले निरंतर भाषण उत्पन्न करने की प्रभावी विधि की कमी

अनुसंधान का महत्व

  1. तकनीकी आवश्यकता: मल्टीमोडल AI के विकास के साथ, एकीकृत ढांचे के भीतर पाठ और भाषण कार्यों को संभालने की आवश्यकता है
  2. गुणवत्ता में सुधार: निरंतर प्रतिनिधित्व भाषण की आंतरिक विशेषताओं को बेहतर तरीके से संरक्षित करता है, संश्लेषण गुणवत्ता में सुधार करता है
  3. अनुप्रयोग मूल्य: शून्य-शॉट वक्ता क्लोनिंग तकनीक व्यक्तिगतकृत भाषण संश्लेषण में महत्वपूर्ण अनुप्रयोग मूल्य रखती है

मौजूदा विधियों की सीमाएं

  1. बहु-चरणीय प्रणालियां: VALL-E जैसी प्रणालियों को कई चरणों की आवश्यकता होती है, जिससे जटिलता बढ़ती है
  2. सूचना हानि: असतत एन्कोडिंग सूक्ष्म-दानेदार ध्वनिक जानकारी खो देती है
  3. प्रशिक्षण अस्थिरता: विसरण मॉडल और LLM के संयुक्त अनुकूलन में वितरण बहाव समस्या होती है

मुख्य योगदान

  1. नवीन आर्किटेक्चर: फ्रेम-स्तरीय निरंतर टोकन विसरण शीर्ष प्रस्तावित किया, जो स्वचालित प्रतिगमन MLLM ढांचे में एकीकृत है, मौजूदा ब्लॉक-स्तरीय बहु-फ्रेम डिज़ाइन से अलग
  2. द्वि-शीर्ष डिज़ाइन: एकीकृत मल्टीमोडल ढांचे को बनाए रखने वाला द्वि-शीर्ष आर्किटेक्चर डिज़ाइन किया, LM शीर्ष परिवर्तनशील लंबाई भाषण संश्लेषण का समर्थन करता है
  3. प्रशिक्षण रणनीति: मुखौटा प्रशिक्षण के माध्यम से स्वचालित प्रतिगमन एक्सपोजर पूर्वाग्रह को कम किया, अस्थायी सामंजस्य और मॉडल दृढ़ता में सुधार किया
  4. अनुकूलन समाधान: दो-चरणीय प्रशिक्षण रणनीति प्रस्तावित की, अनुकूलन प्रक्रिया को स्थिर करती है, WER में 46% सापेक्ष कमी, LibriSpeech(PC) पर SOTA स्वचालित प्रतिगमन प्रदर्शन प्राप्त करती है

विधि विवरण

कार्य परिभाषा

इनपुट: पाठ प्रतिलेखन और संदर्भ ऑडियो खंड आउटपुट: निर्दिष्ट वक्ता विशेषताओं के साथ उच्च-गुणवत्ता वाला भाषण बाधा: एकीकृत MLLM ढांचे के भीतर कार्यान्वयन, बहु-कार्य क्षमता बनाए रखना

मॉडल आर्किटेक्चर

समग्र डिज़ाइन

मॉडल OPT-125M को LLM बैकबोन के रूप में उपयोग करते हुए द्वि-शीर्ष आर्किटेक्चर अपनाता है:

  1. विसरण शीर्ष: निरंतर भाषण एम्बेडिंग उत्पन्न करता है
  2. भाषा मॉडल शीर्ष: भाषण सीमाएं और नियंत्रण टोकन की भविष्यवाणी करता है
  3. मल्टीमोडल प्रक्षेपण: विभिन्न मोडल प्रतिनिधित्व रूपांतरण को संभालता है

निरंतर टोकन पीढ़ी

लक्ष्य अनुक्रम x={x1,...,xN}x = \{x_1, ..., x_N\} दिया गया, जहां xi∈Rdx_i \in \mathbb{R}^d i-वें फ्रेम की भाषण एम्बेडिंग को दर्शाता है।

अनुमान प्रक्रिया:

z_i = C_θ(p, x̂_{<i})  # LLM सशर्त वेक्टर उत्पन्न करता है
x̂_i = Diffusion_φ(z_i)  # विसरण शीर्ष भाषण एम्बेडिंग उत्पन्न करता है

प्रशिक्षण प्रक्रिया: मानक DDPM प्रशिक्षण अपनाता है, हानि फ़ंक्शन:

L_diff(θ,φ) = E_t[||ε - ε̂||²]

जहां शोर भविष्यवाणी ε^=Mϕ(xit,t,zi)\hat{\varepsilon} = M_\phi(x_i^t, t, z_i)

EOS नियंत्रण तंत्र

सीमा नियंत्रण के लिए विशेष टोकन पेश किए गए:

  • <speech_bos>: भाषण पीढ़ी चरण को ट्रिगर करता है
  • <cont_speech_gen>: भाषण फ्रेम की पीढ़ी जारी रखता है
  • <eos>: भाषण पीढ़ी को समाप्त करता है

कुल हानि फ़ंक्शन:

L = L_LM + L_diff

तकनीकी नवाचार बिंदु

1. मुखौटा स्वचालित प्रतिगमन शिक्षा

एक्सपोजर पूर्वाग्रह को कम करने के लिए, मुखौटा प्रशिक्षण रणनीति अपनाई गई:

  • संभावना pmaskp_{mask} के साथ ऐतिहासिक फ्रेम को यादृच्छिक रूप से मुखौटा करना
  • मुखौटा किए गए फ्रेम को शून्य वेक्टर से प्रतिस्थापित करना
  • अपूर्ण ऐतिहासिक जानकारी को संभालने के लिए मॉडल को प्रशिक्षित करना

2. दो-चरणीय प्रशिक्षण

चरण 1: MLLM और विसरण शीर्ष का संयुक्त प्रशिक्षण चरण 2: MLLM को फ्रीज करना, केवल विसरण शीर्ष को प्रशिक्षित करना

यह डिज़ाइन वितरण बहाव समस्या को हल करता है, प्रशिक्षण प्रक्रिया को स्थिर करता है।

प्रयोगात्मक सेटअप

डेटासेट

  • प्रशिक्षण डेटा: LibriVox कॉर्पस का 50k घंटे का सबसेट (Libri-Light से)
  • मूल्यांकन डेटा: LibriSpeech(PC) test-clean डेटासेट
  • मूल्यांकन प्रोटोकॉल: 40 वक्ताओं को यादृच्छिक रूप से चुना गया, प्रत्येक के लिए एक उच्चारण, 3 सेकंड संदर्भ ऑडियो के साथ

मूल्यांकन मेट्रिक्स

  1. बुद्धिमत्ता: Word Error Rate (WER) - Whisper-Large प्रतिलेखन का उपयोग करके गणना की गई
  2. वक्ता समानता: ECAPA-TDNN का उपयोग करके एम्बेडिंग निकाली गई, कोसाइन समानता की गणना की गई
    • SIM-R: संदर्भ ऑडियो के साथ समानता
    • SIM-G: वास्तविक भाषण के साथ समानता
  3. भाषण गुणवत्ता: UTMOS - बड़े पैमाने पर मानव मूल्यांकन पर प्रशिक्षित MOS भविष्यवक्ता

तुलना विधियां

  • VALL-E: असतत टोकन विधि (400M पैरामीटर)
  • MegaTTS: निरंतर टोकन विधि (500M पैरामीटर)
  • Voicebox: गैर-स्वचालित प्रतिगमन निरंतर विधि (400M पैरामीटर)
  • StyleTTS2: गैर-स्वचालित प्रतिगमन निरंतर विधि (700M पैरामीटर)

कार्यान्वयन विवरण

  • बैकबोन नेटवर्क: OPT-125M
  • भाषण प्रतिनिधित्व: 64-आयामी VAE एम्बेडिंग, 25fps
  • वक्ता एम्बेडिंग: 768-आयामी LAM एम्बेडिंग
  • विसरण पैरामीटर: T=1000 चरण प्रशिक्षण, 100 चरण अनुमान, कोसाइन शोर शेड्यूल
  • अनुकूलक: Adam, कोई वजन क्षय नहीं, FP16 मिश्रित सटीकता

प्रयोगात्मक परिणाम

मुख्य परिणाम

विधिमॉडलिंग विधिटोकन प्रकारपैरामीटरWER(%)↓SIM↑UTMOS↑
VALL-EAR+NARअसतत400M6.110.473.68
MegaTTSAR+NARनिरंतर500M2.320.534.02
VoiceboxNARनिरंतर400M2.140.483.73
StyleTTS2NARनिरंतर700M2.490.383.94
यह विधिARनिरंतर160M1.950.544.00

मुख्य निष्कर्ष:

  • केवल 160M पैरामीटर के साथ सर्वोत्तम प्रदर्शन प्राप्त किया
  • चरण 1 आधारभूत की तुलना में, WER में 46% सापेक्ष कमी (3.61%→1.95%)
  • सभी मेट्रिक्स पर बड़े मॉडल से बेहतर

विलोपन प्रयोग

मुखौटा अनुपात प्रभाव

मुखौटा अनुपात(%)WER(%)↓SIM-R↑UTMOS↑
015.060.452.00
1512.650.451.39
306.170.463.21
508.130.462.84

निष्कर्ष: 30% मुखौटा अनुपात सर्वोत्तम संतुलन प्राप्त करता है

विसरण शीर्ष गहराई प्रभाव

MLP परतेंचरण 2 सूक्ष्म-ट्यूनिंगWER(%)↓SIM-R↑UTMOS↑
3✗6.170.463.10
6✗5.120.503.10
12✗3.610.493.21
12✓1.950.544.00

निष्कर्ष: गहरा नेटवर्क और दो-चरणीय प्रशिक्षण दोनों महत्वपूर्ण सुधार लाते हैं

रोकने के मानदंड की तुलना

रोकने का मानदंडWER(%)↓SIM-R↑UTMOS↑
GT-Dur.29.360.482.55
GT-EP.3.460.493.21
EOS Token3.610.493.21

निष्कर्ष: EOS टोकन विधि oracle जानकारी की आवश्यकता के बिना तुलनीय प्रदर्शन प्राप्त करती है

संबंधित कार्य

शून्य-शॉट TTS

  • बहु-चरणीय प्रणालियां: VALL-E, SALAD आदि शब्दार्थ या कोडेक टोकन के बहु-चरणीय प्रसंस्करण के माध्यम से
  • एकल-चरणीय विधियां: MegaTTS, NaturalSpeech सीधे उच्च-सूचना निरंतर प्रतिनिधित्व उत्पन्न करते हैं
  • यह कार्य का योगदान: एकीकृत MLLM ढांचे के भीतर एकल-चरणीय निरंतर भाषण पीढ़ी कार्यान्वयन

स्वचालित प्रतिगमन विसरण

  • मौजूदा विधियां: TransFusion आदि स्वचालित प्रतिगमन और विसरण को संयोजित करने का प्रयास करते हैं, लेकिन सख्त कारण पीढ़ी में कठिनाई होती है
  • यह कार्य का नवाचार: सख्त फ्रेम-स्तरीय स्वचालित प्रतिगमन निरंतर प्रतिनिधित्व विसरण कार्यान्वयन

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. प्रभावशीलता सत्यापन: निरंतर टोकन विसरण MLLM ढांचे के भीतर TTS कार्यों में असतत विधियों से महत्वपूर्ण रूप से बेहतर है
  2. दक्षता लाभ: कम पैरामीटर (160M बनाम 400-700M) के साथ बेहतर प्रदर्शन प्राप्त करता है
  3. प्रशिक्षण रणनीति महत्व: दो-चरणीय प्रशिक्षण और मुखौटा शिक्षा प्रदर्शन सुधार के लिए महत्वपूर्ण हैं

सीमाएं

  1. कम्प्यूटेशनल जटिलता: विसरण प्रक्रिया को बहु-चरणीय अनुमान की आवश्यकता होती है, कम्प्यूटेशनल ओवरहेड बड़ा है
  2. एकल-भाषा सीमा: वर्तमान में केवल अंग्रेजी डेटा पर सत्यापित
  3. वक्ता सामान्यीकरण: अदेखे वक्ताओं के लिए सामान्यीकरण क्षमता को आगे सत्यापन की आवश्यकता है
  4. वास्तविक समय: 100-चरणीय विसरण अनुमान वास्तविक समय अनुप्रयोगों को प्रभावित कर सकता है

भविष्य की दिशा

  1. बहु-भाषा विस्तार: बहु-भाषा TTS कार्यों तक विस्तार
  2. अनुमान त्वरण: तेजी से विसरण नमूनाकरण विधियों पर अनुसंधान
  3. एकीकृत ढांचा: अधिक भाषण कार्यों (ASR, भाषण अनुवाद आदि) को एकीकृत करना
  4. लंबे पाठ संश्लेषण: लंबे अनुक्रम भाषण संश्लेषण की स्थिरता में सुधार

गहन मूल्यांकन

शक्तियां

  1. तकनीकी नवाचार:
    • MLLM ढांचे के भीतर फ्रेम-स्तरीय निरंतर विसरण पहली बार कार्यान्वयन
    • द्वि-शीर्ष आर्किटेक्चर डिज़ाइन चतुर है, एकीकृतता बनाए रखता है
    • दो-चरणीय प्रशिक्षण प्रभावी रूप से वितरण बहाव समस्या को हल करता है
  2. पर्याप्त प्रयोग:
    • प्रत्येक घटक के योगदान को सत्यापित करने वाले व्यापक विलोपन प्रयोग
    • बहु-आयामी मूल्यांकन मेट्रिक्स (बुद्धिमत्ता, समानता, गुणवत्ता)
    • कई मजबूत आधारभूत के साथ निष्पक्ष तुलना
  3. परिणाम विश्वसनीयता:
    • महत्वपूर्ण प्रदर्शन सुधार (46% WER सापेक्ष कमी)
    • पैरामीटर दक्षता लाभ स्पष्ट है
    • SOTA स्वचालित प्रतिगमन प्रदर्शन प्राप्त किया

कमियां

  1. विधि जटिलता:
    • दो-चरणीय प्रशिक्षण की आवश्यकता है, प्रशिक्षण जटिलता बढ़ाता है
    • कई हाइपरपैरामीटर को ट्यून करने की आवश्यकता है (मुखौटा अनुपात, विसरण चरण आदि)
  2. प्रयोगात्मक सीमाएं:
    • केवल एकल डेटासेट पर सत्यापित
    • व्यक्तिपरक मूल्यांकन प्रयोग की कमी
    • अनुमान गति विश्लेषण अपर्याप्त
  3. सैद्धांतिक विश्लेषण:
    • दो-चरणीय प्रशिक्षण की सैद्धांतिक व्याख्या अपेक्षाकृत सरल है
    • अभिसरण विश्लेषण की कमी

प्रभाव

  1. शैक्षणिक मूल्य: MLLM में निरंतर भाषण पीढ़ी के लिए नई तकनीकी पथ प्रदान करता है
  2. व्यावहारिक मूल्य: एकीकृत ढांचे को बनाए रखते हुए उच्च-गुणवत्ता वाले भाषण संश्लेषण कार्यान्वयन
  3. पुनरुत्पादनीयता: कार्यान्वयन विवरण विस्तार से वर्णित हैं, पुनरुत्पादन के लिए सुविधाजनक

लागू परिदृश्य

  1. व्यक्तिगतकृत भाषण सहायक: शून्य-शॉट वक्ता क्लोनिंग क्षमता
  2. मल्टीमोडल संवाद प्रणाली: एकीकृत पाठ और भाषण प्रसंस्करण
  3. सामग्री निर्माण: उच्च-गुणवत्ता वाली भाषण सामग्री पीढ़ी
  4. सहायक प्रौद्योगिकी: दृश्य-श्रवण बाधित व्यक्तियों के लिए भाषण संश्लेषण सेवा

संदर्भ

पेपर ने 42 संबंधित संदर्भों का उद्धृत किया है, जो मल्टीमोडल LLM, विसरण मॉडल, भाषण संश्लेषण आदि मुख्य क्षेत्रों के महत्वपूर्ण कार्यों को शामिल करते हैं, जो इस अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह मल्टीमोडल बड़े भाषा मॉडल ढांचे के भीतर भाषण संश्लेषण पर एक उच्च-गुणवत्ता वाला अनुसंधान कार्य है। पेपर द्वारा प्रस्तावित निरंतर टोकन विसरण विधि तकनीकी रूप से नवीन है, प्रयोगात्मक परिणाम विश्वसनीय हैं, और एकीकृत मल्टीमोडल AI प्रणाली के विकास के लिए मूल्यवान योगदान प्रदान करता है। हालांकि कुछ सीमाएं हैं, लेकिन इसकी तकनीकी रणनीति और प्रयोगात्मक सत्यापन इस क्षेत्र के बाद के अनुसंधान के लिए एक अच्छा आधार स्थापित करते हैं।