2025-11-13T21:10:11.295731

Continuous-Token Diffusion for Speaker-Referenced TTS in Multimodal LLMs

He, Ray, Mallidi et al.

Unified architectures in multimodal large language models (MLLM) have shown promise in handling diverse tasks within a single framework. In the text-to-speech (TTS) task, current MLLM-based approaches rely on discrete token representations, which disregard the inherently continuous nature of speech and can lead to loss of fine-grained acoustic information.In this work, we investigate the TTS within the MLLM paradigm using continuous speech representations. We design a dual-head architecture and implement two complementary training strategies for a robust model. (1) A diffusion head generating continuous speech representations is added on the MLLM, which is on frame-level and strictly autoregressive. (2) The original language model head is retained to preserve multitask capability and to control the start and end of speech synthesis. (3) Masked training is employed to address exposure bias in autoregressive decoding. (4) To stabilize optimization, we propose a two-stage scheme where the LM is frozen in the second stage, ensuring the diffusion head learns from a fixed input distribution. Evaluations on LibriSpeech(PC) test-clean show that our approach achieves state-of-the-art autoregressive performance, with a WER of 1.95%, speaker similarity of 0.54, and UTMOS of 4.00. The two-stage training yields a 46% relative WER reduction over the one-stage training baseline. These results highlight the effectiveness of combining autoregressive modeling with continuous-token diffusion, supported by a two-stage training procedure.

academic

মাল্টিমোডাল LLM-এ স্পিকার-রেফারেন্সড TTS-এর জন্য কন্টিনিউয়াস-টোকেন ডিফিউশন

মৌলিক তথ্য

পেপার ID: 2510.12995
শিরোনাম: Continuous-Token Diffusion for Speaker-Referenced TTS in Multimodal LLMs
লেখক: Xinlu He¹, Swayambhu Nath Ray², Harish Mallidi², Jia-Hong Huang², Ashwin Bellur², Chander Chandak², M. Maruf², Venkatesh Ravichandran²
প্রতিষ্ঠান: ¹Worcester Polytechnic Institute, USA ²Amazon AGI, USA
শ্রেণীবিভাগ: eess.AS cs.SD
প্রকাশনা সম্মেলন: NeurIPS 2025 Workshop: Structured Probabilistic Inference & Generative Modeling (SPIGM)
পেপার লিঙ্ক: https://arxiv.org/abs/2510.12995

সারসংক্ষেপ

একীভূত মাল্টিমোডাল বৃহৎ ভাষা মডেল (MLLM) স্থাপত্য একটি একক কাঠামোর মধ্যে বৈচিত্র্যময় কাজগুলি পরিচালনা করার ক্ষেত্রে প্রতিশ্রুতি প্রদর্শন করেছে। পাঠ্য-থেকে-কণ্ঠস্বর (TTS) কাজে, বর্তমান MLLM-ভিত্তিক পদ্ধতিগুলি বিচ্ছিন্ন টোকেন প্রতিনিধিত্বের উপর নির্ভর করে, যা কণ্ঠস্বরের অন্তর্নিহিত ক্রমাগত প্রকৃতিকে উপেক্ষা করে এবং সূক্ষ্ম-দানাদার শব্দগত তথ্যের ক্ষতি ঘটাতে পারে। এই কাজটি MLLM প্যারাডাইমের মধ্যে ক্রমাগত কণ্ঠস্বর প্রতিনিধিত্ব ব্যবহার করে TTS অধ্যয়ন করে। একটি দ্বৈত-মাথা স্থাপত্য ডিজাইন করা হয়েছে এবং শক্তিশালী মডেল তৈরি করতে দুটি পরিপূরক প্রশিক্ষণ কৌশল প্রয়োগ করা হয়েছে। এই পদ্ধতিটি LibriSpeech(PC) test-clean-এ অত্যাধুনিক স্বয়ংক্রিয় পুনরাবৃত্তিমূলক কর্মক্ষমতা অর্জন করেছে, WER 1.95%, স্পিকার সাদৃশ্য 0.54, এবং UTMOS 4.00।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

বর্তমান MLLM-ভিত্তিক TTS পদ্ধতিগুলি প্রধানত নিম্নলিখিত সমস্যাগুলির সম্মুখীন হয়:

বিচ্ছিন্নকরণ ক্ষতি: বিদ্যমান পদ্ধতিগুলি কণ্ঠস্বরকে বিচ্ছিন্ন টোকেনে রূপান্তরিত করে, কণ্ঠস্বরের ক্রমাগত প্রকৃতিকে উপেক্ষা করে, যার ফলে সূক্ষ্ম-দানাদার শব্দগত তথ্য হারায়
পরিমাণীকরণ বাধা: বিচ্ছিন্ন পরিমাণীকরণ সূক্ষ্ম শব্দগত বিবরণ বাদ দেয়, কণ্ঠস্বরের প্রাকৃতিকতা এবং আনুগত্য সীমাবদ্ধ করে
একীভূত কাঠামোর অভাব: MLLM বহু-কাজ ক্ষমতা বজায় রেখে উচ্চ-মানের ক্রমাগত কণ্ঠস্বর উৎপন্ন করার কার্যকর পদ্ধতির অভাব

গবেষণার গুরুত্ব

প্রযুক্তিগত চাহিদা: মাল্টিমোডাল AI-এর বিকাশের সাথে সাথে, একটি একীভূত কাঠামোর মধ্যে পাঠ্য এবং কণ্ঠস্বর কাজগুলি পরিচালনা করার প্রয়োজন
গুণমান উন্নতি: ক্রমাগত প্রতিনিধিত্ব কণ্ঠস্বরের অন্তর্নিহিত বৈশিষ্ট্যগুলি আরও ভালভাবে সংরক্ষণ করতে পারে, সংশ্লেষণ গুণমান উন্নত করে
প্রয়োগের মূল্য: শূন্য-শট স্পিকার ক্লোনিং প্রযুক্তি ব্যক্তিগতকৃত কণ্ঠস্বর সংশ্লেষণে গুরুত্বপূর্ণ প্রয়োগ মূল্য রয়েছে

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

বহু-পর্যায়ের সিস্টেম: VALL-E-এর মতো একাধিক পর্যায়ের প্রয়োজন, জটিলতা বৃদ্ধি করে
তথ্য ক্ষতি: বিচ্ছিন্ন এনকোডিং সূক্ষ্ম-দানাদার শব্দগত তথ্য হারায়
প্রশিক্ষণ অস্থিরতা: ডিফিউশন মডেল এবং LLM যৌথ অপ্টিমাইজেশন বিতরণ স্থানান্তর সমস্যা উপস্থাপন করে

মূল অবদান

উদ্ভাবনী স্থাপত্য: ফ্রেম-স্তরের ক্রমাগত টোকেন ডিফিউশন হেড প্রস্তাব করা হয়েছে, স্বয়ংক্রিয় পুনরাবৃত্তিমূলক MLLM কাঠামোতে একীভূত, বিদ্যমান ব্লক-স্তরের বহু-ফ্রেম ডিজাইন থেকে আলাদা
দ্বৈত-মাথা ডিজাইন: একটি একীভূত মাল্টিমোডাল কাঠামো বজায় রাখে এমন দ্বৈত-মাথা স্থাপত্য ডিজাইন করা হয়েছে, LM হেড পরিবর্তনশীল দৈর্ঘ্যের কণ্ঠস্বর সংশ্লেষণ সমর্থন করে
প্রশিক্ষণ কৌশল: মাস্কিং প্রশিক্ষণের মাধ্যমে স্বয়ংক্রিয় এক্সপোজার পক্ষপাত হ্রাস করা হয়, সময়গত সামঞ্জস্য এবং মডেল শক্তিশালীতা উন্নত করে
অপ্টিমাইজেশন সমাধান: দুই-পর্যায়ের প্রশিক্ষণ কৌশল প্রস্তাব করা হয়েছে অপ্টিমাইজেশন প্রক্রিয়া স্থিতিশীল করতে, আপেক্ষিক WER 46% হ্রাস করে, LibriSpeech(PC)-তে SOTA স্বয়ংক্রিয় পুনরাবৃত্তিমূলক কর্মক্ষমতা অর্জন করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

ইনপুট: পাঠ্য প্রতিলিপি এবং রেফারেন্স অডিও খণ্ড আউটপুট: নির্দিষ্ট স্পিকার বৈশিষ্ট্য সহ উচ্চ-মানের কণ্ঠস্বর সীমাবদ্ধতা: একটি একীভূত MLLM কাঠামোর মধ্যে বাস্তবায়ন, বহু-কাজ ক্ষমতা বজায় রাখা

মডেল স্থাপত্য

সামগ্রিক ডিজাইন

মডেল OPT-125M কে LLM মেরুদণ্ড হিসাবে ব্যবহার করে একটি দ্বৈত-মাথা স্থাপত্য গ্রহণ করে:

ডিফিউশন হেড: ক্রমাগত কণ্ঠস্বর এম্বেডিং উৎপন্ন করে
ভাষা মডেল হেড: কণ্ঠস্বর সীমানা এবং নিয়ন্ত্রণ টোকেন পূর্বাভাস দেয়
মাল্টিমোডাল প্রজেকশন: বিভিন্ন মোডালিটির প্রতিনিধিত্ব রূপান্তর পরিচালনা করে

ক্রমাগত টোকেন প্রজন্ম

লক্ষ্য ক্রম $x = \{x_1, ..., x_N\}$ দেওয়া, যেখানে $x_i \in \mathbb{R}^d$ i-তম ফ্রেমের কণ্ঠস্বর এম্বেডিং প্রতিনিধিত্ব করে।

অনুমান প্রক্রিয়া:

z_i = C_θ(p, x̂_{<i})  # LLM শর্তসাপেক্ষ ভেক্টর উৎপন্ন করে
x̂_i = Diffusion_φ(z_i)  # ডিফিউশন হেড কণ্ঠস্বর এম্বেডিং উৎপন্ন করে

প্রশিক্ষণ প্রক্রিয়া: মান DDPM প্রশিক্ষণ গ্রহণ করা হয়, ক্ষতি ফাংশন:

L_diff(θ,φ) = E_t[||ε - ε̂||²]

যেখানে শব্দ পূর্বাভাস $\hat{\varepsilon} = M_\phi(x_i^t, t, z_i)$

EOS নিয়ন্ত্রণ প্রক্রিয়া

সীমানা নিয়ন্ত্রণ বাস্তবায়নের জন্য বিশেষ টোকেন প্রবর্তন করা হয়:

<speech_bos>: কণ্ঠস্বর প্রজন্ম পর্যায় ট্রিগার করে
<cont_speech_gen>: কণ্ঠস্বর ফ্রেম প্রজন্ম চালিয়ে যায়
<eos>: কণ্ঠস্বর প্রজন্ম সমাপ্ত করে

মোট ক্ষতি ফাংশন:

L = L_LM + L_diff

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

1. মাস্কিং স্বয়ংক্রিয় পুনরাবৃত্তিমূলক শিক্ষা

এক্সপোজার পক্ষপাত হ্রাস করতে, মাস্কিং প্রশিক্ষণ কৌশল গ্রহণ করা হয়:

সম্ভাব্যতা $p_{mask}$ সহ ঐতিহাসিক ফ্রেম র্যান্ডমলি মাস্ক করা
মাস্ক করা ফ্রেমগুলি শূন্য ভেক্টর দ্বারা প্রতিস্থাপিত হয়
অসম্পূর্ণ ঐতিহাসিক তথ্য পরিচালনা করতে মডেল প্রশিক্ষণ দেওয়া হয়

2. দুই-পর্যায়ের প্রশিক্ষণ

পর্যায় 1: MLLM এবং ডিফিউশন হেড যৌথ প্রশিক্ষণ পর্যায় 2: MLLM হিমায়িত, শুধুমাত্র ডিফিউশন হেড প্রশিক্ষণ

এই ডিজাইন বিতরণ স্থানান্তর সমস্যা সমাধান করে, প্রশিক্ষণ প্রক্রিয়া স্থিতিশীল করে।

পরীক্ষামূলক সেটআপ

ডেটাসেট

প্রশিক্ষণ ডেটা: LibriVox কর্পাস 50k ঘন্টা সাবসেট (Libri-Light থেকে)
মূল্যায়ন ডেটা: LibriSpeech(PC) test-clean ডেটাসেট
মূল্যায়ন প্রোটোকল: 40 জন স্পিকার র্যান্ডমলি নির্বাচিত, প্রতিটি একটি উচ্চারণ, 3 সেকেন্ড রেফারেন্স অডিও সহ

মূল্যায়ন মেট্রিক্স

বুদ্ধিমত্তা: Word Error Rate (WER) - Whisper-Large ট্রান্সক্রিপশন ব্যবহার করে গণনা করা
স্পিকার সাদৃশ্য: ECAPA-TDNN ব্যবহার করে এম্বেডিং নিষ্কাশন করে কোসাইন সাদৃশ্য গণনা করা
- SIM-R: রেফারেন্স অডিওর সাথে সাদৃশ্য
- SIM-G: প্রকৃত কণ্ঠস্বরের সাথে সাদৃশ্য
কণ্ঠস্বর গুণমান: UTMOS - বৃহৎ-স্কেল মানব মূল্যায়নে প্রশিক্ষিত MOS পূর্বাভাসকারী

তুলনামূলক পদ্ধতি

VALL-E: বিচ্ছিন্ন টোকেন পদ্ধতি (400M প্যারামিটার)
MegaTTS: ক্রমাগত টোকেন পদ্ধতি (500M প্যারামিটার)
Voicebox: অ-স্বয়ংক্রিয় পুনরাবৃত্তিমূলক ক্রমাগত পদ্ধতি (400M প্যারামিটার)
StyleTTS2: অ-স্বয়ংক্রিয় পুনরাবৃত্তিমূলক ক্রমাগত পদ্ধতি (700M প্যারামিটার)

বাস্তবায়ন বিবরণ

মেরুদণ্ড নেটওয়ার্ক: OPT-125M
কণ্ঠস্বর প্রতিনিধিত্ব: 64-মাত্রিক VAE এম্বেডিং, 25fps
স্পিকার এম্বেডিং: 768-মাত্রিক LAM এম্বেডিং
ডিফিউশন প্যারামিটার: T=1000 ধাপ প্রশিক্ষণ, 100 ধাপ অনুমান, কোসাইন শব্দ সময়সূচী
অপ্টিমাইজার: Adam, কোন ওজন ক্ষয় নেই, FP16 মিশ্র নির্ভুলতা

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

পদ্ধতি	মডেলিং পদ্ধতি	টোকেন প্রকার	প্যারামিটার	WER(%)↓	SIM↑	UTMOS↑
VALL-E	AR+NAR	বিচ্ছিন্ন	400M	6.11	0.47	3.68
MegaTTS	AR+NAR	ক্রমাগত	500M	2.32	0.53	4.02
Voicebox	NAR	ক্রমাগত	400M	2.14	0.48	3.73
StyleTTS2	NAR	ক্রমাগত	700M	2.49	0.38	3.94
এই পদ্ধতি	AR	ক্রমাগত	160M	1.95	0.54	4.00

মূল আবিষ্কার:

মাত্র 160M প্যারামিটার সহ সর্বোত্তম কর্মক্ষমতা অর্জন করা হয়েছে
পর্যায় 1 বেসলাইনের তুলনায়, WER আপেক্ষিক হ্রাস 46% (3.61%→1.95%)
সমস্ত মেট্রিক্সে বৃহত্তর মডেলগুলির চেয়ে উন্নত

অ্যাবলেশন পরীক্ষা

মাস্কিং অনুপাত প্রভাব

মাস্কিং অনুপাত(%)	WER(%)↓	SIM-R↑	UTMOS↑
0	15.06	0.45	2.00
15	12.65	0.45	1.39
30	6.17	0.46	3.21
50	8.13	0.46	2.84

আবিষ্কার: 30% মাস্কিং অনুপাত সর্বোত্তম ভারসাম্য অর্জন করে

ডিফিউশন হেড গভীরতা প্রভাব

MLP স্তর	পর্যায় 2 সূক্ষ্ম-সুর	WER(%)↓	SIM-R↑	UTMOS↑
3	✗	6.17	0.46	3.10
6	✗	5.12	0.50	3.10
12	✗	3.61	0.49	3.21
12	✓	1.95	0.54	4.00

আবিষ্কার: গভীর নেটওয়ার্ক এবং দুই-পর্যায়ের প্রশিক্ষণ উভয়ই উল্লেখযোগ্য উন্নতি নিয়ে আসে

স্টপিং মানদণ্ড তুলনা

স্টপিং মানদণ্ড	WER(%)↓	SIM-R↑	UTMOS↑
GT-Dur.	29.36	0.48	2.55
GT-EP.	3.46	0.49	3.21
EOS টোকেন	3.61	0.49	3.21

আবিষ্কার: EOS টোকেন পদ্ধতি অরেকল তথ্যের প্রয়োজন ছাড়াই তুলনীয় কর্মক্ষমতা অর্জন করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

কার্যকারিতা যাচাইকরণ: ক্রমাগত টোকেন ডিফিউশন MLLM কাঠামোর মধ্যে TTS কাজে বিচ্ছিন্ন পদ্ধতির চেয়ে উল্লেখযোগ্যভাবে উন্নত
দক্ষতা সুবিধা: কম প্যারামিটার (160M বনাম 400-700M) সহ আরও ভাল কর্মক্ষমতা অর্জন করা
প্রশিক্ষণ কৌশলের গুরুত্ব: দুই-পর্যায়ের প্রশিক্ষণ এবং মাস্কিং শিক্ষা কর্মক্ষমতা উন্নতির জন্য গুরুত্বপূর্ণ

সীমাবদ্ধতা

গণনামূলক জটিলতা: ডিফিউশন প্রক্রিয়া বহু-ধাপ অনুমান প্রয়োজন, গণনামূলক ওভারহেড বড়
একক ভাষার সীমাবদ্ধতা: বর্তমানে শুধুমাত্র ইংরেজি ডেটায় যাচাইকৃত
স্পিকার সাধারণীকরণ: অদেখা স্পিকারদের সাধারণীকরণ ক্ষমতা আরও যাচাইকরণের প্রয়োজন
রিয়েল-টাইম: 100-ধাপ ডিফিউশন অনুমান রিয়েল-টাইম অ্যাপ্লিকেশনকে প্রভাবিত করতে পারে

ভবিষ্যত দিকনির্দেশনা

বহুভাষিক সম্প্রসারণ: বহুভাষিক TTS কাজে সম্প্রসারণ
অনুমান ত্বরণ: দ্রুত ডিফিউশন স্যাম্পলিং পদ্ধতি গবেষণা
একীভূত কাঠামো: আরও কণ্ঠস্বর কাজ একীভূত করা (ASR, কণ্ঠস্বর অনুবাদ ইত্যাদি)
দীর্ঘ পাঠ্য সংশ্লেষণ: দীর্ঘ ক্রম কণ্ঠস্বর সংশ্লেষণের স্থিতিশীলতা উন্নত করা

গভীর মূল্যায়ন

সুবিধা

প্রযুক্তিগত উদ্ভাবন:
- MLLM কাঠামোর মধ্যে প্রথমবারের মতো ফ্রেম-স্তরের ক্রমাগত ডিফিউশন বাস্তবায়ন
- দ্বৈত-মাথা স্থাপত্য ডিজাইন চতুর, একীভূততা বজায় রাখে
- দুই-পর্যায়ের প্রশিক্ষণ কার্যকরভাবে বিতরণ স্থানান্তর সমস্যা সমাধান করে
পর্যাপ্ত পরীক্ষা:
- প্রতিটি উপাদানের অবদান যাচাই করে ব্যাপক অ্যাবলেশন পরীক্ষা
- বহু-মাত্রিক মূল্যায়ন মেট্রিক্স (বুদ্ধিমত্তা, সাদৃশ্য, গুণমান)
- একাধিক শক্তিশালী বেসলাইনের সাথে ন্যায্য তুলনা
ফলাফলের প্রভাবশীলতা:
- উল্লেখযোগ্য কর্মক্ষমতা উন্নতি (46% WER আপেক্ষিক হ্রাস)
- প্যারামিটার দক্ষতা সুবিধা স্পষ্ট
- SOTA স্বয়ংক্রিয় পুনরাবৃত্তিমূলক কর্মক্ষমতা অর্জন করা হয়েছে

অপূর্ণতা

পদ্ধতি জটিলতা:
- দুই-পর্যায়ের প্রশিক্ষণ প্রয়োজন, প্রশিক্ষণ জটিলতা বৃদ্ধি করে
- একাধিক হাইপারপ্যারামিটার সুর করার প্রয়োজন (মাস্কিং অনুপাত, ডিফিউশন ধাপ ইত্যাদি)
পরীক্ষামূলক সীমাবদ্ধতা:
- শুধুমাত্র একক ডেটাসেটে যাচাইকৃত
- বিষয়গত মূল্যায়ন পরীক্ষার অভাব
- অনুমান গতি বিশ্লেষণ অপর্যাপ্ত
তাত্ত্বিক বিশ্লেষণ:
- দুই-পর্যায়ের প্রশিক্ষণের তাত্ত্বিক ব্যাখ্যা অপেক্ষাকৃত সহজ
- সংগ্রহ বিশ্লেষণের অভাব

প্রভাব

একাডেমিক মূল্য: MLLM-তে ক্রমাগত কণ্ঠস্বর প্রজন্মের জন্য নতুন প্রযুক্তিগত পথ প্রদান করে
ব্যবহারিক মূল্য: একীভূত কাঠামো বজায় রেখে উচ্চ-মানের কণ্ঠস্বর সংশ্লেষণ অর্জন করে
পুনরুৎপাদনযোগ্যতা: বাস্তবায়ন বিবরণ বিস্তারিতভাবে বর্ণিত, পুনরুৎপাদন সহজতর করে

প্রযোজ্য পরিস্থিতি

ব্যক্তিগতকৃত কণ্ঠস্বর সহায়ক: শূন্য-শট স্পিকার ক্লোনিং ক্ষমতা
মাল্টিমোডাল সংলাপ সিস্টেম: একীভূত পাঠ্য এবং কণ্ঠস্বর প্রক্রিয়াকরণ
বিষয়বস্তু সৃষ্টি: উচ্চ-মানের কণ্ঠস্বর বিষয়বস্তু প্রজন্ম
সহায়ক প্রযুক্তি: দৃষ্টি এবং শ্রবণ প্রতিবন্ধী ব্যক্তিদের জন্য কণ্ঠস্বর সংশ্লেষণ সেবা

সংদর্ভ

পেপারটি 42টি সম্পর্কিত সংদর্ভ উদ্ধৃত করে, যা মাল্টিমোডাল LLM, ডিফিউশন মডেল, কণ্ঠস্বর সংশ্লেষণ ইত্যাদি মূল ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, এই গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি মাল্টিমোডাল বৃহৎ ভাষা মডেল কাঠামোর মধ্যে কণ্ঠস্বর সংশ্লেষণ পরিচালনার একটি উচ্চ-মানের গবেষণা কাজ। পেপারে প্রস্তাবিত ক্রমাগত টোকেন ডিফিউশন পদ্ধতি প্রযুক্তিগতভাবে উদ্ভাবনী, পরীক্ষামূলক ফলাফল প্রভাবশালী, এবং একীভূত মাল্টিমোডাল AI সিস্টেমের বিকাশে মূল্যবান অবদান প্রদান করে। যদিও কিছু সীমাবদ্ধতা রয়েছে, তবে এর প্রযুক্তিগত পথ এবং পরীক্ষামূলক যাচাইকরণ এই ক্ষেত্রের পরবর্তী গবেষণার জন্য একটি দৃঢ় ভিত্তি স্থাপন করে।