DPO-Tuned Large Language Models for Segmentation in Simultaneous Speech Translation
Yang, Nakamura
Simultaneous speech translation requires accurate segmentation to balance translation quality and latency. Recent studies such as SHAS have introduced pretrained segmentation models, achieving stronger performance than heuristic rules. However, segmentation models such as SHAS, though pretrained and more robust than heuristic methods, are still constrained by supervised learning objectives and do not incorporate human preference alignment, which is crucial for natural real-time interpretation. In this work, we propose a segmentation framework based on large language models (LLMs) trained with Direct Preference Optimization (DPO). By leveraging preference alignment, our method enables LLMs to predict natural segmentation points that better meet the demands of real-time translation. We evaluate the system on the ACL 60/60 corpus across three language pairs (English-Japanese, Chinese, German), using SeamlessM4T v2 as the translation backbone. Experimental results show that our DPO-tuned LLM achieves higher segmentation accuracy than SHAS and yields consistent improvements in translation quality (BLEU, COMET) as well as latency (Average Lagging). Furthermore, our system benefits from IWSLT baselines for direct comparison. These findings highlight the potential of preference-tuned LLMs to surpass existing pretrained segmentation models and advance adaptive, human-aligned simultaneous interpretation.
academic
একযোগে বক্তৃতা অনুবাদে বিভাজনের জন্য DPO-সুরক্ষিত বৃহৎ ভাষা মডেল
একযোগে বক্তৃতা অনুবাদ (SimulST) অনুবাদের গুণমান এবং বিলম্বের মধ্যে ভারসাম্য রক্ষার জন্য নির্ভুল বিভাজন প্রয়োজন। যদিও SHAS-এর মতো পূর্ব-প্রশিক্ষিত বিভাজন মডেলগুলি অনুমানমূলক নিয়মের চেয়ে ভাল পারফর্ম করে, তবুও সেগুলি তত্ত্বাবধানকৃত শিক্ষার উদ্দেশ্যের দ্বারা সীমাবদ্ধ এবং মানব পছন্দের সাথে সারিবদ্ধতার অভাব রয়েছে। এই পেপারটি সরাসরি পছন্দ অপ্টিমাইজেশন (DPO) প্রশিক্ষণের মাধ্যমে বৃহৎ ভাষা মডেল বিভাজন কাঠামো প্রস্তাব করে, যা পছন্দ সারিবদ্ধতার মাধ্যমে LLM-কে আরও প্রাকৃতিক বিভাজন পয়েন্ট পূর্বাভাস দিতে সক্ষম করে। ACL 60/60 কর্পাসে তিনটি ভাষা জোড়ার উপর মূল্যায়ন করা হয়েছে, SeamlessM4T v2 কে অনুবাদ মেরুদণ্ড হিসাবে ব্যবহার করে। পরীক্ষামূলক ফলাফলগুলি দেখায় যে DPO-সুরক্ষিত LLM বিভাজন নির্ভুলতায় SHAS অতিক্রম করে এবং অনুবাদের গুণমান (BLEU, COMET) এবং বিলম্ব (গড় পিছিয়ে থাকা) উভয় ক্ষেত্রেই ধারাবাহিক উন্নতি প্রদান করে।
একযোগে বক্তৃতা অনুবাদ (SimulST) এর মূল চ্যালেঞ্জ হল অনুবাদের গুণমান নিশ্চিত করার সাথে সাথে বিলম্ব কমানো, যার জন্য সিস্টেমটি সঠিকভাবে সিদ্ধান্ত নিতে হবে যে কখন ইনপুট স্ট্রিম বিভক্ত করতে হবে এবং অনুবাদ আউটপুট করতে হবে। অনুপযুক্ত বিভাজন অসম্পূর্ণ বা অপ্রয়োজনীয় অনুবাদ ইউনিটের দিকে পরিচালিত করে, যা নির্ভুলতা এবং ব্যবহারকারীর অভিজ্ঞতাকে গুরুতরভাবে প্রভাবিত করে।
বিভাজন ব্যবহারিক SimulST সিস্টেমের একটি মূল উপাদান হিসাবে বিবেচিত হয়, বিশেষত স্ট্রিমিং SimulST-তে, যেখানে অনুপযুক্ত সীমানা অনুবাদের গুণমান এবং বিলম্বকে উল্লেখযোগ্যভাবে ক্ষতিগ্রস্ত করে। ঐতিহ্যবাহী অনুমানমূলক নিয়মগুলি (যেমন বিরাম চিহ্ন পূর্বাভাস, নির্দিষ্ট দৈর্ঘ্যের খণ্ড) সহজ এবং দক্ষ হলেও, প্রায়শই বৈচিত্র্যময় ভাষাগত কাঠামো এবং কথার শৈলীর সাথে খাপ খাইয়ে নিতে পারে না।
অনুমানমূলক পদ্ধতি: নির্দিষ্ট wait-k কৌশলের মতো পদ্ধতিগুলি ভাষাগত পরিবর্তনের সাথে খাপ খাইয়ে নেওয়ার ক্ষেত্রে সীমাবদ্ধ
পূর্ব-প্রশিক্ষিত মডেল: SHAS-এর মতো মডেলগুলি অনুমানমূলক পদ্ধতির চেয়ে আরও শক্তিশালী হলেও, তবুও তত্ত্বাবধানকৃত শিক্ষার উদ্দেশ্যের দ্বারা সীমাবদ্ধ এবং শুধুমাত্র শব্দ বৈশিষ্ট্যের উপর নির্ভর করে
মানব পছন্দ সারিবদ্ধতার অভাব: বিদ্যমান পদ্ধতিগুলি একযোগে মেশিন অনুবাদ কর্মক্ষমতা সারিবদ্ধতা অন্তর্ভুক্ত করে না, যা প্রাকৃতিক এবং সময়োপযোগী অনুবাদের জন্য গুরুত্বপূর্ণ
বৃহৎ ভাষা মডেলগুলি বক্তৃতা এবং অনুবাদ কাজে উচ্চতর সাধারণীকরণ ক্ষমতা প্রদর্শন করে, কিন্তু SimulST বিভাজনে তাদের সম্ভাবনা এখনও সম্পূর্ণভাবে অন্বেষণ করা হয়নি। সরাসরি পছন্দ অপ্টিমাইজেশন (DPO) মানব প্রতিক্রিয়ার সাথে মডেলকে সারিবদ্ধ করার একটি প্রতিশ্রুতিশীল দিক প্রদান করে, যা তত্ত্বাবধানকৃত প্রশিক্ষণের বাইরে পছন্দ-নির্দেশিত সিদ্ধান্ত সক্ষম করে।
SimulST-তে বিভাজন কাজকে আগত বক্তৃতা স্ট্রিমে বাক্যের বিরতি পূর্বাভাস দেওয়ার কাজ হিসাবে সংজ্ঞায়িত করা হয়, যার লক্ষ্য অনুবাদের গুণমান এবং বিলম্যের মধ্যে ভারসাম্য রক্ষা করা। স্ট্রিমিং ইনপুট বক্তৃতা ক্রম x দেওয়া হলে, মডেল বিভাজন সিদ্ধান্ত ক্রম {s₁, s₂, ..., sₜ} উৎপাদন করে, যেখানে প্রতিটি sₜ পূর্বাভাসিত সীমানা অবস্থান প্রতিনিধিত্ব করে। দ্বিমুখী শ্রেণীবিভাগ পদ্ধতির বিপরীতে, এই পেপারটি বিভাজনকে পরবর্তী বিরতি পূর্বাভাস সমস্যা হিসাবে সংজ্ঞায়িত করে।
Qwen2.5-Omni-3B কে বিভাজন মেরুদণ্ড হিসাবে গ্রহণ করা হয়েছে, যা স্ট্রিমিং পদ্ধতিতে চলে এবং বক্তৃতা ইনপুটে স্লাইডিং উইন্ডো প্রক্রিয়া ব্যবহার করে। মডেল সরাসরি অডিওর খণ্ড-স্তরের শব্দ বৈশিষ্ট্য প্রক্রিয়া করে, টোকেন-স্তরের ASR প্রতিলিপির উপর ভিত্তি করে নয়, বর্তমান বক্তৃতা প্রসঙ্গ দেওয়া হলে ক্রমবর্ধমানভাবে পরবর্তী বিভাজন পয়েন্ট পূর্বাভাস দেয়।
সরাসরি পছন্দ অপ্টিমাইজেশন LLM সূক্ষ্ম-সুর করতে ব্যবহৃত হয়:
ইনপুট উচ্চারণ x দেওয়া হলে, একাধিক প্রার্থী বিভাজন উৎপাদন করা হয়, প্রতিটি বিভাজন y ইনপুট স্ট্রিমে সীমানা সূচকের ক্রম হিসাবে প্রতিনিধিত্ব করা হয়। পছন্দ জোড়া (y_pref, y_dispref) তৈরি করা হয়, যেখানে y_pref উন্নত অনুবাদ গুণমান এবং কম বিলম্য উৎপাদন করে এমন পছন্দের বিভাজন প্রতিনিধিত্ব করে।
যেখানে π_θ LLM-দ্বারা প্ররোচিত নীতি প্রতিনিধিত্ব করে, β স্কেলিং হাইপারপ্যারামিটার। প্রশিক্ষণ ৫টি যুগের জন্য পরিচালিত হয়, মান শিক্ষার হার সময়সূচী ব্যবহার করে।
বিলম্ব-গুণমান ট্রেড-অফ বক্ররেখা বিশ্লেষণ দেখায় যে DPO-প্রশিক্ষিত LLM সম্পূর্ণ অপারেশনাল পরিসরে অন্যান্য বিভাজন কৌশলের চেয়ে ধারাবাহিকভাবে উন্নত, অনুরূপ বা কম বিলম্যে উচ্চতর BLEU স্কোর অর্জন করে।
SeamlessM4T-এর মতো বৃহৎ বহুভাষিক বহু-মোডাল অনুবাদ সিস্টেমগুলি বক্তৃতা অনুবাদ কাজের জন্য শক্তিশালী মেরুদণ্ড প্রদান করে, একাধিক ভাষায় অত্যাধুনিক কর্মক্ষমতা প্রদর্শন করে।
DPO কার্যকারিতা: পছন্দ অপ্টিমাইজেশন মডেলকে মানব পছন্দের সাথে সারিবদ্ধ বিভাজন শিখতে সক্ষম করে, আরও প্রাকৃতিক সীমানা এবং উন্নত গুণমান-বিলম্ব ট্রেড-অফ উৎপাদন করে
কর্মক্ষমতা বৃদ্ধি: প্রায় ৩ সেকেন্ড বিলম্যে, তিনটি ভাষা দিকেই SHAS-এর তুলনায় ধারাবাহিক উন্নতি
ব্যবহারিক মূল্য: রিয়েল-টাইম একযোগে ব্যাখ্যায় পছন্দ-সুরক্ষিত LLM-এর সম্ভাবনা প্রমাণ করে
পেপারটি সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:
SHAS বিভাজন মডেল Tsiamas et al., 2022
SeamlessM4T অনুবাদ সিস্টেম Meta AI, 2023-2024
DPO অপ্টিমাইজেশন পদ্ধতি Rafailov et al., 2023
ACL 60/60 মূল্যায়ন বেঞ্চমার্ক Salesky et al., 2023
সামগ্রিক মূল্যায়ন: এটি একটি প্রযুক্তিগত উদ্ভাবনে সমৃদ্ধ পেপার, যা প্রথমবারের মতো পছন্দ অপ্টিমাইজেশন SimulST বিভাজন কাজে প্রবর্তন করে, যুক্তিসঙ্গত পদ্ধতি এবং প্রভাবশালী পরীক্ষামূলক ফলাফল সহ। যদিও তাত্ত্বিক বিশ্লেষণ এবং গণনামূলক দক্ষতার ক্ষেত্রে উন্নতির অবকাশ রয়েছে, তবুও এটি ক্ষেত্রের উন্নয়নে মূল্যবান অবদান এবং নতুন গবেষণা দিকনির্দেশনা প্রদান করে।