2025-11-17T01:43:13.245415

Target speaker anonymization in multi-speaker recordings

Tomashenko, Yamagishi, Wang et al.

Most of the existing speaker anonymization research has focused on single-speaker audio, leading to the development of techniques and evaluation metrics optimized for such condition. This study addresses the significant challenge of speaker anonymization within multi-speaker conversational audio, specifically when only a single target speaker needs to be anonymized. This scenario is highly relevant in contexts like call centers, where customer privacy necessitates anonymizing only the customer's voice in interactions with operators. Conventional anonymization methods are often not suitable for this task. Moreover, current evaluation methodology does not allow us to accurately assess privacy protection and utility in this complex multi-speaker scenario. This work aims to bridge these gaps by exploring effective strategies for targeted speaker anonymization in conversational audio, highlighting potential problems in their development and proposing corresponding improved evaluation methodologies.

academic

マルチスピーカー録音における目標話者匿名化

基本情報

論文ID: 2510.09307
タイトル: Target Speaker Anonymization in Multi-Speaker Recordings
著者: Natalia Tomashenko¹, Junichi Yamagishi², Xin Wang², Yun Liu², Emmanuel Vincent¹
所属機関: ¹Université de Lorraine, CNRS, Inria, Loria, France; ²National Institute of Informatics, Tokyo, Japan
分類: eess.AS (音声・音響処理), cs.CL (計算言語学), cs.CR (暗号化とセキュリティ)
発表日: 2025年10月10日 (arXiv プレプリント)
論文リンク: https://arxiv.org/abs/2510.09307

要約

既存の話者匿名化研究は主にシングルスピーカー音声に焦点を当てており、その結果、技術と評価指標の両方がこの条件に最適化されている。本研究は、マルチスピーカー対話音声における話者匿名化の重大な課題に対処し、特に単一の目標話者のみを匿名化する必要があるシナリオに焦点を当てている。このシナリオはコールセンターなどの環境で極めて関連性が高く、顧客のプライバシーをオペレーターとのやり取りにおいて顧客の音声のみを匿名化することで保護する必要がある。従来の匿名化手法はこのタスクには適さないことが多い。さらに、現在の評価方法は、このような複雑なマルチスピーカーシナリオにおけるプライバシー保護と実用性を正確に評価することができない。本研究は、対話音声における効果的な目標話者匿名化戦略を探索することで、これらのギャップを埋めることを目指し、開発における潜在的な問題を明らかにし、改善された評価方法を提案する。

研究背景と動機

問題定義

本研究が対処する中核的な問題は、マルチスピーカー対話録音において特定の目標話者に対する選択的な匿名化を実施することであり、これは全く新しく、かつ挑戦的なタスクである。従来の話者匿名化技術は主にシングルスピーカー音声向けに設計されており、マルチスピーカーシナリオにおける選択的匿名化の要件に効果的に対応することができない。

重要性と応用価値

法的コンプライアンス要件: GDPRなどのプライバシー保護規制の実施に伴い、音声データのプライバシー保護が極めて重要になっている
実際の応用シナリオ: コールセンター、医療相談などのシナリオでは、サービス提供者の情報を保持しながら顧客のプライバシーを保護する必要がある
技術的課題: 音声データには豊富な個人情報（年齢、性別、健康状態、感情状態など）が含まれており、プライバシーを保護しながら言語内容を維持する必要がある

既存手法の限界

技術的限界: 既存の匿名化手法は、混合音声内の特定の話者に対して選択的に対応することができない
評価の不十分さ: マルチスピーカーシナリオに対するプライバシー保護と実用性の評価指標が不足している
応用の制限: 従来の手法は重複音声と複雑な対話シナリオにおいて効果が低い

核心的貢献

目標話者匿名化(TSA)フレームワークの提案: マルチスピーカー対話における選択的匿名化問題に初めて体系的に対処
包括的な評価方法の開発: マルチスピーカー匿名化シナリオに対するプライバシー保護と実用性の評価体系を確立
実験的検証と分析: 2つの最先端の目標話者抽出方法に基づいた包括的な実験的評価を実施
主要な課題の特定: このタスクの固有の制限と技術的課題を深く分析し、将来の研究に指針を提供

方法論の詳細

タスク定義

入力: 複数の話者を含む混合音声信号
出力: 目標話者のみを匿名化処理した混合音声
制約: 非目標話者の元の音声を保持し、全体的な対話の理解可能性と実用性を維持

モデルアーキテクチャ

TSAフレームワーク設計

TSAは3段階のパイプライン方式を採用している:

目標話者抽出(TSE):
- 事前学習された話者埋め込みベクトルを使用して目標話者を識別
- 複素値ソフトマスクを推定して目標話者の時間周波数スペクトラムを分離
- 混合音声から目標話者の音声セグメントを抽出
話者匿名化:
- 抽出された目標話者の音声のみを匿名化処理
- ベクトル量子化ボトルネック(VQ-BN)特徴に基づく匿名化システムを使用
- HiFi-GANネットワークで匿名化音声を合成
音声の再結合:
- 匿名化された目標話者の音声を元の非目標話者の音声と結合
- 最終的な部分匿名化混合音声を生成