2025-11-19T02:46:12.920144

Beat Detection as Object Detection

Ahn, Jung

Recent beat and downbeat tracking models (e.g., RNNs, TCNs, Transformers) output frame-level activations. We propose reframing this task as object detection, where beats and downbeats are modeled as temporal "objects." Adapting the FCOS detector from computer vision to 1D audio, we replace its original backbone with WaveBeat's temporal feature extractor and add a Feature Pyramid Network to capture multi-scale temporal patterns. The model predicts overlapping beat/downbeat intervals with confidence scores, followed by non-maximum suppression (NMS) to select final predictions. This NMS step serves a similar role to DBNs in traditional trackers, but is simpler and less heuristic. Evaluated on standard music datasets, our approach achieves competitive results, showing that object detection techniques can effectively model musical beats with minimal adaptation.

academic

ビート追跡をオブジェクト検出として

基本情報

論文ID: 2510.14391
タイトル: Beat Tracking as Object Detection
著者: Jaehoon Ahn (Sogang University)、Moon-Ryul Jung (Sogang University)
分類: cs.SD (Sound)、cs.AI (Artificial Intelligence)、cs.LG (Machine Learning)
発表日時: 2025年10月16日 (arXivプレプリント)
論文リンク: https://arxiv.org/abs/2510.14391v1

要約

最近のビート追跡および強拍追跡モデル（RNN、TCN、Transformerなど）はフレームレベルの活性化値を出力します。本論文は、このタスクをオブジェクト検出問題として再定義し、ビートと強拍を時間的「オブジェクト」としてモデル化することを提案しています。コンピュータビジョンのFCOS検出器を1D音声に適応させ、元のバックボーンネットワークをWaveBeatの時間特徴抽出器に置き換え、マルチスケール時間パターンをキャプチャするための特徴ピラミッドネットワークを追加しました。モデルは重複するビート/強拍区間とその信頼度スコアを予測し、その後、非最大値抑制(NMS)を使用して最終予測を選択します。このNMSステップは従来の追跡器の動的ベイズネットワーク(DBN)と同様の役割を果たしますが、より単純で発見的ではありません。標準音楽データセットでの評価により、本手法は競争力のある結果を達成し、オブジェクト検出技術が最小限の適応で音楽ビートを効果的にモデル化できることを証明しています。

研究背景と動機

問題定義

ビート追跡は音楽情報検索(MIR)分野の重要な研究方向であり、ビートと強拍位置の計算予測を含みます。従来の方法は初期のオンセット検出から現代の機械学習技術（RNN、LSTM、TCN、Transformerなど）へと発展してきました。

既存手法の限界

後処理の複雑性：ほとんどの現代的なビート検出ネットワークはフレームごとの活性化関数を生成し、最終的なビート位置を生成するために動的ベイズネットワーク(DBN)を使用した後処理が必要です
DBNの欠陥：DBNはビート変化と拍子変化時に失敗しやすく、過度に発見的です
強拍検出の困難さ：ビート検出と比較して、強拍検出のパフォーマンスは一般的に低くなっています

研究動機

著者らは、ビート追跡を音声のオブジェクト検出の形式と見なすことができると考え、オブジェクト検出用に特別に設計されたニューラルネットワークを使用してビート追跡を改善し、特に強拍追跡のパフォーマンスを向上させることを試みました。

コア貢献

パラダイムの革新：ビート追跡を1D時間オブジェクト検出問題として初めて再定義し、ビートと強拍を時間区間オブジェクトとしてモデル化
アーキテクチャの適応：FCOS目標検出モデルを音声領域に成功裏に適応させ、元のResNet-50バックボーンをWaveBeatに置き換え
後処理の簡略化：従来のDBN後処理をNMSに置き換え、より単純で発見的でないソリューションを提供
パフォーマンスの向上：標準音楽データセットで競争力のある結果を達成し、特に強拍検出で優れたパフォーマンスを発揮

WaveBeatバックボーン：元のFCOSのResNet-50に代わり、生の音声波形を直接処理
特徴ピラミッドネットワーク(FPN)：マルチスケール時間パターンをキャプチャ
3ヘッド検出器：分類、回帰、leftness予測にそれぞれ使用

ビート区間表現

ビート区間：2つの連続するビート間の時間セグメント
強拍区間：2つの連続する強拍間の時間セグメント
重複表現：強拍は強拍区間と通常のビート区間の両方として表示

WaveBeatとFPNの統合

WaveBeatの最終畳み込みとシグモイド層を削除
最後の2つのTCNブロック(C7とC8)の出力をFPNのP7とP8層に渡す
メモリ制限により、元のFCOSの3つではなく、最後の2つのバックボーンブロック出力のみを使用

技術的革新

1. アンカー戦略

サイズ制限：各FPNレイヤーは特定の時間スケールの区間を担当
サブボックス戦略：対称的な中心領域ではなく、左バイアスサブボックスを使用し、区間の開始位置に焦点を当てる

2. Leftness機構

FCOSのcenternessに代わり、以下のように定義されます：

leftness1D(r) = √(rright / (rleft + rright))

ビート区間の中心ではなく左端を強調し、ビート位置決定の直感とより一致しています。

3. 損失関数

総損失は3つの部分で構成されます：

Lpoint(k,n) = Lcls(ck,n, ĉk,n, n) + 1{ck,n>0}Lreg(rk,n, r̂k,n, n) + 1{ck,n>0}Llft(rk,n, r̂k,n, n)

分類損失：focal loss
回帰損失：1D適応GIoU loss
Leftness損失：二値交差エントロピー損失

実験設定

データセット

WaveBeatと同じデータセットを使用：

訓練セット：Ballroom、Hainsworth、Beatles、RWC Popular
テストセット：GTZAN、SMC
音声フォーマット：22.05kHzサンプリングレート、2^21サンプル長(約1.6分)

評価指標

F1スコア：適合率と再現率の調和平均
CMLt (Continuity-based Metric allowing for Metrical Level Tolerance)：拍子レベルの許容度を考慮した連続性指標
AMLt (Accuracy-based Metric allowing for Metrical Level Tolerance)：拍子レベルの許容度を考慮した精度指標