2025-11-14T21:31:11.905402

Energy-Efficient Hardware Acceleration of Whisper ASR on a CGLA

Ando, Eto, Takeuchi et al.
The rise of generative AI for tasks like Automatic Speech Recognition (ASR) has created a critical energy consumption challenge. While ASICs offer high efficiency, they lack the programmability to adapt to evolving algorithms. To address this trade-off, we implement and evaluate Whisper's core computational kernel on the IMAX, a general-purpose Coarse-Grained Linear Arrays (CGLAs) accelerator. To our knowledge, this is the first work to execute a Whisper kernel on a CGRA and compare its performance against CPUs and GPUs. Using hardware/software co-design, we evaluate our system via an FPGA prototype and project performance for a 28 nm ASIC. Our results demonstrate superior energy efficiency. The projected ASIC is 1.90x more energy-efficient than the NVIDIA Jetson AGX Orin and 9.83x more than an NVIDIA RTX 4090 for the Q8_0 model. This work positions CGLA as a promising platform for sustainable ASR on power-constrained edge devices.
academic

Whisper ASRのCGLA上でのエネルギー効率的ハードウェアアクセラレーション

基本情報

  • 論文ID: 2511.02269
  • タイトル: Energy-Efficient Hardware Acceleration of Whisper ASR on a CGLA
  • 著者: 安藤琢人、江藤勇、武内歩夢、中島康彦（奈良先端科学技術大学院大学）
  • 分類: cs.AR（コンピュータアーキテクチャ）
  • 発表日時: 2025年11月4日（arXiv投稿）
  • 論文リンク: https://arxiv.org/abs/2511.02269

概要

生成型AIの自動音声認識（ASR）などのタスクへの応用に伴い、深刻なエネルギー消費の課題が生じている。ASICは高い効率を提供する一方で、アルゴリズムの進化に適応するプログラマビリティに欠ける。このトレードオフを解決するため、本論文ではIMAX（汎用粗粒度線形アレイCGLAアクセラレータ）上にWhisperのコア計算カーネルを実装・評価した。著者の知見では、これはCGRA上でWhisperカーネルを実行し、CPUおよびGPUと性能比較した初めての研究である。ハードウェア/ソフトウェア協調設計を通じて、FPGA原型で評価し、28nm ASICの性能を予測した。結果は優れたエネルギー効率を示している：Q8_0モデルについて、予測されたASICはNVIDIA Jetson AGX Orinより1.90倍、NVIDIA RTX 4090より9.83倍エネルギー効率が高い。本研究はCGLAを電力制限のあるエッジデバイス上での持続可能なASRの有望なプラットフォームとして位置付けている。

研究背景と動機

1. 解決すべき問題

本研究は、AI駆動の自動音声認識システムが直面するエネルギー消費危機に対処している。Whisperなどの先進的なASRモデルの広範な応用（スマートアシスタント、リアルタイム文字起こし、医療応用）に伴い、その計算要求によってデータセンターのエネルギー消費が急速に増加している。国際エネルギー機関は、2030年までにデータセンターの電力消費が945 TWhに倍増する可能性があると予測しており、これは日本の年間総電力消費量をわずかに上回っている。

2. 問題の重要性

  • エネルギー持続可能性の危機: AI基盤施設は高消費電力のGPGPUに大きく依存しており、単一の汎用アーキテクチャのエネルギー効率は低く、持続不可能である
  • エッジデバイスの需要: 電力制限のあるエッジデバイス（スマートフォン、IoTデバイスなど）は、高エネルギー効率のASRソリューションを必要としている
  • アルゴリズムの急速な進化: AIアルゴリズムは継続的に更新されており、効率性と柔軟性の両立が可能なハードウェアプラットフォームが必要である

3. 既存手法の限界

  • ASIC専用アクセラレータ: エネルギー効率は極めて高いが、プログラマビリティに欠け、急速に進化するアルゴリズムへの適応が困難であり、アクセラレータハードウェアが時代遅れになる
  • FPGA方式: 特定のモデル（CNN、Transformerなど）に最適化されているが、専用性が高く、移植性が低い
  • GPU方式: 高性能と柔軟性を提供するが、消費電力が高く、エッジデバイスには不適切である

4. 研究動機

著者はCGLA（粗粒度線形アレイ）アーキテクチャのIMAXアクセラレータを使用することを提案し、ASICのエネルギー効率とGPGPUのプログラマビリティの間の最適なバランスポイントを見つけることを試みている。IMAXは線形に配列された処理ユニット（PE）とローカルメモリモジュール（LMM）を通じて、不規則なメモリアクセスパターンを吸収しながら、高スループットとエネルギー効率を維持することができる。

コア貢献

  1. 初の実装: CGRAアーキテクチャ上でWhisper ASRカーネルを初めて実装・評価し、動的可変長ワークロードを処理するハードウェア/ソフトウェア協調設計の原則を確立した
  2. 優れたエネルギー効率: FPGA原型に基づく推定により、最適化された28nm ASIC構成がQ8_0量化モデル上で優れたエネルギー効率を実現し、Jetson AGX Orinより1.90倍、RTX 4090より9.83倍高い
  3. アーキテクチャ最適化分析: LMM サイズと全体的なエネルギー効率のトレードオフを体系的に分析し、32KB LMM構成が最大カーネルカバレッジと最小静的消費電力オーバーヘッドの間で最適なバランスを達成することを証明した
  4. スケーラビリティ検証: より大きなWhisperモデル（base、small）への適用可能性を実証し、アーキテクチャのスケーラビリティ潜力を証明した

方法の詳細

タスク定義

目標: IMAX CGLAアクセラレータ上でWhisper ASRモデルのコア計算カーネル（主にドット積演算）を効率的に実行する

入力: 約10秒の音声ファイル（jfk.wav）

出力: テキスト転写結果

制約条件:

  • 電力制限のあるエッジデバイスシナリオ
  • 可変長ベクトルの処理が必要
  • エネルギー効率とパフォーマンスのバランスが必要

モデルアーキテクチャ

1. IMAX3システムアーキテクチャ

図2に示すように、IMAX3は8チャネル構成として実装され、AMD Versal VPK180 FPGA上に展開されている：

  • 処理システム（PS）: ARM Cortex-A72デュアルコアCPU
  • プログラマブルロジック（PL）: CGLAコアをホストする
  • 相互接続: NoC（ネットワーク・オン・チップ）を通じてPSとPLを接続
  • メモリ: OS バッファ用8GB DDR4、DMA バッファ用4GB DDR4

2. IMAXチャネル内部構造（図3）

各IMAXチャネルには以下が含まれる：

  • 処理ユニット（PE）: パイプライン化されたALUとローカルメモリモジュール（LMM）
  • 線形アレイ構造: PEとLMMが戦略的に交互配置されている
  • データパス: 実行データパスとメモリデータパスが分離されている
  • DMAインターフェース: AXI DMA読み書きインターフェース

3. Whisper処理フロー（図1）

  • 特徴抽出: メル分光図生成
  • エンコーダ: マルチヘッドアテンション及びフィードフォワードネットワーク（主な計算負荷）
  • デコーダ: 自己回帰テキスト生成
  • アクセラレーション重点: ドット積カーネル（エンコーダとデコーダの計算コア）

技術的革新点

1. カーネルレベルの協調設計

FP16ドット積カーネル最適化:

  • インライン型変換: IMAXのプログラマビリティを活用し、PEのビット操作能力を通じてFP16からFP32への変換を実行し、専用ハードウェアを回避する
  • SIMD操作: FMA ユニット上でSIMDを適用し、単一の64ビットデータパス上で2つの32ビット操作を並行実行する
  • 列式マルチスレッド: 列式マルチスレッドを採用して、4つの論理FMA操作を単一の物理FPUに時分割多重化し、FPU遅延を隠蔽する

ハイブリッド実行戦略（可変長ベクトル処理）:

  • 各ベクトルを2つのセグメントに分割：メインセグメント（バースト長の倍数）はIMAX上で処理；残余セグメントはホストCPU上で並行処理
  • バースト長は16要素に選択（Whisperベクトル長分布分析に基づく）
  • CPU残余処理は総計算量の約5%のみを占める

Q8_0カーネル: 先行研究の量化カーネル実装を再利用

2. データ処理とLMM構成最適化

パディング除去技術:

  • whisper.cpp内のFP16テンソルは32バイトアライメント要件を満たすため大量のパディングを含む
  • ホストCPUはDMA転送前にすべてのパディングを削除し、データを密に詰め込む
  • 効果は顕著：表Iに示すように、FP16モデルについて、ベースライン構成では32KB LMMは1.39%のカーネルのみを収容できるが、最適化後のカバレッジは93.80%に向上する

LMM サイズ選択（表II）:

  • 論理合成に基づく消費電力推定（Synopsys Design Compiler、TSMC 28nmプロセス）
  • FP16カーネル：16KB LMM消費電力0.665W、32KBは0.675W（増加は無視できる）
  • カーネルカバレッジ：16KBは66.35%をカバー、32KBは93.80%をカバー
  • 最適選択: 32KB LMMはパフォーマンス向上と消費電力増加の間で最適なバランスを達成する

3. ハードウェア/ソフトウェア協調設計目標

  • 計算スループット最大化: IMAXの並列処理能力を十分に活用する
  • データ転送効率最大化: 有効メモリ帯域幅を向上させ、LMMを効率的に利用する

実験設定

データセット

  • 音声ファイル: whisper.cpp標準テストファイルjfk.wav（約10秒）
  • モデル: Whisper-tiny.enモデル（78MB）
    • FP16バージョン
    • Q8_0量化バージョン

評価指標

  1. エンドツーエンド遅延: gettimeofday関数を使用して壁時計時間を測定（マイクロ秒精度）
  2. 消費電力:
    • IMAX: 論理合成推定値
    • CPU: 推定値
    • GPU: 公称熱設計電力（TDP）
  3. 電力遅延積（PDP）: PDP = 実行時間 × 消費電力
    • エネルギー効率を総合的に評価するための重要指標
    • 値が低いほどエネルギー効率が高い

比較方法

表IIIに示すように、比較プラットフォームには以下が含まれる：

  1. ARM Cortex-A72（組み込みCPU）
    • 2コア、1400 MHz
    • 消費電力: 0.6485W
  2. NVIDIA Jetson AGX Orin 32GB（エッジGPU）
    • 1792 CUDAコア、930 MHz
    • 消費電力: 15W（最低消費電力モード）
  3. NVIDIA GeForce RTX 4090（ハイエンドGPU）
    • 16384 CUDAコア、2520 MHz
    • 消費電力: 450W（TDP）
  4. IMAX3（FPGA原型）
    • 64 PE、145 MHz
    • 消費電力: 180W（FPGA全体システム）
  5. IMAX3（28nm ASIC予測）
    • 64 PE、840 MHz（6倍周波数向上）
    • 消費電力: 0.647W（FP16）/ 1.32W（Q8_0）、シングルチャネル32KB LMM構成

実装詳細

  • FPGAツール: Vivado 2024.1
  • 合成ツール: Synopsys Design Compiler
  • プロセス技術ライブラリ: TSMC 28nm
  • FPGA周波数: 140 MHz
  • ASIC予測周波数: 840 MHz（静的タイミング分析で検証）
  • 評価構成: 1チャネルおよび2チャネル構成
  • ホストスレッド数: 1～2スレッド変動

実験結果

主要結果

1. エンドツーエンド遅延比較（図4）

FP16モデル（2スレッド実行）:

  • ARM Cortex-A72: 24.4秒
  • IMAX（FPGA 2レーン）: 約21秒
  • IMAX（28nm ASIC 2レーン）: 13.5秒
  • Jetson AGX Orin: 1.6秒
  • RTX 4090: 0.49秒

Q8_0モデル（2スレッド実行）:

  • ARM Cortex-A72: 19.6秒
  • IMAX（FPGA 2レーン）: 約17秒
  • IMAX（28nm ASIC 2レーン）: 11.1秒
  • Jetson AGX Orin: 1.6秒
  • RTX 4090: 0.50秒

分析: IMAX ASICは組み込みCPU実装と比較して明らかな高速化を実現しているが、絶対速度はGPUに及ばない（GPUは大規模並列計算リソースを保有）

2. エネルギー効率比較（PDP、図5）

FP16モデル（2スレッド実行）:

  • ARM Cortex-A72: 15.8 J
  • IMAX（28nm ASIC 2レーン）: 13.6 J
  • Jetson AGX Orin: 24.0 J
  • RTX 4090: 120.1 J

Q8_0モデル（2スレッド実行）:

  • ARM Cortex-A72: 12.7 J
  • IMAX（28nm ASIC 2レーン）: 12.6 J ✓ 最適
  • Jetson AGX Orin: 24.0 J
  • RTX 4090: 123.8 J

重要な発見:

  • IMAX（28nm ASIC）Q8_0モデルのエネルギー効率はJetson AGX Orinより1.90倍高い
  • RTX 4090より9.83倍高い
  • FP16モデルと比較して、Q8_0量化によってエネルギー効率がさらに向上する

アブレーション実験

1. LMM サイズ最適化（図6）

FP16モデルPDP（2スレッド）:

  • 16KB LMM: 約15 J
  • 32KB LMM: 13.6 J ✓ 最適
  • 64KB LMM: 約14 J
  • 128KB LMM: 約15 J

Q8_0モデルPDP（2スレッド）:

  • 16KB LMM: 約14 J
  • 32KB LMM: 12.6 J ✓ 最適
  • 64KB LMM: 約13.5 J
  • 128KB LMM: 約15 J

分析:

  • 16KB: 遅延とPDPが悪い（CPUが不適切なカーネルを処理する必要がある）
  • 32KB: PDP最小値に達する（最適バランスポイント）
  • 64KB/128KB: 遅延はわずかに改善されるが静的消費電力が増加し、PDPは悪化する

結論: 32KB LMMはエネルギー効率が最適な構成であり、設計選択の正確性を検証している

2. 計算効率検証（図7）

実行時間分解:

  • EXEC（PE純粋計算）: FP16で60.89%、Q8_0で74.70%
  • LOAD/DRAIN（DRAMとLMM間のデータ転送）: 相対的に小さい
  • CONF/REGV/RANGE/REFILL（IMAX構成）: 相対的に小さい

重要な洞察:

  • 高いEXEC比率はIMAXが計算制限状態にあることを示す（メモリ制限ではない）
  • データ移動オーバーヘッドを効果的に軽減している
  • IMAXの高スループット潜力を効果的に解放している

スケーラビリティ分析（表IV）

より大きなモデルのカーネルカバレッジ（最適化後）:

モデルサイズ操作数32KBカバレッジ64KBカバレッジ
tiny78MB477,15393.80%93.80%
base148MB644,69066.54%94.17%
small488MB1,920,95566.52%94.36%

発見:

  • 計算負荷は大幅に増加しているが、単一操作のメモリ占有量は比例して増加していない
  • 64KB LMMはbaseおよびsmallモデルのカーネルの94%以上をカバーできる
  • より大きなモデルに対するアーキテクチャの良好なスケーラビリティを証明している
  • 静的消費電力増加とパフォーマンス向上の間でバランスを取る必要がある

関連研究

1. AIハードウェアアクセラレータ

専用化アプローチ（ASIC/FPGA）:

  • Park等: スマートフォン言語モデルのCNNとFPGAハイブリッドシステム
  • Hu等: GCNNモデル専用FPGAアクセラレータ
  • Yamini等: 脈動アレイを使用したエンドツーエンドTransformer ASRアクセラレーション
  • 限界: 特定のモデルに最適化され、柔軟性が低く、アルゴリズム進化への適応が困難

本論文の利点: IMAXは汎用アーキテクチャであり、特定のAIタスクに拘束されず、アルゴリズム変化に迅速に適応できる

2. CGRAアーキテクチャの進化

従来のCGRA課題:

  • スケーラビリティの問題
  • 長い合成時間

IMAX革新:

  • CGLA（粗粒度線形アレイ）の進化に基づく
  • PEとLMMが線形に交互配置されている
  • 不規則なメモリアクセス遅延を効果的に隠蔽する

先行IMAX応用:

  • 計算集約的カーネル: SpGEMM、FFT
  • 現代的なAIワークロード: CNN、LLM、近似k-NN検索（RAG）
  • 本論文の拡張: ASRタスクのドット積操作への初の応用

3. Whisperハードウェア実装

著者の知見では、本論文はWhisperのCGRA上でのハードウェア実装と評価に関する初めての研究であり、この分野の空白を埋めている。

結論と考察

主要な結論

  1. 初の実装: CGLAアーキテクチャ上でWhisper ASRカーネルの実装に成功し、ハードウェア/ソフトウェア協調設計の方法論を確立した
  2. エネルギー効率の利点: 28nm ASIC予測はQ8_0モデル上でPDP 12.6Jを示し、エッジGPU（Jetson AGX Orin）より1.90倍、ハイエンドGPU（RTX 4090）より9.83倍エネルギー効率が高い
  3. 設計トレードオフ: 絶対遅延はGPUに及ばないが、電力制限のあるエッジアプリケーションでは、エネルギー効率が低遅延よりも重要である
  4. アーキテクチャ洞察: 32KB LMM構成はカーネルカバレッジと静的消費電力の間で最適なバランスを達成している
  5. スケーラビリティ: より大きなWhisperモデル（base、small）への適用可能性を証明した

限界

  1. 消費電力評価方法:
    • GPUは公称TDPを使用し、実測平均消費電力を使用していない
    • TDPはピーク消費電力を表し、ワークロード平均消費電力ではない
    • 結果はアーキテクチャ潜力指標として見なすべきであり、確定的な優位性の尺度ではない
    • 正確な比較のために実測平均消費電力が必要である
  2. パフォーマンスの絶対値:
    • IMAX遅延はGPUより大幅に高い（ASIC予測13.5秒対GPU 0.49秒）
    • 遅延に極度に敏感なリアルタイムアプリケーションには不適切である
  3. モデル範囲:
    • Whisper-tiny.enモデルのみを評価した
    • より大きなモデル（base、small）は理論的分析のみで、実装されていない
  4. ASIC実装:
    • 28nm ASIC性能は合成推定と周波数推測に基づいている
    • 実際のテープアウト検証が行われていない
  5. 単一ワークロード:
    • 10秒の音声ファイルのみをテストした
    • 異なる長さ、言語、ノイズ環境での堅牢性を評価していない

今後の方向性

  1. より大きなモデルへの拡張: Whisper baseおよびsmallモデルの実装と評価、消費電力とパフォーマンスのバランス最適化
  2. さらなるカーネル最適化: 計算ユニット数などのアーキテクチャパラメータの調整
  3. 実際のASICテープアウト: 28nm ASIC予測の正確性を検証する
  4. 消費電力の正確な測定: TDPではなく実測平均消費電力を使用した公正な比較
  5. 多様なワークロード: 異なる長さの音声、多言語、ノイズ環境でのパフォーマンス評価

深度評価

利点

  1. 革新性が強い:
    • Whisper ASRをCGRAアーキテクチャに初めてマッピング
    • ASRハードウェアアクセラレーション分野の重要な空白を埋める
    • 可変長ベクトルを処理するハイブリッド実行戦略を提案
  2. 体系的な方法論:
    • 完全なハードウェア/ソフトウェア協調設計プロセス
    • カーネル最適化からデータ処理からアーキテクチャパラメータ調整までの包括的な考慮
    • パディング除去技術がLMM利用率を大幅に向上（1.39%→93.80%）
  3. 十分な実験:
    • 複数プラットフォーム比較（CPU、エッジGPU、ハイエンドGPU、FPGA、ASIC予測）
    • 詳細なアブレーション実験（LMM サイズ、実行時間分解）
    • スケーラビリティ分析（より大きなモデルの理論検証）
  4. 実用的価値が高い:
    • エッジデバイスのエネルギー効率最適化は重要な現実的意義を持つ
    • バッテリー駆動時間と熱管理が重要なシナリオで明らかな利点
    • CGLAの汎用性はアルゴリズム進化への適応能力を保証する
  5. 技術詳細が明確:
    • FP16カーネルのSIMDおよびマルチスレッド最適化を詳細に説明
    • ハイブリッド実行戦略のバースト長選択にはデータサポートがある
    • アーキテクチャ図とデータフロー図が明確で理解しやすい

不足点

  1. 消費電力比較が不公正:
    • GPUの実測消費電力ではなくTDPを使用することは重大な方法論的欠陥である
    • エネルギー効率優位性の主張の信頼性を損なう
    • 実測消費電力データで補完する必要がある
  2. パフォーマンス差が顕著:
    • ASIC予測遅延はGPUの27倍（13.5秒対0.49秒）
    • 実際のアプリケーションシナリオを制限する（リアルタイムインタラクションに不適切）
    • 遅延に敏感なシナリオでの応用方法について十分に議論していない
  3. ASIC検証が不十分:
    • 840MHz周波数は合成推定に基づき、物理設計検証を経ていない
    • 6倍周波数向上の合理性にはより多くのサポートが必要である
    • レイアウト・ルーティング後の実際の消費電力とタイミングデータが不足している
  4. 評価範囲が限定的:
    • 単一の10秒音声ファイルのみをテストした
    • 異なるシナリオ（ノイズ、口音、長音声）での堅牢性評価が不足している
    • モデル精度を評価していない（パフォーマンスとエネルギー効率のみに焦点）
  5. 再現性の課題:
    • IMAX3は専有アーキテクチャであり、外部研究者が再現することは困難である
    • FPGA実装の具体的な構成詳細が十分ではない
    • コードとモデルが公開されていない
  6. 理論分析が不十分:
    • エネルギー効率優位性の理論的上限分析が不足している
    • CGLAがASRタスクに特に適している理由を深く分析していない
    • ハイブリッド実行戦略の5%残余処理オーバーヘッドの理論的導出が不足している

影響力

  1. 学術的貢献:
    • WhisperのCGRA上での研究方向を開拓した
    • ASRハードウェアアクセラレーションに新しいアーキテクチャ選択肢を提供
    • ハードウェア/ソフトウェア協調設計方法論は参考価値がある
  2. 実用的価値:
    • エッジAIデバイス製造業者に重要な参考意義
    • IoT、ウェアラブルデバイスなどの電力制限シナリオで大きな可能性
    • 持続可能なAIの技術的パスを提供する
  3. 限界:
    • IMAX専有アーキテクチャは広範な応用を制限する
    • パフォーマンス差はGPUの主流ソリューション代替を困難にする
    • 商業的実現可能性の検証には実際のテープアウトが必要である

適用シナリオ

最も適切:

  • 電力制限のあるエッジデバイス（スマートウォッチ、補聴器、IoTデバイス）
  • 遅延許容度が高いが、エネルギー効率要件が極めて高いアプリケーション
  • オフラインASRが必要で、バッテリー駆動時間が重要なシナリオ
  • 熱管理が厳格な組み込みシステム

不適切:

  • リアルタイムインタラクティブアプリケーション（音声アシスタントなど）
  • 遅延に敏感なシナリオ（ミリ秒レベルの応答が必要）
  • 十分な電源供給があるデータセンターシナリオ
  • 超長音声処理が必要なバッチ処理タスク

参考文献

本論文は27篇の重要な文献を引用しており、主要な参考文献には以下が含まれる：

  1. Whisper原論文: Radford et al., "Robust Speech Recognition via Large-Scale Weak Supervision"（2022）
  2. whisper.cpp実装: Gerganov、GitHub オープンソースプロジェクト（2023）
  3. IMAXアーキテクチャ: Akabe et al., "IMAX: A power-efficient multilevel pipelined cgla and applications" IEEE Access（2025）
  4. CGRA総説: Torng et al., "Ultra-Elastic CGRAs for Irregular Loop Specialization" HPCA（2021）
  5. エネルギー予測: IEA、"Energy and AI"（2025）

総括

本論文はASRハードウェアアクセラレーション分野における革新的な研究であり、Whisperモデル上でのCGLAアーキテクチャの応用を初めて探索している。体系的なハードウェア/ソフトウェア協調設計を通じて、著者はIMAXがGPUと比較してエネルギー効率面で顕著な優位性を有することを証明した（Q8_0モデルでRTX 4090より9.83倍高い）。消費電力評価方法が十分に厳密でなく、パフォーマンスの絶対値がGPUに及ばないなどの限界が存在するが、電力制限のあるエッジデバイスシナリオでは、本手法は重要な実用的価値と研究的意義を持つ。32KB LMMの最適構成選択、パディング除去技術による93.80%のカーネルカバレッジ向上、およびより大きなモデルへのスケーラビリティ分析は、著者の深い工学的洞察を示している。将来、実際のASICテープアウト検証と正確な消費電力測定が実施されれば、本研究の説得力と影響力がさらに向上するであろう。