2025-11-17T02:58:13.321681

Image-based Facial Rig Inversion

Yang, Volino, Mustafa et al.

We present an image-based rig inversion framework that leverages two modalities: RGB appearance and RGB-encoded normal maps. Each modality is processed by an independent Hiera transformer backbone, and the extracted features are fused to regress 102 rig parameters derived from the Facial Action Coding System (FACS). Experiments on synthetic and scanned datasets demonstrate that the method generalizes to scanned data, producing faithful reconstructions.

academic

画像ベース顔部リグ逆変換

基本情報

論文ID: 2510.13933
タイトル: Image-based Facial Rig Inversion
著者: Tianxiang Yang, Marco Volino, Armin Mustafa, Greg Maguire, Robert Kosk
所属機関: University of Surrey & Humain Ltd.
分類: eess.IV (画像およびビデオ処理)
発表日: 2025年10月15日
論文リンク: https://arxiv.org/abs/2510.13933v1

概要

本論文は、RGB外観画像とRGBエンコード法線図の2つのモダリティを活用した画像ベース顔部リグ逆変換フレームワークを提案する。各モダリティは独立したHiera transformerバックボーンネットワークで処理され、抽出された特徴は融合後、顔面動作符号化システム(FACS)に基づく102個のリグパラメータに回帰される。合成およびスキャンデータセット上の実験により、本手法がスキャンデータへの汎化能力を有し、忠実な再構成結果を生成することが実証される。

研究背景と動機

問題定義

顔部リグ逆変換(Facial Rig Inversion)は、視覚入力からリグ制御パラメータを正確に復元するプロセスであり、アニメーション制作、仮想アバター、モーションキャプチャパイプラインにおいて重要な役割を果たし、制作資産の直接制御を可能にする。

研究の重要性

アニメーション制作の需要: 現代のアニメーション制作において、顔表情の正確な制御はリアルなキャラクターアニメーション実現の鍵である
仮想アバター応用: メタバースおよび仮想現実技術の発展に伴い、リアルタイムで正確な顔表情キャプチャがますます重要になっている
モーションキャプチャパイプライン: 映画やゲームなどのエンターテインメント産業に高品質の顔アニメーション制作ツールを提供する

既存手法の限界

初期手法: 統計的またはリグレッションモデルに依存し、アニメータが作成したデータで訓練されるため、汎化能力が限定的である
メッシュベース手法: 情報が豊富である一方、構造化されたトポロジーに限定され、スキャンデータへの適応性が低い
画像領域の探索不足: 先行研究の大多数はメッシュレベルの特徴に依存しており、画像入力に基づくアプローチはまだ十分に探索されていない

研究動機

画像領域入力はスキャンデータへの汎化という利点を提供し、この方向は重要な実用的価値を有しながらも研究が不足しているため、本論文は画像ベース顔部リグ逆変換手法の開発に焦点を当てる。

核心的貢献

デュアルモダリティ画像処理フレームワーク: RGB外観画像とRGBエンコード法線図を組み合わせたデュアルブランチネットワークアーキテクチャを初めて提案
Hiera transformerの応用: 最新のHiera視覚transformerを顔部リグ逆変換タスクに適用
マルチ監督学習戦略: リグパラメータ空間と3Dメッシュ空間の両方で監督を実施し、数値精度と幾何学的一貫性を確保
スキャンデータへの汎化: 実スキャンデータ上での手法の汎化能力を検証し、研究ギャップを埋める

手法の詳細

タスク定義

外観画像 $I_a$ と法線図 $I_n$ が与えられたとき、関数 $f_θ : (I_a, I_n) → p ∈ R^{102}$ を学習する。ここで $p$ はターゲットリグの制御パラメータを表す。

モデルアーキテクチャ

全体設計

図1に示すように、提案されたデュアルブランチネットワークアーキテクチャは以下の核心コンポーネントを含む:

デュアルブランチ特徴抽出:
- RGBブランチは外観画像を処理し、テクスチャと照明情報をキャプチャ
- 法線図ブランチは幾何情報を処理し、各ピクセルの表面方向を記述
Hieraバックボーンネットワーク:
- 各ブランチは独立したHiera transformerバックボーンネットワークを使用
- 入力解像度は事前訓練の224×224から512×512に向上し、細粒度の顔特徴を保持
- 最初の3つのエンコーディング段階は低レベル特徴を保持するため固定、最終段階は訓練可能
特徴融合と回帰:
- 抽出された特徴は連結後、多層パーセプトロン(MLP)回帰ヘッドに入力
- 102個のFACS派生リグ制御パラメータを出力
プログラマティックリグデコーディング:
- PyTorchで実装されたプログラマティックリグがパラメータを3Dメッシュにデコード
- カスタムMaya顔部リグを反映してメッシュ再構成を実施

技術的詳細

画像前処理: すべての画像を512×512ピクセルに調整、中央クロップしImageNet統計量で正規化
法線図エンコーディング: 接線空間でエンコード、-1,1範囲の表面法線を0,255 RGB範囲にマッピング
レンダリング設定: 固定解像度、一定のカメラ姿勢、一貫した3点照明

技術的革新点

マルチモダリティ融合戦略: 外観と幾何情報を巧みに組み合わせ、相補性が強い
高解像度処理: 512×512入力は微妙な表情変化をキャプチャするために必要な細粒度テクスチャと幾何学的手がかりを保持
部分的固定戦略: 事前訓練モデルの低レベル特徴層を固定し、汎用視覚表現を保持しながらタスク固有の適応を実現
デュアル監督メカニズム: パラメータ空間とメッシュ空間の結合監督により、予測の妥当性を確保

実験設定

データセット

訓練セット

合成データ: 変形転送(DT)ブレンド形状リグを使用して生成
パラメータ活性化戦略: 各リグパラメータを独立に活性化、加えて20個の手動で組み合わせた標準表情を追加
データ拡張:
- パラメータのランダムドロップ、追加、置換により実際のパフォーマンス変化をシミュレート
- 正規分布からパラメータ値をサンプリングして異なる強度を作成
- 剛体変換拡張によりスキャンデータの微妙なミスアライメントへの堅牢性を向上
規模: 22,575個の訓練サンプル