2025-11-13T07:01:10.346871

Instant Skinned Gaussian Avatars for Web, Mobile and VR Applications

Kondo, Asano, Ochiai

We present Instant Skinned Gaussian Avatars, a real-time and cross-platform 3D avatar system. Many approaches have been proposed to animate Gaussian Splatting, but they often require camera arrays, long preprocessing times, or high-end GPUs. Some methods attempt to convert Gaussian Splatting into mesh-based representations, achieving lightweight performance but sacrificing visual fidelity. In contrast, our system efficiently animates Gaussian Splatting by leveraging parallel splat-wise processing to dynamically follow the underlying skinned mesh in real time while preserving high visual fidelity. From smartphone-based 3D scanning to on-device preprocessing, the entire process takes just around five minutes, with the avatar generation step itself completed in only about 30 seconds. Our system enables users to instantly transform their real-world appearance into a 3D avatar, making it ideal for seamless integration with social media and metaverse applications. Website: https://sites.google.com/view/gaussian-vrm

academic

ウェブ、モバイル、VRアプリケーション向けインスタントスキンドガウシアンアバター

基本情報

論文ID: 2510.13978
タイトル: Instant Skinned Gaussian Avatars for Web, Mobile and VR Applications
著者: 近藤成也、浅野勇人、落合陽一（筑波大学）
分類: cs.CG（コンピュータグラフィックス）
発表時期/会議: SUI '25（ACM Symposium on Spatial User Interaction）、2025年11月10～11日、カナダ・モントリオール
論文リンク: https://arxiv.org/abs/2510.13978

要旨

本論文は、リアルタイムクロスプラットフォーム3Dアバターシステムである「Instant Skinned Gaussian Avatars」を提案する。既存のガウシアンスプラッティングアニメーション手法は、通常、カメラアレイ、長時間の前処理、または高性能GPUを必要とする。メッシュベースの表現へのガウシアンスプラッティング変換を試みる手法も存在するが、軽量なパフォーマンスを実現する一方で、視覚的忠実度を犠牲にしている。これに対し、本システムは並列スプラット処理を通じてガウシアンスプラッティングを効率的にアニメーション化し、基礎となるスキンメッシュの動的変化にリアルタイムで追従しながら、高い視覚的忠実度を維持する。スマートフォンベースの3Dスキャンからデバイス上の前処理まで、全体プロセスはわずか約5分で完了し、アバター生成ステップ自体は約30秒で完了する。本システムにより、ユーザーは現実世界の外観を瞬時に3Dアバターに変換でき、ソーシャルメディアおよびメタバースアプリケーションとのシームレスな統合に非常に適している。

研究背景と動機

問題定義

従来の3D人物アバター作成は、手動モデリングまたはフォトグラメトリパイプラインに依存しており、これらの手法は時間と労力がかかるか、専門的な機器を必要とするかのいずれかである。ガウシアンスプラッティング技術は高忠実度シーン再構成とリアルタイムレンダリングで優れた性能を示しているが、既存のガウシアンスプラッティングアニメーション手法には以下の制限がある：

ハードウェア要件が高い：カメラアレイ、高性能GPUなどの高価な機器が必要
前処理時間が長い：ExAvatarは2～3時間の前処理時間を必要とする
視覚的忠実度の喪失：メッシュ表現への変換により表現力が低下
アクセシビリティが低い：一般ユーザーの使用が困難

研究の意義

本研究は3Dアバター作成のアクセシビリティ問題を解決し、一般ユーザーが迅速かつ便利に高品質の3Dアバターを作成できるようにすることを目指しており、以下の点で重要である：

ソーシャルメディアアプリケーションの普及
メタバースプラットフォームのユーザー体験
仮想会議およびデジタルツイン応用
モバイルデバイス上のAR/VR体験

主要な貢献

高速アバター生成システム：スキャンからアバター作成までわずか5分で完了する完全なフローを提案し、コア生成ステップはわずか30秒
効率的なアニメーション手法：並列スプラット処理を通じてガウシアンスプラッティングのリアルタイムアニメーションを実現し、高い視覚的忠実度を維持
クロスプラットフォーム互換性：WebXRベースの実装により、モバイルデバイス、VRヘッドセット、ウェブプラットフォームをサポート
モバイルデバイス最適化：モバイルデバイスのパフォーマンス向けに特別に最適化され、iPhone 13 Proで40～50 fpsを達成

手法の詳細

タスク定義

入力：単一カメラで撮影した短動画（Scaniverse アプリケーション経由）出力：リアルタイムアニメーション可能な高忠実度3Dアバター 制約条件：

モバイルデバイス互換性
リアルタイムレンダリングパフォーマンス
視覚的忠実度の維持

システムアーキテクチャ

核心的な考え方

システムの核心的な考え方は、ガウシアンスプラットが背景3Dメッシュの頂点運動に追従することである。前処理段階では、スプラットをメッシュ頂点に割り当て、相対変換関係を保存する。実行時には、背景メッシュをアニメーション化し、ガウシアンスプラット位置を並列更新することでリアルタイムアニメーションを実現する。