Avatars Gaussiens Skinés Instantanés pour Applications Web, Mobile et VR

Informations Fondamentales

• ID de l'article : 2510.13978
• Titre : Instant Skinned Gaussian Avatars for Web, Mobile and VR Applications
• Auteurs : Naruya Kondo, Yuto Asano, Yoichi Ochiai (Université de Tsukuba)
• Classification : cs.CG (Infographie)
• Date de publication/Conférence : SUI '25 (Symposium ACM sur l'Interaction Spatiale Utilisateur), 10-11 novembre 2025, Montréal, QC, Canada
• Lien de l'article : https://arxiv.org/abs/2510.13978

Résumé

Cet article propose les Avatars Gaussiens Skinés Instantanés, un système d'avatars 3D temps réel multiplateforme. Les méthodes d'animation Gaussian Splatting existantes nécessitent généralement des réseaux de caméras, un long prétraitement ou des GPU haut de gamme. Certaines approches tentent de convertir Gaussian Splatting en représentations basées sur des mailles, ce qui réalise des performances légères mais sacrifie la fidélité visuelle. En contraste, ce système anime efficacement Gaussian Splatting par traitement parallèle des splats, suivant en temps réel les changements dynamiques de la maille skinée sous-jacente, tout en maintenant une haute fidélité visuelle. Du balayage 3D basé sur smartphone au prétraitement sur appareil, l'ensemble du processus ne nécessite qu'environ 5 minutes, l'étape de génération d'avatar elle-même ne prenant qu'environ 30 secondes. Ce système permet aux utilisateurs de convertir instantanément l'apparence du monde réel en avatars 3D, idéal pour une intégration transparente avec les applications de médias sociaux et métavers.

Contexte et Motivation de la Recherche

Définition du Problème

La création traditionnelle d'avatars 3D personnalisés dépend de la modélisation manuelle ou de pipelines de photogrammétrie, méthodes qui sont soit chronophages, soit nécessitent des équipements professionnels. Bien que la technologie Gaussian Splatting se soit avérée excellente pour la reconstruction de scènes haute fidélité et le rendu temps réel, les méthodes d'animation Gaussian Splatting existantes présentent les limitations suivantes :

1. Exigences matérielles élevées : nécessitent des réseaux de caméras, des GPU haut de gamme et autres équipements coûteux
2. Temps de prétraitement long : ExAvatar nécessite 2-3 heures de prétraitement
3. Perte de fidélité visuelle : la conversion en représentation maillée réduit l'expressivité
4. Accessibilité faible : difficile à utiliser pour les utilisateurs ordinaires

Signification de la Recherche

Cette recherche vise à résoudre le problème d'accessibilité de la création d'avatars 3D, permettant aux utilisateurs ordinaires de créer rapidement et facilement des avatars 3D de haute qualité. Ceci est important pour :

• la popularisation des applications de médias sociaux
• l'expérience utilisateur des plateformes métavers
• les conférences virtuelles et les applications de jumeaux numériques
• les expériences AR/VR sur appareils mobiles

Contributions Principales

1. Système de génération d'avatar rapide : propose un processus complet de balayage à création d'avatar ne nécessitant que 5 minutes, l'étape de génération principale ne prenant que 30 secondes
2. Méthode d'animation efficace : réalise l'animation temps réel de Gaussian Splatting par traitement parallèle des splats, maintenant une haute fidélité visuelle
3. Compatibilité multiplateforme : l'implémentation basée sur WebXR supporte les appareils mobiles, les casques VR et les plateformes web
4. Optimisation pour appareils mobiles : optimisée spécifiquement pour les performances des appareils mobiles, atteignant 40-50 fps sur iPhone 13 Pro

Détails de la Méthode

Définition de la Tâche

Entrée : vidéo courte capturée avec une seule caméra (via l'application Scaniverse) Sortie : avatar 3D haute fidélité animable en temps réel Contraintes :

• Compatibilité avec appareils mobiles
• Performance de rendu temps réel
• Maintien de la fidélité visuelle

Architecture du Système

Idée Centrale

L'idée centrale du système est de faire suivre les splats Gaussiens par le mouvement des sommets de la maille 3D d'arrière-plan. Lors de la phase de prétraitement, les splats sont assignés aux sommets de la maille et les relations de transformation relative sont stockées. À l'exécution, l'animation de la maille d'arrière-plan et la mise à jour parallèle des positions des splats Gaussiens réalisent l'animation temps réel.

Flux de Prétraitement

Étape 1 : Balayage 3D

• Capture du sujet au format Gaussian Splatting à l'aide de l'application Scaniverse
• Le sujet doit adopter une pose A pour simplifier le traitement ultérieur

Étape 2 : Filtrage du Nuage de Points

• Suppression des points n'appartenant pas au sujet
• Filtrage horizontal et vertical basé sur des règles
• Normalisation de la position et de l'échelle des splats

Étape 3 : Estimation de Pose et Localisation de Maille

• Déduction de la direction frontale du sujet et des angles des membres
• Placement de la maille 3D d'arrière-plan à la même position, pose et échelle

Étape 4 : Liaison Splat-Sommet

• Sélection du sommet de maille le plus proche pour chaque splat par recherche du plus proche voisin
• Calcul des relations de transformation relative

Étape 5 : Sortie des Données

• Sortie de la pose du sujet, de l'échelle, des indices de sommet les plus proches et des transformations relatives

Système d'Animation

Trois étapes par image :

1. Animation de Maille : animation de la maille skinée d'arrière-plan
2. Mise à Jour des Splats : mise à jour parallèle des positions et orientations des splats Gaussiens
3. Tri en Profondeur : tri des splats selon la perspective de l'observateur

Points d'Innovation Technique

1. Traitement Parallèle des Splats

Le Gaussian Splatting dynamique traditionnel nécessite la mise à jour des données de position à chaque image, causant une baisse sévère de performance. Cet article résout ce problème par traitement parallèle des splats.

2. Optimisation du Tri Groupé

Pour réduire le coût computationnel du tri, une stratégie de tri groupé est adoptée :

• Groupage des splats au niveau des os
• Tri au niveau des groupes plutôt que des splats individuels
• Équilibre entre le nombre de groupes et les capacités matérielles

3. Optimisation pour Appareils Mobiles

• Utilisation de mailles au format VRM avec 32k polygones
• Implémentation basée sur JavaScript et Three.js dans le navigateur
• Optimisations de performance pour GPU mobile

Configuration Expérimentale

Plateforme d'Implémentation

• Environnement de développement : JavaScript + Three.js (application navigateur)
• Balayage 3D : application Scaniverse
• Maille d'arrière-plan : format VRM, 32k polygones, morphologie neutre
• Appareils de test : iPhone 13 Pro, ordinateur portable équipé d'NVIDIA GeForce RTX 3060

Métriques de Performance

• Temps de traitement total : environ 5 minutes (incluant le balayage)
• Temps de génération d'avatar : environ 30 secondes
• Temps de reconstruction 3D : environ 1 minute (Scaniverse)
• Fréquence d'images de rendu : 40-50 fps sur appareil mobile, 240 fps sur ordinateur portable

Résultats Expérimentaux

Performance

Efficacité Temporelle :

• Processus complet : ~5 minutes
• Génération d'avatar : ~30 secondes
• Balayage 3D : ~1 minute (iPhone 13 Pro)

Performance de Rendu :

• iPhone 13 Pro : 40-50 fps
• Ordinateur portable RTX 3060 : 240 fps (limité par le taux de rafraîchissement de l'écran)

Caractéristiques du Système

1. Haut degré d'automatisation : étapes de prétraitement entièrement automatisées
2. Compatibilité multiplateforme : support des appareils mobiles, casques VR, plateformes web
3. Support des formats standards : utilisation du format VRM, facilitant l'intégration avec les applications existantes
4. Performance temps réel : maintien du rendu temps réel tout en préservant une haute qualité visuelle

Travaux Connexes

Recherche sur les Avatars Gaussian Splatting

L'article cite plusieurs travaux connexes :

• GaussianAvatar1 : génération d'avatars personnalisés réalistes à partir d'une vidéo unique
• GauHuman2 : Gaussian Splatting articulé pour rendu 3D du corps humain en temps réel
• HUGS4 : Splats Gaussiens du corps humain
• ExAvatar6 : avatars 3D Gaussiens expressifs en corps entier

Avantages de cet Article

Par rapport aux méthodes existantes, les principaux avantages de cet article sont :

1. Vitesse de traitement : seulement 30 secondes contre 2-3 heures pour ExAvatar
2. Exigences matérielles : pas besoin de GPU haut de gamme ou de réseau de caméras
3. Accessibilité : entièrement basé sur appareils mobiles et navigateur
4. Fidélité : maintien de la haute qualité visuelle de Gaussian Splatting

Conclusion et Discussion

Conclusions Principales

1. Implémentation réussie d'un système de génération d'avatars 3D rapide et de haute qualité
2. Résolution efficace des problèmes de performance du Gaussian Splatting dynamique par traitement parallèle et tri groupé
3. L'implémentation basée sur WebXR assure la compatibilité multiplateforme
4. L'optimisation pour appareils mobiles permet aux utilisateurs ordinaires une utilisation pratique

Limitations

1. Dépendance à une application tierce : nécessite l'utilisation de Scaniverse pour le balayage 3D
2. Contrainte de pose : nécessite une pose A lors du prétraitement, limitant les cas d'usage
3. Précision de la maille : la qualité de la maille d'arrière-plan peut affecter le résultat final
4. Compromis du tri groupé : sacrifice de la précision de rendu pour la compatibilité mobile

Directions Futures

1. Intégration de plus de solutions de balayage 3D, réduisant la dépendance à une application spécifique
2. Support de poses initiales plus variées
3. Optimisation de l'algorithme de tri groupé pour améliorer la qualité de rendu
4. Extension à des scènes d'animation plus complexes

Évaluation Approfondie

Points Forts

1. Forte Praticité

• Résout des besoins utilisateurs réels
• Solution complète de bout en bout
• Conception d'expérience utilisateur de qualité

2. Innovation Technique

• Solution de traitement parallèle efficace
• Optimisation intelligente du tri groupé
• Optimisation de performance pour appareils mobiles

3. Accessibilité

• Basé sur appareils mobiles largement disponibles
• Implémentation navigateur, pas d'installation nécessaire
• Temps de traitement rapide

4. Conformité aux Standards

• Utilisation du format standard VRM
• Facilite l'intégration avec l'écosystème existant

Insuffisances

1. Simplicité de la Méthode

• Méthode centrale relativement simple, profondeur technique limitée
• Principalement optimisation d'ingénierie plutôt qu'innovation algorithmique

2. Évaluation Insuffisante

• Manque de comparaison quantitative avec d'autres méthodes
• Absence d'études utilisateur ou d'évaluation de qualité
• Manque de tests dans différents scénarios

3. Problèmes de Dépendance

• Dépendance à l'application tierce Scaniverse
• Exigences concernant la pose initiale

4. Détails Techniques

• Détails d'implémentation du tri groupé insuffisamment détaillés
• Manque d'analyse des cas d'échec

Impact

1. Contribution Académique

• Fournit une référence pour l'application de Gaussian Splatting sur appareils mobiles
• Démontre l'approche de conception de systèmes pratiques

2. Valeur Pratique

• Haute valeur pratique, adaptée au déploiement réel
• Importance significative pour les applications métavers et médias sociaux

3. Reproductibilité

• Basé sur pile technologique standard, facile à reproduire
• Potentiel d'open-source important

Scénarios d'Application

1. Applications de Médias Sociaux : génération rapide d'avatars personnalisés
2. Plateformes Métavers : représentation d'identité utilisateur
3. Conférences Virtuelles : amélioration de la présence
4. Applications de Jeux : personnalisation de caractères
5. Expériences AR/VR : images virtuelles personnalisées

Références Bibliographiques

L'article cite 12 références connexes, couvrant principalement :

• Technologie fondamentale Gaussian Splatting3
• Méthodes de génération d'avatars humains1,2,4,5,6,8,9,11,12
• Technologie de reconstruction 3D10
• Applications commerciales de balayage7

Ces références couvrent bien le domaine de recherche connexe, fournissant un soutien contextuel suffisant au travail présenté.

Évaluation Globale : Ceci est un article de système très pratique qui, bien que relativement limité en innovation algorithmique, apporte des contributions importantes à la résolution de problèmes pratiques et à l'amélioration de l'accessibilité. La rapidité et la compatibilité mobile du système lui confèrent une très haute valeur pratique, le rendant adapté au déploiement dans des applications réelles.