Фреймворк трёхмерной генерации от кроссмодальности к параметризованным примитивам

Основная информация

• ID статьи: 2510.08656
• Название: A 3D Generation Framework from Cross Modality to Parameterized Primitive
• Авторы: Yiming Liang, Huan Yu, Zili Wang, Shuyou Zhang, Guodong Yi, Jin Wang, Jianrong Tan (Чжэцзянский университет)
• Категория: cs.GR (компьютерная графика), cs.AI (искусственный интеллект), cs.CV (компьютерное зрение)
• Дата публикации: 9 октября 2025 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2510.08656

Аннотация

В данной работе предлагается многоэтапный фреймворк трёхмерной генерации на основе параметризованных примитивов для решения проблем качества поверхности и затрат на хранение при генерации трёхмерных моделей, управляемой искусственным интеллектом. Фреймворк способен генерировать трёхмерные модели, состоящие из параметризованных примитивов, на основе текстовых и изображений входных данных, путём замены исходных элементов параметризованными примитивами с высококачественной поверхностью посредством определения характеристик формы элементов модели. Экспериментальные результаты демонстрируют превосходную производительность на наборах данных виртуальных и реальных сцен: расстояние Chamfer составляет 3,092×10⁻³, VIoU равен 0,545, F1-Score равен 0,9139, NC равен 0,8369, размер файла параметров примитива составляет примерно 6 КБ.

Исследовательский контекст и мотивация

Определение проблемы

Традиционные технологии генерации трёхмерных моделей сталкиваются с двумя основными вызовами:

1. Высокие требования к хранению: Существующие методы обычно извлекают явное сеточное представление из неявного трёхмерного представления с помощью алгоритма Marching Cubes, что приводит к огромным требованиям к хранению. Например, сетка вокселей размером 256³ требует хранения более 16 миллионов информационных элементов вокселей, занимая 0,54 ГБ памяти.
2. Качество поверхности модели: Ограничения разрешения и топологической структуры приводят к потере деталей при низком разрешении вокселей (например, 32³), методы на основе сеток зависят от деформации исходного шаблона и не могут гибко обрабатывать сложные топологии.

Исследовательская мотивация

С быстрым развитием технологий генерации искусственного интеллекта и компьютерной графики технология представления трёхмерных моделей находит широкое применение в виртуальной реальности, медицинской обработке изображений, промышленном дизайне и производстве, разработке игр и других областях. Традиционные методы обычно требуют большого объёма априорных знаний и предположений, что ограничивает их применимость в реальных сценариях. Поэтому существует острая необходимость в методе генерации, который может повысить качество поверхности модели при одновременном снижении требований к хранению.

Основные вклады

1. Предложены алгоритмы подгонки и сопоставления примитивов: Способны заменять суперквадратичные элементы, составляющие модель, параметризованными геометрическими телами с более высоким качеством поверхности, тем самым повышая общее качество трёхмерной модели.
2. Предложен метод хранения трёхмерной модели: Путём сохранения только параметров элементов примитивов достигается сокращение требований к хранению модели на три порядка величины.
3. Разработан трёхэтапный метод генерации трёхмерной модели на основе мультимодальной информации: Принимает текстовые и изображения входные данные и генерирует трёхмерные модели, состоящие из параметризованных примитивов, в условиях нулевого обучения.

Подробное описание метода

Определение задачи

Входные данные: Текстовое описание или одиночное изображение Выходные данные: Трёхмерная модель, состоящая из параметризованных примитивов Ограничения: Генерация без обучения, повышение качества поверхности, снижение затрат на хранение

Архитектура модели

Фреймворк состоит из трёх основных этапов:

Первый этап: синтез многовидового изображения глубины и итеративная подгонка суперквадратичных поверхностей

1. Синтез многовидового изображения глубины:
   • Использование предварительно обученной модели ImageDream для генерации многовидовых изображений целевой модели
   • Оптимизация нейрального поля излучения под руководством функции потерь Score Distillation Sampling (SDS)
   • Использование метода выборки NeRFStudio для выборки 48 изображений глубины с различных точек зрения из оптимизированного неявного нейрального поля излучения
2. Итеративная подгонка суперквадратичных поверхностей:
   • Построение усечённого поля знаковых расстояний (TSDF)
   • Определение убывающей последовательности порогов знакового расстояния: $T^c = \{t_1^c, t_2^c, ..., t_m^c, t_{m+1}^c\}$
   • Установка начального порога: $t_1^c = \min_{x_i \in V} t(x_i)$, формула затухания: $t_{m+1}^c = \alpha t_m^c$
   • Параметры суперквадратичной поверхности: $\theta = (\varepsilon_1, \varepsilon_2, T, R, S)$
   • Неявное уравнение: $f(x) = \left((x/a)^{2/\varepsilon_2} + (y/b)^{2/\varepsilon_2}\right)^{\varepsilon_2/\varepsilon_1} + (z/c)^{2/\varepsilon_1} = 1$

Второй этап: поиск подобных параметризованных примитивов

На основе параметров формы суперквадратичной поверхности $\varepsilon_1$ и $\varepsilon_2$ они разделяются на три числовых интервала:

• $(0, 0,5)$: цилиндрические характеристики
• $[0,5, 2]$: эллипсоидальные характеристики
• $(2, +\infty)$: звездообразные характеристики

Путём комбинирования характеристик формы в направлении z и плоскости xy формируются 9 различных типов суперквадратичных поверхностей.

Третий этап: алгоритм подгонки и сопоставления примитивов

Использование полярного уравнения для представления параметризованных примитивов:

• Направление z: полярные уравнения цилиндрической системы координат, сферической системы координат, звездообразной линии
• Плоскость xy: полярные уравнения прямоугольного основания, эллиптического основания, звездообразного основания

Комбинирование вектора поворота R и вектора трансляции T суперквадратичной поверхности, выполнение преобразований трансляции и поворота для оптимизации подгонки и сопоставления целевой трёхмерной модели.

Технические инновационные моменты

1. Анализ характеристик формы: Путём систематического анализа влияния параметров суперквадратичной поверхности на форму устанавливается отношение отображения от суперквадратичной поверхности к параметризованному примитиву.
2. Параметризованное представление: Сохранение только параметров примитивов (параметры размера S, параметры формы $\varepsilon_1$ и $\varepsilon_2$, вектор трансляции T, вектор поворота R) для хранения модели.
3. Генерация без обучения: Комбинирование неявной модели диффузии и разложения примитивов для реализации кроссмодальной генерации трёхмерных моделей без обучения.

Экспериментальная установка

Наборы данных

1. Набор данных виртуальных сцен:
   • Основан главным образом на наборе данных ShapeNet, содержащем более 3000 категорий объектов и 220000 моделей
   • Включает тестовые изображения и текст из моделей ImageDream, One-2-3-45++, Wonder3D, MVDream, TripoSR и других
2. Набор данных реальных сцен:
   • Основан главным образом на наборе данных CO3D, предоставляющем богатые трёхмерные данные реального мира
   • Включает часть изображений из AKB-48 и OmniObject 3D

Метрики оценки

• Chamfer Distance (CD): Измеряет сходство между двумя облаками точек
• Volumetric Intersection over Union (VIoU): Оценивает степень перекрытия трёхмерной модели
• F1-Score: Комплексно учитывает точность и полноту восстановления поверхности
• Normal Consistency (NC): Оценивает согласованность векторов нормалей поверхности

Методы сравнения

• EMS
• SuperDec
• Marching-Primitives (MP)

Детали реализации

• Аппаратное обеспечение: процессор AMD Ryzen 7 9700X, видеокарта NVIDIA GeForce RTX 5060Ti
• Программное обеспечение: Windows 11, Python 3.10
• Параметры TSDF: размер пространства вокселей -13,13, равномерная выборка 100 на каждое измерение, всего 10⁶ вокселей
• Разрешение сетки: 100

Экспериментальные результаты

Основные результаты

Результаты на наборе данных виртуальных сцен

По сравнению с методом MP предложенный метод снижает CD на 37,6%, повышает VIoU на 39,7%, повышает F1-Score на 11,5%, повышает NC на 14,9%.

Результаты на наборе данных реальных сцен

Детальные результаты на наборе данных ShapeNet

На шести категориях (скамья, стол, самолёт, шкаф, бутылка, винтовка) предложенный метод достигает среднего CD 0,503×10⁻³, VIoU 0,742, F1-Score 0,8896, NC 0,4511, показывая лучшую производительность по всем метрикам.

Сравнительный эксперимент по ёмкости хранения

Ёмкость хранения сокращена на три порядка величины, с уровня МБ до уровня КБ.

Абляционный эксперимент

Абляционный эксперимент, проведённый на наборе данных реальных сцен, показывает, что предложенный метод демонстрирует лучшую производительность по метрикам VIoU, F1-Score и NC, подтверждая эффективность четырёх полярных уравнений.

Связанные работы

Неявные модели диффузии

Ранние технологии генерации трёхмерных моделей были основаны главным образом на контролируемом обучении, требующем большого объёма контролируемых данных. Предложение неявных моделей диффузии открыло новые возможности для восстановления трёхмерной модели по одиночному изображению, направляя оптимизацию трёхмерного представления посредством технологии Score Distillation Sampling и предварительно обученных двумерных моделей диффузии.

Трёхмерная модель синтеза примитивов

Существующие исследования главным образом реализуют представление формы путём разложения трёхмерной модели на несколько простых примитивов, включая суперэллипсоиды, анизотропные гауссианы, выпуклые оболочки и другие. Соответствующие методы, такие как Marching-Primitives, расширили диапазон генерируемых моделей посредством итеративной подгонки усечённого поля знаковых расстояний.

Заключение и обсуждение

Основные выводы

Предложенный в данной работе многоэтапный фреймворк кроссмодальной генерации параметризованных примитивов способен:

1. Генерировать разнообразные трёхмерные базовые модели в ответ на различные условные входные данные
2. Превосходить существующие передовые алгоритмы по метрикам CD, VIoU, F1-Score и NC
3. Генерировать параметризованные синтезированные модели примитивов, более соответствующие эстетическим требованиям
4. Достигать значительной экономии пространства хранения

Ограничения

1. Проблема подгонки кольцевого цилиндра: Поскольку суперквадратичная поверхность не имеет пронизывающей поверхности, метод не может эффективно сопоставлять или подгонять кольцевые цилиндры
2. Преимущества параметризованного представления: Не удалось полностью продемонстрировать преимущества по сравнению с альтернативными решениями, такими как NURBS
3. Качество сложных моделей: Качество модели в невидимых ракурсах сложных моделей ограничено качеством многовидовой генерации

Направления будущих исследований

1. Использование вариационного автокодировщика для кодирования облаков точек сложных примитивов для сопоставления примитивов кольцевых цилиндров
2. Использование других типов моделей подгонки поверхности для компонентов модели, демонстрирующих преимущества параметризованного представления
3. Одновременное использование информации различных модальностей для лучшего описания характеристик целевой модели или проведение тонкой настройки обучения на нижестоящих задачах

Глубокая оценка

Преимущества

1. Сильная инновационность метода: Впервые предложен систематический метод отображения от суперквадратичной поверхности к параметризованному примитиву
2. Полные эксперименты: Проведена комплексная проверка на наборах данных виртуальных и реальных сцен
3. Высокая практическая ценность: Значительно снижает требования к хранению, подходит для быстрого прототипирования
4. Чёткая техническая схема: Разумный дизайн трёхэтапного фреймворка, чёткие функции каждого модуля

Недостатки

1. Ограниченная область применения: Главным образом применим к простым моделям, ограниченная способность обработки сложных топологических структур
2. Зависимость от предварительно обученных моделей: Зависит от качества предварительно обученных моделей, таких как ImageDream
3. Недостаточный теоретический анализ: Отсутствует теоретический анализ способности представления параметризованных примитивов
4. Ограничения метрик оценки: Главным образом сосредоточены на геометрическом сходстве, отсутствует субъективная оценка визуального качества

Влияние

1. Академический вклад: Предоставляет новую идею параметризованного представления для области генерации трёхмерных моделей
2. Практическая ценность: Значительное улучшение в эффективности хранения и качестве поверхности
3. Воспроизводимость: Подробное описание метода, чёткая установка экспериментов

Применимые сценарии

• Быстрое прототипирование в промышленном дизайне
• Генерация простых трёхмерных ресурсов в разработке игр
• Создание облегчённого трёхмерного контента для сцен виртуальной реальности
• Хранение и передача трёхмерных моделей на мобильных устройствах

Библиография

Статья цитирует 38 соответствующих источников, охватывающих важные работы в ключевых областях трёхмерной генерации, неявных моделей диффузии, разложения примитивов и других, обеспечивая прочную теоретическую основу для данного исследования.