2025-11-11T15:34:09.265833

A 3D Generation Framework from Cross Modality to Parameterized Primitive

Liang, Yu, Wang et al.

Recent advancements in AI-driven 3D model generation have leveraged cross modality, yet generating models with smooth surfaces and minimizing storage overhead remain challenges. This paper introduces a novel multi-stage framework for generating 3D models composed of parameterized primitives, guided by textual and image inputs. In the framework, A model generation algorithm based on parameterized primitives, is proposed, which can identifies the shape features of the model constituent elements, and replace the elements with parameterized primitives with high quality surface. In addition, a corresponding model storage method is proposed, it can ensure the original surface quality of the model, while retaining only the parameters of parameterized primitives. Experiments on virtual scene dataset and real scene dataset demonstrate the effectiveness of our method, achieving a Chamfer Distance of 0.003092, a VIoU of 0.545, a F1-Score of 0.9139 and a NC of 0.8369, with primitive parameter files approximately 6KB in size. Our approach is particularly suitable for rapid prototyping of simple models.

academic

クロスモダリティからパラメータ化プリミティブへの3D生成フレームワーク

基本情報

論文ID: 2510.08656
タイトル: A 3D Generation Framework from Cross Modality to Parameterized Primitive
著者: Yiming Liang, Huan Yu, Zili Wang, Shuyou Zhang, Guodong Yi, Jin Wang, Jianrong Tan (浙江大学)
分類: cs.GR (コンピュータグラフィックス), cs.AI (人工知能), cs.CV (コンピュータビジョン)
発表日: 2025年10月9日 (arXiv プレプリント)
論文リンク: https://arxiv.org/abs/2510.08656

要旨

本論文は、AI駆動の3Dモデル生成における表面品質とストレージオーバーヘッドの課題に対処するため、パラメータ化プリミティブに基づく多段階3D生成フレームワークを提案する。本フレームワークは、テキストおよび画像入力に基づいてパラメータ化プリミティブで構成される3Dモデルを生成でき、モデル構成要素の形状特性を識別することで、元の要素を高品質表面を有するパラメータ化プリミティブで置き換える。実験結果は、仮想シーンおよび実シーンデータセット上で優れた性能を示しており、Chamfer距離は3.092×10⁻³、VIoUは0.545、F1スコアは0.9139、NCは0.8369、プリミティブパラメータファイルサイズは約6KBである。

研究背景と動機

問題定義

従来の3Dモデル生成技術は、以下の2つの中核的課題に直面している：

高いストレージ要件：既存の手法は通常、Marching Cubesアルゴリズムを使用して暗黙的3D表現から明示的メッシュ表現を抽出するため、ストレージ要件が膨大である。例えば、256³ボクセルグリッドは1600万個以上のボクセル情報を保存する必要があり、メモリ占有率は0.54GBに達する。
モデル表面品質：解像度とトポロジー構造の制約により、低解像度ボクセル（32³など）は詳細情報の喪失をもたらし、メッシュベースの手法は初期テンプレート変形に依存するため、複雑なトポロジーを柔軟に処理できない。

研究動機

AI生成技術とコンピュータグラフィックスの急速な発展に伴い、3Dモデル表現技術は仮想現実、医療画像処理、工業設計製造、ゲーム開発など多くの分野で広く応用されている。従来の手法は通常、大量の事前知識と仮定を必要とするため、実シーンでの適用性が制限されている。したがって、モデル表面品質を向上させながらストレージ要件を削減できる生成手法が急務である。

核心的貢献

プリミティブフィッティングおよびマッチングアルゴリズムの提案：モデルを構成する超二次曲面要素をより高い表面品質を有するパラメータ化幾何体で置き換えることができ、3Dモデルの全体的品質を向上させる。
3Dモデルストレージ方法の提案：プリミティブ要素のパラメータのみを保持することでモデルのストレージ要件を削減し、ストレージスペースを3桁削減することを実現する。
マルチモーダル情報に基づく3段階3Dモデル生成方法の構築：テキストおよび画像情報を入力として、ゼロショット条件下でパラメータ化プリミティブで構成される3Dモデルを生成する。

方法の詳細

タスク定義

入力：テキスト説明または単一画像出力：パラメータ化プリミティブで構成される3Dモデル制約：ゼロショット生成、表面品質の向上、ストレージオーバーヘッドの削減

モデルアーキテクチャ

本フレームワークは3つの主要段階で構成される：

第1段階：マルチビュー深度画像合成と超二次曲面反復フィッティング

マルチビュー深度画像合成：
- 事前学習済みImageDreamモデルを使用して目標モデルのマルチビュー画像を生成
- Score Distillation Sampling (SDS)損失関数を通じてニューラル放射場の最適化を指導
- NeRFStudioサンプリング方法を使用して最適化された暗黙的ニューラル放射場から48個の異なる視点の深度画像をサンプリング
超二次曲面反復フィッティング：
- 切断符号距離場(TSDF)を構築
- 減少する符号距離閾値シーケンスを定義： $T^c = \{t_1^c, t_2^c, ..., t_m^c, t_{m+1}^c\}$
- 初期閾値設定： $t_1^c = \min_{x_i \in V} t(x_i)$ 、減衰公式： $t_{m+1}^c = \alpha t_m^c$
- 超二次曲面パラメータ： $\theta = (\varepsilon_1, \varepsilon_2, T, R, S)$
- 暗黙的方程式： $f(x) = \left((x/a)^{2/\varepsilon_2} + (y/b)^{2/\varepsilon_2}\right)^{\varepsilon_2/\varepsilon_1} + (z/c)^{2/\varepsilon_1} = 1$

第2段階：類似パラメータ化プリミティブ検索

超二次曲面の形状パラメータ $\varepsilon_1$ および $\varepsilon_2$ に基づいて、以下の3つの数値区間に分類：

$(0, 0.5)$ ：円柱形特性
$[0.5, 2]$ ：楕円体特性
$(2, +\infty)$ ：星形特性

z方向とxy平面の形状特性を組み合わせることで、9種類の異なる形状の超二次曲面タイプを形成する。

第3段階：プリミティブフィッティングおよびマッチングアルゴリズム

極座標方程式を使用してパラメータ化プリミティブを表現：

z方向：円柱座標系、球座標系、星線の極座標方程式
xy平面：矩形底、楕円底、星底の極座標方程式

超二次曲面の回転ベクトルRと平行移動ベクトルTを組み合わせ、平行移動回転変換を実行して、目標3Dモデルの最適化フィッティングとマッチングを行う。

技術的革新点

形状特性分析：超二次曲面パラメータが形状に与える影響を体系的に分析することで、超二次曲面からパラメータ化プリミティブへのマッピング関係を確立。
パラメータ化表現：プリミティブパラメータ（サイズパラメータS、形状パラメータ $\varepsilon_1$ および $\varepsilon_2$ 、平行移動ベクトルT、回転ベクトルR）のみを保存することでモデルストレージを実現。
ゼロショット生成：暗黙的拡散モデルとプリミティブ分解を組み合わせることで、クロスモダリティのゼロショット3D生成を実現。

実験設定

データセット

仮想シーンデータセット：
- 主にShapeNetデータセットに基づき、3000以上のオブジェクトカテゴリと220,000個のモデルを含む
- ImageDream、One-2-3-45++、Wonder3D、MVDream、TripoSRなどのモデルからのテスト画像とテキストを含む
実シーンデータセット：
- 主にCO3Dデータセットに基づき、豊富な実世界3Dデータを提供
- AKB-48およびOmniObject 3Dの一部画像を含む