方法总览

OmniFabric：在缝纫纸样 UV 空间合成一致的三维服装纹理

作者

快速导读：OmniFabric 在缝纫纸样 UV 空间做粗到细纹理合成，用多条件 DiT 去除扭曲与烘焙光照，从单张野外服装图得到可仿真的归一化纹理。

单张野外服装照片想变成可仿真、可重打光的三维资产，几何近年已有进展，但纹理仍常把褶皱阴影和投影扭曲烤进贴图，一换光照或做物理模拟就穿帮。CMU、华盛顿大学、Texas A&M 与 Google 的 OmniFabric（arXiv:2609.30234，SIGGRAPH Asia 2026 Conference Papers）把纹理合成搬进二维缝纫纸样 UV 空间：先用网格与生成先验在纸样上铺出全局对齐的粗纹理，再用条件 DiT 在规范 UV 域去扭曲、去烘焙光照，得到干净、可直接导入仿真的归一化纹理。

两阶段流水线是：粗纹理初始化（姿态对齐、多视角补全、投影到纸样）+ UV 空间归一化（以粗纹理、正面渲染与位置图为条件）。训练靠自动数据引擎构造约 3 万条带扭曲与烘焙伪影的纸样纹理对。项目页 https://humansensinglab.github.io/OmniFabric 。本文聚焦服装纹理归一化，不声称替换整套纸样预测或材质 PBR 全栈。

英文题目：OmniFabric: Coherent UV Space Texture Synthesis for 3D Garment Reconstruction

论文出处：arXiv 每日论文精选 · arXiv:2609.30234

原始论文：PDF / 论文页面

这篇论文解决什么问题？

游戏、电商与影视需要仿真就绪的三维服装；传统手工建模贵，图像自动重建又卡在纹理（第1–2页）。

多视角扩散把纹理画到已垂坠网格再展开，容易因褶皱、遮挡造成几何扭曲，并把环境光与几何皱褶烤进贴图，下游重打光/仿真不可用（Fig.2）。

FabricDiffusion 等在局部纺织贴片上做归一化，难保住 logo、非对称印花等全局设计；Paint3D/Meta 3D TextureGen 等 UV 精修多只补遮挡洞，不去扭曲、不去烘焙光照。

作者主张：服装生产链路本来就在缝纫纸样上工作，应在纸样空间直接合成全局一致、无伪影的纹理。

核心创新

  • 提出在缝纫纸样空间合成全局一致服装纹理的 OmniFabric 框架。
  • 自动数据引擎规模化构造带扭曲与烘焙伪影的纸样纹理训练数据。
  • 以规范网格为空间锚，建立图像像素到纸样 UV 的全局对齐。
  • 粗到细流水线：粗初始化 + DiT UV 归一化去除扭曲与烘焙光照。

方法概览

纸样预测与姿位对齐后多视角投影得粗纹理；再以粗纹理、正面渲染与位置图条件训练 DiT，在 UV 域归一化；自动数据引擎合成大规模扭曲/烘焙训练对。

  • 任务：给定参考图 I 与缝纫纸样 P，学习映射 G，在噪声下采样归一化纹理图 T；T 近似固有外观，可配合外部粗糙度等导入 CLO 等仿真引擎（式1，第4页）。
  • 粗纹理初始化：ChatGarment 预测纸样并缝合仿真得静息网格 MR；用 Nano Banana Pro 把参考图姿位对齐到正面轮廓，投影得正面渲染 Rf；再用 Veo 3 等视频先验从 Rf 生成环视视频，采样正交四视角投影回 UV，得到全局对齐但含伪影的粗纹理 T′（第4–5页）。
  • UV 归一化：把归一化写成多条件扩散，条件 y={T′, Rf, P_pos}；DiT 以 LoRA 微调，按 OminiControl 式把各条件 token 拼成统一序列，去掉阴影、物理皱褶与投影空洞，输出干净纸样纹理（式2，第5页）。
  • 数据引擎：从 GarmentCodeData 采样约 3K 服装样式，对归一纹理做 TPS 扭曲后叠到纸样，再仿真得到 MR、位置图、粗纹理与正面渲染，扩成约 30K 训练对，迫使网络学习去扭曲与去烘焙（Fig.4，第5–6页）。
  • 开源替代：可用 FLUX.2 + Ministral 3 替换闭源姿位/多视角模块，Table 3 显示定量接近默认 Gemini 路线。

逐图理解论文

方法总览

方法总览
Figure 3 presents an overview of our approach. We aim to recon- struct 3D garments with coherent textures from real-world images. We define the task and objective in Section 3.1. Next, we introduce a two-stage pipeline for generating holistic textures directly onto sewing patterns. This includes a coarse texture map initialization (Section 3.2) and a UV space texture normalization (Section 3.3). To train the model, we develop an automated pipeline to synthesize a large scale dataset of textured sewing patterns (Section 4).

Fig.3 方法总览：左支粗纹理（纸样预测、缝合仿真、姿位对齐、多视角生成与投影）；右支 DiT 归一化，条件含粗纹理、正面渲染与位置图，输出归一化纸样并可仿真。适合做方法主图与特色图。

关键证据

关键证据
Fig. 6. Qualitative comparisons to state-of-the-art methods. OmniFabric is capable of generating accurate asymmetric textures and logos, while existing methods fail to preserve the high-frequency details on input cases with complex patterns.

Fig.6 定性对照：输入 | OmniFabric | Hunyuan3D-2.0 | Paint3D | FabricDiffusion。三行含条纹花裙、拼贴裙与带仙人掌 logo 的短裤；Ours 保住非对称细节与可读文字，对照常糊或丢全局结构。配合 Table 1 读高频保真优势。

结论与局限

结论与局限
Fig. 1. Image-based 3D garment texture synthesis. Given a single in-the-wild clothing image, OmniFabric synthesizes high-quality, coherent fabric textures directly on garment sewing patterns. OmniFabric supports a wide range of textures and patterns, preserving fine details while maintaining global alignment with the input image. The resulting textured sewing patterns can be seamlessly simulated into 3D garments.

Fig.1 teaser：四组野外服装图→仿真就绪三维服装，覆盖拼贴裤、碎花裙、条纹印花与几何连帽裙等。适合开场说明“单图→纸样纹理→可仿真三维”。

实验如何设计？

  • 合成评测：各方法在同一 Rf 与 MR 上生成纹理，再投影回纸样 UV 比 LPIPS/SSIM/MS-SSIM/DISTS/CLIP-s（Table 1）。
  • 真实图用户研究：13 人、10 张野外图，评总体排名、保真、背视合理性、全局一致性（Table 2）。
  • 对照：FabricDiffusion、Paint3D、Hunyuan3D-2.0；定性见 Fig.5–6。
  • 消融：粗纹理/正面渲染/位置图（Table 5）、误差累积替换 GT 中间结果（Table 4）、几何扭曲数据必要性（Fig.8）。

关键结果与论文证据

  • 合成主表：OmniFabric LPIPS 0.092、SSIM 0.868、MS-SSIM 0.905、DISTS 0.121、CLIP-s 0.963，全面优于 Hunyuan3D-2.0（0.223/0.712/0.717/0.220/0.924）与其余基线（Table 1）。
  • 用户研究：总体排名 1.09（越低越好），保真 4.44、背视 4.35、全局一致 4.41，均高于对照（Table 2）。
  • 定性上能保住非对称印花与清晰 logo；Paint3D/Hunyuan 常糊掉高频，FabricDiffusion 难出全局设计（Fig.6）。
  • 消融：去掉粗纹理 T′ 后 LPIPS 升至 0.407；无位置图会把元素画错位（如柠檬图案跑偏）；归一化网络可修复姿位/多视角累积伪影（Table 4–5、Fig.8）。
  • 单次推理约 5 分钟量级（含生成服务负载）；Gemini 姿位/多视角失败率估计 <2%。

阅读时需要注意

  • 多视角生成不准时，纹理可能错配；几何错误来自上游纸样预测时，OmniFabric 不能纠正 MR（Fig.7）。
  • 主实验默认依赖闭源姿位/视频模型；开源替代接近但仍非零差距。
  • 输出接近固有外观近似，不是完整 PBR 材质栈；粗糙度/金属度等仍靠外部假设。
  • 评测合成指标与小规模用户研究，不等于大规模生产管线验收。

关联工作

  • 相对投影上色（Paint3D、Hunyuan3D）强调纸样空间归一化而非仅补洞。
  • 相对 FabricDiffusion 的局部纺织归一化，强调全局设计与 logo/印花一致性。
  • ChatGarment、DressCode、AIpparel、Dress-1-to-3 等构成纸样生成上游生态。

发表评论