尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

Hunyuan3D-2 三维模型生成:一张图变成带纹理资产,Turbo 模式只要 5 步推理

Hunyuan3D-2 三维模型生成:一张图变成带纹理资产,Turbo 模式只要 5 步推理 Hunyuan3D-2 三维模型生成一张图变成带纹理资产Turbo 模式只要 5 步推理【免费下载链接】Hunyuan3D-2High-Resolution 3D Assets Generation with Large Scale Hunyuan3D Diffusion Models.项目地址: https://gitcode.com/GitHub_Trending/hu/Hunyuan3D-2Hunyuan3D-2 是腾讯混元开源的高分辨率 3D 资产生成系统先用扩散变换器DiT一种从噪声一步步去噪出形状的大模型按图片生成几何再用纹理模型给网格上色。你只需一张输入图单做形状只要 6 GB 显存Turbo 模式 5 步推理即可出结果。三十秒速览这篇适合谁读花十秒看完这张表再决定要不要继续。项目内容它是什么开源的两阶段 3D 生成系统几何生成 纹理合成核心能力单图生 3D、多视图 3D、Turbo 5 步加速、高分辨率纹理适合谁3D 爱好者、游戏与美术开发、想快速做原型的团队运行成本仅生成形状 6 GB 显存形状加纹理共 16 GB支持 macOS / Windows / Linux核心能力盘点Hunyuan3D-2 能替你做什么整条流水线分两阶段先出几何再上纹理。这种切法让两阶段可以拆开使用——形状用这套系统生成纹理也能刷到你自己手工建的网格上。单图生成三维几何Hunyuan3D-DiT给它一张图基于流匹配的扩散模型就会采出一个完整网格。官方评测里它在形似度CMMD、细节保真FID和条件贴合CLIP 分数三项上都压过参与对比的头牌开源与闭源模型其中 CLIP 分数 0.809 为最高。多视图 3D 生成Hunyuan3D-2mv单图遮挡严重时模型背面的细节只能靠猜。1.1B 参数的多视图模型改用 front、left、back 三张图做输入把多个角度的信息融进同一个形状背面不再崩坏。输入就是一组三张图仓库里就有现成样例。⚡ Turbo 与 Fast蒸馏出来的加速权重模型库提供两组蒸馏权重。Turbo 是步数蒸馏把标准模型的 50 步压到 5 步Fast 是引导蒸馏把 DiT 推理时间减半。切换方式只是加载模型时换一个 subfolder管道代码不用动。高分辨率纹理合成Hunyuan3D-Paint1.3B 参数的纹理模型负责给网格生成高分辨率贴图对象可以是系统生成的形状也可以是你手工建的网格另外还有一个纹理 Turbo 版本用来提速。这个阶段会额外吃显存形状加纹理合计约 16 GB。下面是仓库 README 给出的横向对比数字前三项越低越好指标头部开源模型头部闭源模型Hunyuan3D-2形似度 CMMD3.5913.2183.193细节保真 FID289.287295.691282.429FID_CLIP54.63951.57449.165CLIP 分数越高越好0.7870.7990.809十分钟跑起来最短安装路径本节只讲最短成功路径克隆、装依赖、出第一个 glb。PyTorch 请按你的 GPU 环境自行先装好下面的步骤处理其余依赖。git clone https://gitcode.com/GitHub_Trending/hu/Hunyuan3D-2 cd Hunyuan3D-2 pip install -r requirements.txt pip install -e . cd hy3dgen/texgen/custom_rasterizer python3 setup.py install cd ../../../hy3dgen/texgen/differentiable_renderer python3 setup.py install第三行编译两个纹理相关的 C 组件只做形状生成可以跳过。装完以后Hunyuan3D-2 快速上手就是这几行from hy3dgen.shapegen import Hunyuan3DDiTFlowMatchingPipeline pipeline Hunyuan3DDiTFlowMatchingPipeline.from_pretrained(tencent/Hunyuan3D-2) mesh pipeline(imageassets/demo.png)[0] # 返回 trimesh 对象 mesh.export(demo.glb)权重首次运行会自动从模型仓库拉取。想直接体验 5 步出结果的 Turbo 模式用 0.6B 的 mini 权重加 turbo 子目录pipeline Hunyuan3DDiTFlowMatchingPipeline.from_pretrained( tencent/Hunyuan3D-2mini, subfolderhunyuan3d-dit-v2-mini-turbo, devicecuda ) pipeline.enable_flashvdm(topk_modemerge) mesh pipeline(imageassets/demo.png, num_inference_steps5, octree_resolution380, num_chunks20000)[0]场景化玩法三种常见用法按场景走三步场景、操作要点、你会得到什么。场景一游戏道具概念原型操作要点准备一张主体清晰的图用 Hunyuan3D-2mini 配 turbo 子目录5 步推理八叉树分辨率保持默认的 380 就够。你会得到什么一个马上能预览的 glb 网格判断资产轮廓、比例、是否值得精修足够用了。场景二遮挡多的物体想看背面操作要点改用多视图模型 tencent/Hunyuan3D-2mv准备 front / left / back 三张视角图assets/example_mv_images/ 里有现成样例三张图都先做背景移除按标准 50 步跑。你会得到什么背面不塌、前后一致的模型适合需要多角度近看的资产。场景三要交付的完整资产带纹理操作要点形状跑完后把网格和原图一起交给纹理管道输出带贴图结果。你会得到什么能直接进游戏引擎或 Blender 的带纹理 3D 资产。这一阶段显存合计 16 GB显存不够就开低显存模式。from hy3dgen.texgen import Hunyuan3DPaintPipeline tex_pipeline Hunyuan3DPaintPipeline.from_pretrained(tencent/Hunyuan3D-2) mesh tex_pipeline(mesh, imageassets/demo.png) mesh.export(demo.glb)调参与排障常见报错速查先给参数表默认值均出自仓库的管道签名与示例脚本参数作用推荐值怎么调num_inference_steps去噪步数Turbo 5标准 50步数越多越接近模型满质量耗时随之增长octree_resolution表面提取的八叉树分辨率380-384调高边缘更细显存消耗同步上升num_chunks表面提取批大小8000-20000显存有富余就调高提取阶段更快guidance_scale图像条件引导强度默认 7.5调低更自由调高更贴合输入subfolder加载哪一版权重标准 / -turbo / -fast求快用 turbo求稳用 fast三个高频问题现象显存爆掉OOM。原因形状加纹理共需 16 GB。一句话解法Gradio 启动时加--low_vram_mode或换 0.6B 的 mini 模型。现象生成的形状和输入图对不上。原因图片没做背景移除条件被背景干扰。一句话解法先用仓库自带的BackgroundRemover处理图像所有示例都是这么做的。现象单次生成要跑几分钟等不起。原因用了标准模型跑满 50 步。一句话解法换 -turbo 子目录并调用enable_flashvdm5 步出结果想保留质量就选 -fastDiT 推理时间减半。选型建议按需求挑模型组合不确定选哪套按需求对号入座即可。你的需求推荐组合说明只想看效果、显存有限Hunyuan3D-2mini hunyuan3d-dit-v2-mini-turbo flashvdm5 步形状阶段 6 GB 显存速度与质量要平衡Hunyuan3D-DiT-v2-0-Fast引导蒸馏DiT 推理时间减半单图有遮挡、要看背面Hunyuan3D-2mv 多视图模型front/left/back 三图参数照抄 examples/shape_gen_multiview.py要交付带纹理的资产形状模型 Hunyuan3D-Paint 两阶段合计 16 GB纹理另有 Turbo 版本周边生态Web UI、API 与插件以下都是仓库内给出的官方用法一条一行Gradio Web UIpython3 gradio_app.py启动可选形状与纹理模型路径支持--low_vram_mode和--enable_flashvdm开关API 服务器python api_server.py --host 0.0.0.0 --port 8080向 /generate 端点 POST 图片即可拿回 glbBlender 插件blender_addon.py需先启动 API 服务器再在 Blender 里直接调用生成官方 Hunyuan3D Studio不自部署也能在线体验入口见 READMEComfyUI 集成社区的 ComfyUI-3D-Pack 与 ComfyUI-Hunyuan3DWrapper把生成流程嵌进 ComfyUI 节点图Windows 整合包社区的 Hunyuan3D-2-WinPortable 与 Hunyuan3D-2-for-windows省掉编译步骤技术报告assets/report/Tencent_Hunyuan3D_2_0.pdf模型设计与评测细节都在这里它的边界目前做不到的事三条现状限制影响你的用法就先看这里免得装完才失望。TensorRT 加速版未放出。仓库开源计划里 TensorRT Version 一项仍是未勾选想进一步压榨推理速度目前只能调采样步数或等更新。非商业许可。仓库采用腾讯混元非商业许可若要用于商业产品需先核对许可条款与第三方组件清单。纹理阶段显存需求翻倍。单做形状 6 GB加上纹理就是 16 GB6-8 GB 的消费级显卡只能跑形状或全程低显存模式。下一步三件做完就能上手的事按难度从低到高每一步都有现成脚本。跑通 5 步 Turbo 快速示例 examples/faster_shape_gen_with_flashvdm_mini_turbo.py这是验证环境最快的方式。用 examples/shape_gen_multiview.py 试多视图融合对应的三张输入图在 assets/example_mv_images/1/。走通完整的图 → 形状 → 纹理流程看 examples/textured_shape_gen.py想要文本转 3D 等更多用法接着看 minimal_demo.py 与 docs/source/started/。从单图开始把参数摸熟再碰多视图和纹理全程都在这个仓库里完成。附录核心模块路径hy3dgen/shapegen/ — 几何生成核心DiT、VAE、管道hy3dgen/texgen/ — 纹理生成核心Paint 管道、可微渲染examples/ — 11 个示例脚本覆盖单图、多视图、Turbo 与纹理docs/source/started/ — Gradio、API、Blender、ComfyUI 等用法的入门文档hy3dgen/shapegen/pipelines.py — 形状生成管道的参数定义【免费下载链接】Hunyuan3D-2High-Resolution 3D Assets Generation with Large Scale Hunyuan3D Diffusion Models.项目地址: https://gitcode.com/GitHub_Trending/hu/Hunyuan3D-2创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表