ERNIE-Image核心功能详解文本渲染、指令跟随与结构化图像生成【免费下载链接】ERNIE-ImageERNIE-Image 是由百度 ERNIE-Image 团队开发的开源文本到图像生成模型。它基于单流扩散 TransformerDiT构建并配备了轻量级的提示增强器可将用户的简短输入扩展为更丰富的结构化描述。凭借仅 80 亿的 DiT 参数它在开源文本到图像模型中达到了最先进的性能。该模型的设计不仅追求强大的视觉质量还注重实际生成场景中的可控性在这些场景中准确的内容呈现与美观同等重要。特别是ERNIE-Image 在复杂指令遵循、文本渲染和结构化图像生成方面表现出色使其非常适合商业海报、漫画、多格布局以及其他需要兼具视觉质量和精确控制的内容创作任务。它还支持广泛的视觉风格包括写实摄影、设计导向图像以及更多风格化的美学输出。项目地址: https://ai.gitcode.com/paddlepaddle/ERNIE-ImageERNIE-Image 是由百度 ERNIE-Image 团队开发的开源文本到图像生成模型基于单流扩散 TransformerDiT构建配备轻量级提示增强器能将简短输入扩展为丰富结构化描述。仅 80 亿 DiT 参数的它在开源文本到图像模型中性能领先兼顾视觉质量与实际生成场景的可控性尤其在复杂指令遵循、文本渲染和结构化图像生成方面表现出色适合商业海报、漫画等创作任务还支持写实摄影、设计导向图像等多种视觉风格。 ERNIE-Image 三大核心功能亮点1. 卓越文本渲染清晰呈现密集与长文本内容ERNIE-Image 在文本渲染方面表现突出能出色处理密集、长形式及布局敏感的文本。无论是制作海报、信息图表还是类似 UI 的图像等文本密集型视觉内容它都能让文本清晰可读满足对文本呈现质量有高要求的场景。2. 精准指令跟随可靠理解复杂提示该模型能可靠地遵循涉及多个对象、详细关系和知识密集型描述的复杂提示。面对用户给出的包含丰富信息和特定要求的指令ERNIE-Image 能准确把握并生成符合预期的图像展现出强大的指令理解与执行能力。3. 高效结构化生成满足布局关键任务需求ERNIE-Image 特别适用于海报、漫画、故事板和多面板构图等结构化视觉任务。在这些对布局和组织要求极高的场景中它能高效生成符合结构规范的图像为相关创作提供有力支持。 为何选择 ERNIE-Image紧凑但强大尽管规模仅为 80 亿参数ERNIE-Image 在一系列基准测试中仍与规模大得多的开源模型具有很强的竞争力展现出小参数大能力的优势。广泛风格覆盖除了清晰可读的设计导向输出该模型还支持写实摄影和独特的风格化美学包括更柔和、更具电影感的视觉色调满足不同用户对图像风格的多样化需求。实用部署性得益于紧凑的尺寸ERNIE-Image 可在具有 24G VRAM 的消费级 GPU 上运行降低了研究、下游使用和模型适配的门槛让更多用户能够便捷地使用该模型。 模型性能基准测试GENEval 测试表现在 GENEval 测试中ERNIE-Image 在多个指标上表现优异。如 ERNIE-Image (w/o PE) 在 Single Object 和 Attribute Binding 指标上分别达到 1.0000 和 0.7925Overall 指标为 0.8856显示出其在对象生成和属性绑定等方面的强大能力。OneIG-EN 与 OneIG-ZH 测试结果在 OneIG-EN 测试里ERNIE-Image (w/ PE) 的 Overall 指标为 0.5750OneIG-ZH 测试中其 Overall 指标达 0.5543表明模型在中英文不同场景下都有较好的综合表现能满足不同语言用户的需求。LongTextBench 测试情况LongTextBench 测试中ERNIE-Image (w/ PE) 在 LongText-Bench-EN 和 LongText-Bench-ZH 指标上分别为 0.9804 和 0.9661Avg 为 0.9733充分体现了其处理长文本的出色能力。 快速开始使用 ERNIE-Image推荐参数设置分辨率1024x1024、848x1264、1264x848、768x1376、896x1200、1376x768、1200x896Guidance scale4.0Inference steps50通过 Diffusers 使用首先安装 Diffuserspip install githttps://github.com/huggingface/diffusers然后运行以下 Python 代码import torch from diffusers import ErnieImagePipeline pipe ErnieImagePipeline.from_pretrained( Baidu/ERNIE-Image, torch_dtypetorch.bfloat16, ).to(cuda) image pipe( promptThis is a photograph depicting an urban street scene..., # 此处省略具体提示词内容 height1264, width848, num_inference_steps50, guidance_scale4.0, use_peTrue # 使用提示增强器 ).images[0] image.save(output.png)通过 SGLang 使用先安装最新版本的 SGLanggit clone https://github.com/sgl-project/sglang.git启动服务器sglang serve --model-path baidu/ERNIE-Image发送生成请求curl -X POST http://localhost:30000/v1/images/generations \ -H Content-Type: application/json \ -d { prompt: This is a photograph depicting an urban street scene..., # 此处省略具体提示词内容 height: 1264, width: 848, num_inference_steps: 50, guidance_scale: 4.0, use_pe: true } \ --output output.png 探索更多资源项目仓库可通过git clone https://gitcode.com/paddlepaddle/ERNIE-Image获取项目代码相关版本ERNIE-ImageSFT 模型通常在 50 个推理步骤中提供更强的通用能力和指令保真度、ERNIE-Image-TurboTurbo 模型通过 DMD 和 RL 优化仅需 8 个推理步骤即可实现更快的速度和更高的美观度【免费下载链接】ERNIE-ImageERNIE-Image 是由百度 ERNIE-Image 团队开发的开源文本到图像生成模型。它基于单流扩散 TransformerDiT构建并配备了轻量级的提示增强器可将用户的简短输入扩展为更丰富的结构化描述。凭借仅 80 亿的 DiT 参数它在开源文本到图像模型中达到了最先进的性能。该模型的设计不仅追求强大的视觉质量还注重实际生成场景中的可控性在这些场景中准确的内容呈现与美观同等重要。特别是ERNIE-Image 在复杂指令遵循、文本渲染和结构化图像生成方面表现出色使其非常适合商业海报、漫画、多格布局以及其他需要兼具视觉质量和精确控制的内容创作任务。它还支持广泛的视觉风格包括写实摄影、设计导向图像以及更多风格化的美学输出。项目地址: https://ai.gitcode.com/paddlepaddle/ERNIE-Image创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
ERNIE-Image核心功能详解：文本渲染、指令跟随与结构化图像生成
发布时间：2026/6/1 17:37:32
ERNIE-Image核心功能详解文本渲染、指令跟随与结构化图像生成【免费下载链接】ERNIE-ImageERNIE-Image 是由百度 ERNIE-Image 团队开发的开源文本到图像生成模型。它基于单流扩散 TransformerDiT构建并配备了轻量级的提示增强器可将用户的简短输入扩展为更丰富的结构化描述。凭借仅 80 亿的 DiT 参数它在开源文本到图像模型中达到了最先进的性能。该模型的设计不仅追求强大的视觉质量还注重实际生成场景中的可控性在这些场景中准确的内容呈现与美观同等重要。特别是ERNIE-Image 在复杂指令遵循、文本渲染和结构化图像生成方面表现出色使其非常适合商业海报、漫画、多格布局以及其他需要兼具视觉质量和精确控制的内容创作任务。它还支持广泛的视觉风格包括写实摄影、设计导向图像以及更多风格化的美学输出。项目地址: https://ai.gitcode.com/paddlepaddle/ERNIE-ImageERNIE-Image 是由百度 ERNIE-Image 团队开发的开源文本到图像生成模型基于单流扩散 TransformerDiT构建配备轻量级提示增强器能将简短输入扩展为丰富结构化描述。仅 80 亿 DiT 参数的它在开源文本到图像模型中性能领先兼顾视觉质量与实际生成场景的可控性尤其在复杂指令遵循、文本渲染和结构化图像生成方面表现出色适合商业海报、漫画等创作任务还支持写实摄影、设计导向图像等多种视觉风格。 ERNIE-Image 三大核心功能亮点1. 卓越文本渲染清晰呈现密集与长文本内容ERNIE-Image 在文本渲染方面表现突出能出色处理密集、长形式及布局敏感的文本。无论是制作海报、信息图表还是类似 UI 的图像等文本密集型视觉内容它都能让文本清晰可读满足对文本呈现质量有高要求的场景。2. 精准指令跟随可靠理解复杂提示该模型能可靠地遵循涉及多个对象、详细关系和知识密集型描述的复杂提示。面对用户给出的包含丰富信息和特定要求的指令ERNIE-Image 能准确把握并生成符合预期的图像展现出强大的指令理解与执行能力。3. 高效结构化生成满足布局关键任务需求ERNIE-Image 特别适用于海报、漫画、故事板和多面板构图等结构化视觉任务。在这些对布局和组织要求极高的场景中它能高效生成符合结构规范的图像为相关创作提供有力支持。 为何选择 ERNIE-Image紧凑但强大尽管规模仅为 80 亿参数ERNIE-Image 在一系列基准测试中仍与规模大得多的开源模型具有很强的竞争力展现出小参数大能力的优势。广泛风格覆盖除了清晰可读的设计导向输出该模型还支持写实摄影和独特的风格化美学包括更柔和、更具电影感的视觉色调满足不同用户对图像风格的多样化需求。实用部署性得益于紧凑的尺寸ERNIE-Image 可在具有 24G VRAM 的消费级 GPU 上运行降低了研究、下游使用和模型适配的门槛让更多用户能够便捷地使用该模型。 模型性能基准测试GENEval 测试表现在 GENEval 测试中ERNIE-Image 在多个指标上表现优异。如 ERNIE-Image (w/o PE) 在 Single Object 和 Attribute Binding 指标上分别达到 1.0000 和 0.7925Overall 指标为 0.8856显示出其在对象生成和属性绑定等方面的强大能力。OneIG-EN 与 OneIG-ZH 测试结果在 OneIG-EN 测试里ERNIE-Image (w/ PE) 的 Overall 指标为 0.5750OneIG-ZH 测试中其 Overall 指标达 0.5543表明模型在中英文不同场景下都有较好的综合表现能满足不同语言用户的需求。LongTextBench 测试情况LongTextBench 测试中ERNIE-Image (w/ PE) 在 LongText-Bench-EN 和 LongText-Bench-ZH 指标上分别为 0.9804 和 0.9661Avg 为 0.9733充分体现了其处理长文本的出色能力。 快速开始使用 ERNIE-Image推荐参数设置分辨率1024x1024、848x1264、1264x848、768x1376、896x1200、1376x768、1200x896Guidance scale4.0Inference steps50通过 Diffusers 使用首先安装 Diffuserspip install githttps://github.com/huggingface/diffusers然后运行以下 Python 代码import torch from diffusers import ErnieImagePipeline pipe ErnieImagePipeline.from_pretrained( Baidu/ERNIE-Image, torch_dtypetorch.bfloat16, ).to(cuda) image pipe( promptThis is a photograph depicting an urban street scene..., # 此处省略具体提示词内容 height1264, width848, num_inference_steps50, guidance_scale4.0, use_peTrue # 使用提示增强器 ).images[0] image.save(output.png)通过 SGLang 使用先安装最新版本的 SGLanggit clone https://github.com/sgl-project/sglang.git启动服务器sglang serve --model-path baidu/ERNIE-Image发送生成请求curl -X POST http://localhost:30000/v1/images/generations \ -H Content-Type: application/json \ -d { prompt: This is a photograph depicting an urban street scene..., # 此处省略具体提示词内容 height: 1264, width: 848, num_inference_steps: 50, guidance_scale: 4.0, use_pe: true } \ --output output.png 探索更多资源项目仓库可通过git clone https://gitcode.com/paddlepaddle/ERNIE-Image获取项目代码相关版本ERNIE-ImageSFT 模型通常在 50 个推理步骤中提供更强的通用能力和指令保真度、ERNIE-Image-TurboTurbo 模型通过 DMD 和 RL 优化仅需 8 个推理步骤即可实现更快的速度和更高的美观度【免费下载链接】ERNIE-ImageERNIE-Image 是由百度 ERNIE-Image 团队开发的开源文本到图像生成模型。它基于单流扩散 TransformerDiT构建并配备了轻量级的提示增强器可将用户的简短输入扩展为更丰富的结构化描述。凭借仅 80 亿的 DiT 参数它在开源文本到图像模型中达到了最先进的性能。该模型的设计不仅追求强大的视觉质量还注重实际生成场景中的可控性在这些场景中准确的内容呈现与美观同等重要。特别是ERNIE-Image 在复杂指令遵循、文本渲染和结构化图像生成方面表现出色使其非常适合商业海报、漫画、多格布局以及其他需要兼具视觉质量和精确控制的内容创作任务。它还支持广泛的视觉风格包括写实摄影、设计导向图像以及更多风格化的美学输出。项目地址: https://ai.gitcode.com/paddlepaddle/ERNIE-Image创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
