让 LLM 替你画图Omost 图像生成原理与快速上手指南【免费下载链接】OmostYour image is almost there!项目地址: https://gitcode.com/GitHub_Trending/om/OmostOmost 是一个让大语言模型LLM用代码搭出画面、再由扩散模型出成图的开源图像生成工具。它解决的是有想法但写不出详细提示词、也控不住画面布局的问题。 先搞懂原理三个人协作完成一张图理解 Omost 原理不需要数学背景把它想成一套家装流程就好。你是甲方只负责说人话骑士和巨龙在风暴中开战。LLM 是设计师。它不画画只负责把你的话翻译成一张施工图纸——一段标准 Python 代码。Canvas 就是这张图纸的接口。LLM 对它只有两个动作set_global_description 设定整幅画的背景和氛围add_local_description 逐个摆放元素。每个元素都会带上位置、面积、远近层次、主色和详细描述。为什么位置要用自然语言作者实测发现on the left这类词比像素坐标好学得多训练收敛也稳定。3×3 的位置、偏移和面积组合起来能覆盖 729 种常见区域日常构图基本够用。图纸完成后SDXL 进场当施工队。它不依赖外部控制模型而是在每一步去噪时直接调节注意力分数让画面左侧只响应骑士的描述、中心只响应巨龙的描述。这种无参数做法几乎不引入风格偏移出图质感接近底模本身。还有个顺手的玩法对话式改图。你说把巨龙换成恐龙LLM 会重画整张图纸点一下渲染按钮就出新版——这也是各类 Omost 教程里最常被演示的环节。 三步跑通Omost 安装步骤硬件门槛先说清楚一块 8GB 以上显存的 N 卡Python 3.10 环境。拉取代码并进入目录git clone https://gitcode.com/GitHub_Trending/om/Omost cd Omost安装依赖pip install -r requirements.txt启动应用python gradio_app.py首次运行会自动下载 LLM 权重和 SDXL 底模。默认的 LLM 是 omost-llama-3-8b 的 4bit 量化版对显存比较友好。启动后浏览器会打开 Gradio 页面和模型对话即可出图。界面逻辑在 gradio_app.pyCanvas 与生成管道的实现在 lib_omost/。⚖️ 适合谁用现阶段还差什么适合本地有 8GB 显存、想精确控制画面元素位置的人想边聊边改图而不是一遍遍重写提示词的人研究 LLM 与扩散模型协作的开发者还不完美渲染器目前是无参数的注意力基线还没有专门训练过的参数化方案8B 级 LLM 加 SDXL 的组合对没有 N 卡的用户不友好上下文大约到 8k tokens 会明显衰减对话式改图五六轮后需要编辑旧消息重新发起作者表示未来可能会为 Omost 训练参数化的渲染方法进一步提升生成质量。【免费下载链接】OmostYour image is almost there!项目地址: https://gitcode.com/GitHub_Trending/om/Omost创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考