5步训练一个扩散模型minRF在MNIST和CIFAR-10上的快速上手教程【免费下载链接】minRFMinimal implementation of scalable rectified flow transformers, based on SD3s approach项目地址: https://gitcode.com/gh_mirrors/mi/minRFminRFMinimal Rectified Flow是一个极简的可规模化整流流Rectified FlowTransformer 扩散模型实现基于 SD3 的训练思路和 LLaMA-DiT 架构。整个项目自包含、代码量极小——只要跑一条命令你就能从零开始训练一个能在 MNIST 和 CIFAR-10 上生成图像的扩散模型非常适合想搞懂扩散模型到底怎么训练的新手。为什么选 minRF 学扩散模型很多人第一次接触扩散模型都会被动辄几千行的训练代码劝退。而 minRF 把整个训练流程压缩到了两个文件文件作用rf.py整流流的核心训练与采样逻辑不到 170 行dit.pyDiT-LLaMA 模型结构注意力、时间嵌入、标签嵌入它的核心思想非常直观训练随机抽一个时间步 t把真实图像 x 和纯噪声 z₁ 线性插值出中间状态 z_t让模型学习预测从图像指向噪声的速度场用 MSE 损失更新参数见 rf.py 中的RF.forward。采样从纯噪声出发沿直线一步步反向走回真实图像默认 50 步即可见 rf.py 中的RF.sample。条件生成通过类别嵌入 10% 的标签丢弃实现 Classifier-Free GuidanceCFG采样时可生成指定数字类别的图像。 如果你理解噪声 ↔ 图像之间的直线插值就理解了 minRF 的全部数学。5步上手从零训练你的第一个扩散模型第1步获取 minRF 代码git clone https://gitcode.com/gh_mirrors/mi/minRF cd minRF第2步安装依赖只需三个基础库环境准备 5 分钟内搞定pip install torch torchvision pillow建议准备一张 NVIDIA GPUCUDACPU 也能跑但会明显变慢。第3步一条命令训练 MNIST 扩散模型直接运行python rf.py这条命令会自动下载 MNIST 数据集构建一个约几 M 参数的小 DiTdim64, n_layers6, n_heads4用 Adam 优化器lr5e-4、batch size 256 开始训练。每训练完一个 epoch代码都会采样 16 张图覆盖 10 个类别并保存为 GIF方便你直观观察图像从噪声中浮现的过程。第4步一键切换到 CIFAR-10MNIST 练熟了加一个参数就能挑战彩色图像数据集python rf.py --cifar切换到 CIFAR-10 后模型会自动升级为dim256, n_layers10, n_heads8并对图像做随机裁剪、水平翻转等增强。作者给出的参考效果训练到第 63 个 epoch 左右生成结果大致长这样动图展示生成过程静态图为最终结果。第5步查看训练结果训练过程中会持续输出分时间步的损失统计每个 epoch 按 10 个 t 区间打印 loss帮你判断模型在不同噪声水平下的学习情况采样 GIFcontents/sample_{epoch}.gif保存噪声→图像的完整演变动画contents/sample_{epoch}_last.png保存最终静帧。看到噪声逐渐显影成清晰的数字就是你对扩散模型理解质的飞跃时刻 进阶玩法用 muP 把扩散模型规模化到 ImageNetadvanced/目录展示了 minRF 的另一面——可规模化。它复现了 SD3 级别的完整配方muPMaximal Update Parameterization、MMDiT、FSDP/DeepSpeed甚至训练了一个 5.6B 参数的文生图模型。训练时先对不同宽度的小模型做 muP 网格搜索观察训练损失曲线是否对齐在同一盆地中——这正是能零样本迁移学习率的理论基础ImageNet 训练早期的采样输出advanced/contents/out_IN5.gif则展示了大规模整流流模型从噪声开始的生成过程。而最终的文生图能力可以直接看下面这只拿着法棍的柴犬——由advanced/inference/目录中的推理 notebook 生成对应的完整训练流程脚本在 advanced/main.py 与 advanced/run.sh 完整的高清文生图效果见 output.png由同一模型架构生成。小结minRF 值得收藏的原因最小化扩散模型的全部训练/采样逻辑集中在 rf.py读一遍就能懂现代化DiT 整流流 CFG与 SD3 等 SOTA 文生图模型同源可规模化从 MNIST 玩具实验到 5.6B ImageNet 文生图代码路径一脉相承。建议的学习路线先跑通 MNIST第3-5步→ 对照 rf.py 读代码 → 挑战 CIFAR-10 → 有余力再阅读 advanced/README.md 了解规模化细节。祝训练愉快早出图【免费下载链接】minRFMinimal implementation of scalable rectified flow transformers, based on SD3s approach项目地址: https://gitcode.com/gh_mirrors/mi/minRF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 5步训练一个扩散模型：minRF在MNIST和CIFAR-10上的快速上手教程
5步训练一个扩散模型minRF在MNIST和CIFAR-10上的快速上手教程【免费下载链接】minRFMinimal implementation of scalable rectified flow transformers, based on SD3s approach项目地址: https://gitcode.com/gh_mirrors/mi/minRFminRFMinimal Rectified Flow是一个极简的可规模化整流流Rectified FlowTransformer 扩散模型实现基于 SD3 的训练思路和 LLaMA-DiT 架构。整个项目自包含、代码量极小——只要跑一条命令你就能从零开始训练一个能在 MNIST 和 CIFAR-10 上生成图像的扩散模型非常适合想搞懂扩散模型到底怎么训练的新手。为什么选 minRF 学扩散模型很多人第一次接触扩散模型都会被动辄几千行的训练代码劝退。而 minRF 把整个训练流程压缩到了两个文件文件作用rf.py整流流的核心训练与采样逻辑不到 170 行dit.pyDiT-LLaMA 模型结构注意力、时间嵌入、标签嵌入它的核心思想非常直观训练随机抽一个时间步 t把真实图像 x 和纯噪声 z₁ 线性插值出中间状态 z_t让模型学习预测从图像指向噪声的速度场用 MSE 损失更新参数见 rf.py 中的RF.forward。采样从纯噪声出发沿直线一步步反向走回真实图像默认 50 步即可见 rf.py 中的RF.sample。条件生成通过类别嵌入 10% 的标签丢弃实现 Classifier-Free GuidanceCFG采样时可生成指定数字类别的图像。 如果你理解噪声 ↔ 图像之间的直线插值就理解了 minRF 的全部数学。5步上手从零训练你的第一个扩散模型第1步获取 minRF 代码git clone https://gitcode.com/gh_mirrors/mi/minRF cd minRF第2步安装依赖只需三个基础库环境准备 5 分钟内搞定pip install torch torchvision pillow建议准备一张 NVIDIA GPUCUDACPU 也能跑但会明显变慢。第3步一条命令训练 MNIST 扩散模型直接运行python rf.py这条命令会自动下载 MNIST 数据集构建一个约几 M 参数的小 DiTdim64, n_layers6, n_heads4用 Adam 优化器lr5e-4、batch size 256 开始训练。每训练完一个 epoch代码都会采样 16 张图覆盖 10 个类别并保存为 GIF方便你直观观察图像从噪声中浮现的过程。第4步一键切换到 CIFAR-10MNIST 练熟了加一个参数就能挑战彩色图像数据集python rf.py --cifar切换到 CIFAR-10 后模型会自动升级为dim256, n_layers10, n_heads8并对图像做随机裁剪、水平翻转等增强。作者给出的参考效果训练到第 63 个 epoch 左右生成结果大致长这样动图展示生成过程静态图为最终结果。第5步查看训练结果训练过程中会持续输出分时间步的损失统计每个 epoch 按 10 个 t 区间打印 loss帮你判断模型在不同噪声水平下的学习情况采样 GIFcontents/sample_{epoch}.gif保存噪声→图像的完整演变动画contents/sample_{epoch}_last.png保存最终静帧。看到噪声逐渐显影成清晰的数字就是你对扩散模型理解质的飞跃时刻 进阶玩法用 muP 把扩散模型规模化到 ImageNetadvanced/目录展示了 minRF 的另一面——可规模化。它复现了 SD3 级别的完整配方muPMaximal Update Parameterization、MMDiT、FSDP/DeepSpeed甚至训练了一个 5.6B 参数的文生图模型。训练时先对不同宽度的小模型做 muP 网格搜索观察训练损失曲线是否对齐在同一盆地中——这正是能零样本迁移学习率的理论基础ImageNet 训练早期的采样输出advanced/contents/out_IN5.gif则展示了大规模整流流模型从噪声开始的生成过程。而最终的文生图能力可以直接看下面这只拿着法棍的柴犬——由advanced/inference/目录中的推理 notebook 生成对应的完整训练流程脚本在 advanced/main.py 与 advanced/run.sh 完整的高清文生图效果见 output.png由同一模型架构生成。小结minRF 值得收藏的原因最小化扩散模型的全部训练/采样逻辑集中在 rf.py读一遍就能懂现代化DiT 整流流 CFG与 SD3 等 SOTA 文生图模型同源可规模化从 MNIST 玩具实验到 5.6B ImageNet 文生图代码路径一脉相承。建议的学习路线先跑通 MNIST第3-5步→ 对照 rf.py 读代码 → 挑战 CIFAR-10 → 有余力再阅读 advanced/README.md 了解规模化细节。祝训练愉快早出图【免费下载链接】minRFMinimal implementation of scalable rectified flow transformers, based on SD3s approach项目地址: https://gitcode.com/gh_mirrors/mi/minRF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考