1. 视频生成智能体的核心命题拆解1.1 从“单次生成”到“多轮决策”的范式转变VideoGen-Agent 这个标题里最值得琢磨的词其实是 Agent而不是 Video Generation。过去两年视频生成模型的能力提升主要沿着一条路径走更大的数据、更强的时序建模、更高的分辨率。但这条路径有一个天花板——模型在推理阶段是“一次性”的给它一个 prompt它吐出一段视频好不好全看这一把。而 Agent 的思路完全不同它把视频生成看作一个多轮决策过程模型可以在生成过程中观察中间结果、调整策略、重新规划甚至调用外部工具来辅助完成。这个转变的意义在于它把视频生成从“函数映射”问题变成了“序贯决策”问题。函数映射的优化目标是单步最优而序贯决策的优化目标是累积回报最大。这意味着我们可以用强化学习的整套方法论来训练视频生成智能体——这正是标题中 Reinforcing 一词的核心含义。我最初接触这个方向时的直觉是视频生成和语言模型不一样语言模型的输出是离散 token天然适合 RLHF 那套流程视频是连续像素空间怎么定义 reward怎么设计 action space这些问题在实际动手之前会觉得非常棘手。但真正深入之后会发现视频生成的 Agent 化其实有天然的优势——视频的时空结构本身就提供了丰富的中间信号每一帧、每一个片段都可以作为决策节点。1.2 为什么是“强化”而不是“微调”很多人第一反应是为什么不直接对视频生成模型做监督微调答案在于监督信号的本质差异。微调依赖的是“标准答案”但视频生成这件事本身就没有唯一正确答案。同一段文字描述可以生成无数种合理的视频。监督微调会强迫模型逼近某一个特定输出反而限制了生成多样性。强化学习的优势在于它只需要一个评价信号不需要标准答案。你可以用一个奖励模型来判断“这段视频是否忠实于文本描述”“运动是否自然”“画面是否连贯”然后让生成智能体自己去探索如何最大化这个奖励。这种范式更接近人类创作者的迭代过程——先出一个草稿看看哪里不对再改再出直到满意。从实操角度看强化视频生成智能体的核心挑战集中在三个层面奖励设计、动作空间定义、以及训练稳定性。这三个问题在后面的章节会逐一展开。1.3 适合谁来参考这套思路这篇文章面向的读者是已经对视频生成模型有基本了解、并且希望把生成质量再往上推一个台阶的从业者。如果你还在纠结怎么装环境、怎么跑第一个 demo那建议先补一下基础。但如果你已经能稳定生成视频只是觉得“差口气”——运动不够自然、文本对齐不够精准、长视频容易崩——那 Agent 化 强化学习的思路值得认真考虑。另外做多模态 Agent 方向的同学也可以参考因为视频生成智能体的很多设计思路工具调用、多轮规划、奖励塑形和通用 Agent 是相通的只是观测空间和动作空间换成了视频域。2. 奖励设计视频生成智能体的“指挥棒”2.1 奖励信号的三个层次设计视频生成智能体的奖励函数我习惯把它拆成三个层次来考虑第一层是像素级/帧级奖励。这是最底层的信号衡量的是单帧画面的质量——清晰度、纹理细节、色彩自然度。常用的做法是用一个预训练的图像质量评估模型来打分或者用 CLIP 类的模型计算帧与文本的相似度。这一层的好处是信号密集每一步都有反馈坏处是它容易让模型“短视”只关注单帧好看忽略了时序连贯性。第二层是片段级/时序奖励。这一层关注的是帧与帧之间的关系——运动是否平滑、物体是否保持一致性、镜头运动是否符合物理规律。实操中常用的方法是计算光流的一致性或者用一个视频理解模型来评估片段的整体质量。这一层的信号比第一层稀疏但更接近人类对视频质量的感知。第三层是全局/语义奖励。这是最高层的信号衡量的是整段视频是否忠实于文本描述、叙事是否完整、风格是否统一。这一层通常需要一个人工标注的偏好数据集来训练奖励模型成本最高但也最能反映真实需求。实操心得三层奖励的权重配比非常关键。我试过 1:1:1 的朴素配比结果模型学会了“刷分”——生成大量静态但单帧精美的画面来骗第一层奖励。后来调整为 0.3:0.4:0.3并且对第一层奖励做了方差惩罚奖励高方差意味着画面闪烁效果明显改善。2.2 奖励模型训练中的数据陷阱训练视频奖励模型时最大的坑是数据偏差。如果你用的偏好数据全部来自同一个基础模型生成的视频那奖励模型会学到这个模型的“风格偏好”而不是真正的质量偏好。结果就是强化训练之后生成智能体只是更擅长模仿基础模型的风格而不是真正变好。我的做法是混合多个来源的数据不同基础模型生成的视频、真实拍摄的视频、人工编辑过的视频。比例上大概是 5:3:2。真实视频的加入尤其重要它给奖励模型提供了一个“锚点”防止它漂移到某个模型的特定风格上。另一个坑是长度偏差。人类标注员倾向于给长视频打高分因为“信息量更大”。但视频生成任务里长度并不等于质量。解决办法是在奖励模型训练时加入长度归一化或者在偏好数据收集时控制视频长度一致。2.3 奖励塑形的实操技巧奖励塑形是强化学习里的老话题但在视频生成场景下有新的玩法。我总结了几条实用的时间折扣要慎用。传统 RL 里 γ0.99 是标配但视频生成中如果折扣太狠模型会倾向于在开头几帧就把“好画面”用完后面摆烂。我一般用 γ0.995 甚至更高让模型有动力维持整段视频的质量。加入“一致性奖励”。具体做法是计算相邻帧之间特征的余弦相似度如果相似度突然掉下去就扣分。这个信号很便宜但对防止画面崩坏非常有效。用“对比奖励”替代绝对奖励。与其让奖励模型输出一个绝对分数不如让它判断“A 比 B 好多少”。对比信号更稳定也更符合人类标注的认知习惯。3. 动作空间与策略网络设计3.1 视频生成智能体到底能“做”什么这是设计中最容易含糊的地方。如果动作空间定义得太窄Agent 就退化成了普通的生成模型定义得太宽训练难度会爆炸。我的经验是把动作分成三类第一类是生成参数调整。比如调整去噪步数、引导系数、运动强度等。这些是连续动作可以用高斯策略网络输出。好处是动作空间小、训练稳定坏处是表达能力有限只能微调不能大改。第二类是片段级重生成。Agent 可以决定“这一段不行重新生成”。这是一个离散动作配合一个“接受/拒绝”的二元决策。这个动作让 Agent 有了“迭代修改”的能力是 Agent 化的核心价值所在。第三类是工具调用。比如调用一个超分模型来提升特定帧的清晰度或者调用一个插帧模型来平滑运动。这类动作需要预定义工具集Agent 学习在什么情况下调用哪个工具。注意工具调用动作的引入会显著增加训练复杂度因为工具的输出会改变状态转移的分布。建议先用前两类动作把基础流程跑通再逐步加入工具调用。3.2 策略网络架构的选型考量策略网络的架构选择取决于你用什么基础模型。如果基础模型本身是 Transformer 架构那最自然的做法是在它的隐层之上加一个策略头。具体来说取最后一层 hidden state 的池化表示接一个 MLP 输出动作分布。但这里有个细节视频生成模型的隐层表示维度通常很高1024 或 2048直接接策略头容易过拟合。我的做法是先做一个降维投影把 2048 维压到 256 维再接策略头。这个投影层可以用一个线性层加 LayerNorm 实现训练时和策略头一起更新。另一个选择是是否共享基础模型和策略网络的参数。共享的好处是策略网络能利用基础模型已经学到的视频先验样本效率更高坏处是训练时容易把基础模型的能力“带偏”。我一般先用共享参数快速 warm-up然后解冻基础模型做小学习率的联合微调。3.3 动作空间的离散化 vs 连续化这是一个经典的权衡。连续动作空间比如直接输出引导系数的值表达能力强但训练不稳定容易陷入局部最优。离散动作空间比如把引导系数分成 5 档训练稳定但精度受限。我的折中方案是混合动作空间粗粒度用离散细粒度用连续。比如先让 Agent 选择“运动强度”的档位低/中/高再在这个档位内用连续动作微调具体数值。这样既保证了训练稳定性又保留了精细控制的能力。实测下来混合动作空间的收敛速度比纯连续快 30% 左右最终性能比纯离散高 15% 左右。这个提升在视频生成任务里是很可观的。4. 训练流程与工程实现4.1 整体训练架构训练 VideoGen-Agent 的架构可以分成四个模块环境视频生成器、策略网络、奖励模型、经验回放池。数据流是这样的策略网络根据当前状态输出动作环境执行动作生成新视频奖励模型给新视频打分然后把这个 transition 存入回放池训练时从池里采样更新策略。这里的关键工程问题是环境的速度。视频生成本身就很慢如果每步都要等几秒甚至几十秒训练效率会低到无法接受。我的优化方案是用蒸馏版的小模型作为训练时的环境只在最终评估时用完整模型。批量生成一次让策略网络输出多个动作并行生成多个视频然后批量打分。异步架构环境生成和策略更新放在不同的进程里用队列通信。这套优化下来训练速度大概能提升 5-8 倍。虽然还是比语言模型 RLHF 慢很多但至少到了可接受的范围。4.2 关键超参数与调参经验下面这张表是我在多个项目里总结出来的超参数起点可以直接拿来用参数推荐值说明学习率策略1e-5 ~ 3e-5比监督学习小一个量级学习率奖励模型1e-4奖励模型可以稍大折扣因子 γ0.995视频任务需要长视野GAE λ0.95标准值一般不用调裁剪系数 ε0.2PPO 标配批量大小32 ~ 64受显存限制回放池大小10000太小容易过拟合奖励归一化滑动平均必须做否则训练不稳调参时优先调学习率和奖励归一化这两个对训练稳定性的影响最大。折扣因子和 GAE 一般用默认值就行除非你的视频特别长超过 100 帧。4.3 训练不稳定的典型表现与对策视频生成智能体的训练比语言模型 RLHF 更容易崩典型表现有三种第一种是奖励崩塌。训练初期奖励上升然后突然掉到负值再也起不来。原因通常是策略更新步子太大把基础模型的能力破坏了。对策是减小学习率、增大裁剪系数、加入 KL 惩罚项。第二种是模式坍塌。Agent 学会了生成某一种“安全”的视频奖励稳定但多样性消失。对策是加入熵正则化或者在奖励里加入多样性项。第三种是奖励黑客。Agent 找到了奖励模型的漏洞生成人类看起来很差但奖励模型打高分的视频。对策是定期用人工评估校准奖励模型发现漏洞后及时补数据重新训练。实操心得训练过程中一定要定期保存 checkpoint并且用固定的测试 prompt 集做评估。我一般每 1000 步存一次每 5000 步做一次完整评估。这样即使训练崩了也能回滚到之前的状态。5. 常见问题排查与避坑指南5.1 生成视频“闪烁”严重怎么办闪烁是视频生成里最常见的问题表现为相邻帧之间画面内容突变。从 Agent 的角度看这通常是时序奖励信号太弱导致的。排查步骤检查时序奖励的权重是否过低。如果像素级奖励占主导Agent 会忽略时序一致性。检查光流一致性奖励的计算是否正确。常见错误是用了错误的帧间隔导致信号噪声大。考虑在动作空间里加入“平滑度”动作让 Agent 可以主动调整帧间插值强度。我遇到过一次闪烁问题排查了半天发现是奖励模型训练数据里混入了大量剪辑视频镜头切换频繁导致奖励模型本身对闪烁不敏感。重新清洗数据后问题解决。5.2 文本对齐度上不去文本对齐是视频生成的老大难问题。Agent 化之后理论上可以通过多轮迭代改善对齐但实操中经常发现 Agent 只是在“刷”文本相似度奖励生成的视频虽然 CLIP 分数高但人类看起来并不觉得更贴合描述。根本原因是 CLIP 类的相似度模型对视频的理解有限它更多是在匹配关键词而不是理解语义。对策是引入一个更强的视频-文本对齐评估模型或者在奖励里加入“关键物体出现”的硬性检查。另一个技巧是分阶段对齐先让 Agent 确保视频里出现了文本描述的所有关键物体再优化运动方式和风格。这种课程学习的方式比一步到位更稳定。5.3 训练速度太慢的优化路径视频生成 Agent 的训练速度是绕不过去的坎。除了前面提到的蒸馏和异步架构还有几个实操技巧帧率降采样训练时用 8fps 生成评估时用 24fps。大部分时序奖励信号在低帧率下依然有效。分辨率降采样训练时用 256x256评估时用 512x512。分辨率对奖励信号的影响远小于对生成质量的影响。缓存奖励模型输出如果同一个视频被多次采样奖励只需要算一次。用一个哈希表缓存能省不少计算。这些技巧组合使用训练速度可以再提升 3-4 倍。当然最终评估必须用完整配置否则指标不可比。5.4 常见问题速查表问题现象可能原因排查方向解决方案奖励不上升学习率过大/奖励未归一化检查梯度范数降学习率、加奖励归一化奖励上升但视频变差奖励黑客人工评估对比补数据重训奖励模型训练后期崩溃KL 散度过大监控 KL 值加 KL 惩罚、减小学习率生成多样性消失熵坍塌检查动作分布熵加熵正则、提高温度长视频质量下降折扣因子过小检查 γ 设置提高 γ 到 0.995工具调用不生效工具奖励信号太稀疏检查工具调用频率加工具调用的 shaping reward6. 效果评估与迭代方向6.1 怎么判断 Agent 真的“变好了”评估视频生成 Agent 比评估语言模型难得多因为视频质量是多维的。我一般用三个维度的指标自动指标FVDFréchet Video Distance、CLIP 相似度、光流一致性分数。这些指标便宜、可复现但和人类感知有差距。人工评估找 5-10 个标注员对视频的文本对齐、运动自然度、画面质量分别打分。成本高但最可靠。A/B 测试把 Agent 生成的视频和基线模型的视频混在一起让标注员选哪个更好。这种方法最能反映真实偏好。我的经验是自动指标用来监控训练过程人工评估用来做关键决策A/B 测试用来做最终验收。三者缺一不可。6.2 从单 Agent 到多 Agent 协作单 Agent 的能力边界是明显的——它只能在一个固定的动作空间里做决策。如果要进一步突破一个自然的方向是多 Agent 协作一个 Agent 负责生成一个 Agent 负责评估一个 Agent 负责修改。这种架构在语言模型领域已经有成功案例视频领域应该也能走通。具体设计上生成 Agent 和评估 Agent 可以共享基础模型但有不同的策略头修改 Agent 则专注于局部编辑。三个 Agent 通过一个共享的“视频状态”来通信。训练时可以用合作博弈的框架让三个 Agent 的奖励相互关联。这个方向我目前还在探索阶段初步实验显示多 Agent 架构在长视频生成任务上有优势但训练复杂度也显著上升。如果你也在做类似的方向欢迎交流。6.3 实际项目中的取舍建议最后分享几条我在实际项目里的取舍经验不要追求一步到位。先把基础的单 Agent 简单奖励跑通再逐步加复杂度。我见过太多项目一上来就设计复杂的多 Agent 架构结果连基础流程都没跑通。奖励模型的质量决定上限。策略网络再强奖励模型不行也白搭。建议把 60% 的精力花在奖励模型上。工程优化和算法创新同样重要。视频生成 Agent 的训练成本很高工程上省下来的时间可以让你多跑几轮实验多试几个想法。保持人类在环。完全自动化的训练很容易跑偏定期的人工评估和干预是必要的。我一般每周做一次人工评估根据结果调整训练方向。这套思路我在几个项目里验证过效果是实打实的。当然具体到你的场景还需要根据基础模型的能力、计算资源、任务特点做调整。核心原则不变把视频生成看作序贯决策问题用强化学习的方法去优化累积质量而不是单步质量。这个视角的转变往往比任何具体的算法技巧都更重要。 强化学习驱动的视频生成智能体：奖励设计与训练实战
1. 视频生成智能体的核心命题拆解1.1 从“单次生成”到“多轮决策”的范式转变VideoGen-Agent 这个标题里最值得琢磨的词其实是 Agent而不是 Video Generation。过去两年视频生成模型的能力提升主要沿着一条路径走更大的数据、更强的时序建模、更高的分辨率。但这条路径有一个天花板——模型在推理阶段是“一次性”的给它一个 prompt它吐出一段视频好不好全看这一把。而 Agent 的思路完全不同它把视频生成看作一个多轮决策过程模型可以在生成过程中观察中间结果、调整策略、重新规划甚至调用外部工具来辅助完成。这个转变的意义在于它把视频生成从“函数映射”问题变成了“序贯决策”问题。函数映射的优化目标是单步最优而序贯决策的优化目标是累积回报最大。这意味着我们可以用强化学习的整套方法论来训练视频生成智能体——这正是标题中 Reinforcing 一词的核心含义。我最初接触这个方向时的直觉是视频生成和语言模型不一样语言模型的输出是离散 token天然适合 RLHF 那套流程视频是连续像素空间怎么定义 reward怎么设计 action space这些问题在实际动手之前会觉得非常棘手。但真正深入之后会发现视频生成的 Agent 化其实有天然的优势——视频的时空结构本身就提供了丰富的中间信号每一帧、每一个片段都可以作为决策节点。1.2 为什么是“强化”而不是“微调”很多人第一反应是为什么不直接对视频生成模型做监督微调答案在于监督信号的本质差异。微调依赖的是“标准答案”但视频生成这件事本身就没有唯一正确答案。同一段文字描述可以生成无数种合理的视频。监督微调会强迫模型逼近某一个特定输出反而限制了生成多样性。强化学习的优势在于它只需要一个评价信号不需要标准答案。你可以用一个奖励模型来判断“这段视频是否忠实于文本描述”“运动是否自然”“画面是否连贯”然后让生成智能体自己去探索如何最大化这个奖励。这种范式更接近人类创作者的迭代过程——先出一个草稿看看哪里不对再改再出直到满意。从实操角度看强化视频生成智能体的核心挑战集中在三个层面奖励设计、动作空间定义、以及训练稳定性。这三个问题在后面的章节会逐一展开。1.3 适合谁来参考这套思路这篇文章面向的读者是已经对视频生成模型有基本了解、并且希望把生成质量再往上推一个台阶的从业者。如果你还在纠结怎么装环境、怎么跑第一个 demo那建议先补一下基础。但如果你已经能稳定生成视频只是觉得“差口气”——运动不够自然、文本对齐不够精准、长视频容易崩——那 Agent 化 强化学习的思路值得认真考虑。另外做多模态 Agent 方向的同学也可以参考因为视频生成智能体的很多设计思路工具调用、多轮规划、奖励塑形和通用 Agent 是相通的只是观测空间和动作空间换成了视频域。2. 奖励设计视频生成智能体的“指挥棒”2.1 奖励信号的三个层次设计视频生成智能体的奖励函数我习惯把它拆成三个层次来考虑第一层是像素级/帧级奖励。这是最底层的信号衡量的是单帧画面的质量——清晰度、纹理细节、色彩自然度。常用的做法是用一个预训练的图像质量评估模型来打分或者用 CLIP 类的模型计算帧与文本的相似度。这一层的好处是信号密集每一步都有反馈坏处是它容易让模型“短视”只关注单帧好看忽略了时序连贯性。第二层是片段级/时序奖励。这一层关注的是帧与帧之间的关系——运动是否平滑、物体是否保持一致性、镜头运动是否符合物理规律。实操中常用的方法是计算光流的一致性或者用一个视频理解模型来评估片段的整体质量。这一层的信号比第一层稀疏但更接近人类对视频质量的感知。第三层是全局/语义奖励。这是最高层的信号衡量的是整段视频是否忠实于文本描述、叙事是否完整、风格是否统一。这一层通常需要一个人工标注的偏好数据集来训练奖励模型成本最高但也最能反映真实需求。实操心得三层奖励的权重配比非常关键。我试过 1:1:1 的朴素配比结果模型学会了“刷分”——生成大量静态但单帧精美的画面来骗第一层奖励。后来调整为 0.3:0.4:0.3并且对第一层奖励做了方差惩罚奖励高方差意味着画面闪烁效果明显改善。2.2 奖励模型训练中的数据陷阱训练视频奖励模型时最大的坑是数据偏差。如果你用的偏好数据全部来自同一个基础模型生成的视频那奖励模型会学到这个模型的“风格偏好”而不是真正的质量偏好。结果就是强化训练之后生成智能体只是更擅长模仿基础模型的风格而不是真正变好。我的做法是混合多个来源的数据不同基础模型生成的视频、真实拍摄的视频、人工编辑过的视频。比例上大概是 5:3:2。真实视频的加入尤其重要它给奖励模型提供了一个“锚点”防止它漂移到某个模型的特定风格上。另一个坑是长度偏差。人类标注员倾向于给长视频打高分因为“信息量更大”。但视频生成任务里长度并不等于质量。解决办法是在奖励模型训练时加入长度归一化或者在偏好数据收集时控制视频长度一致。2.3 奖励塑形的实操技巧奖励塑形是强化学习里的老话题但在视频生成场景下有新的玩法。我总结了几条实用的时间折扣要慎用。传统 RL 里 γ0.99 是标配但视频生成中如果折扣太狠模型会倾向于在开头几帧就把“好画面”用完后面摆烂。我一般用 γ0.995 甚至更高让模型有动力维持整段视频的质量。加入“一致性奖励”。具体做法是计算相邻帧之间特征的余弦相似度如果相似度突然掉下去就扣分。这个信号很便宜但对防止画面崩坏非常有效。用“对比奖励”替代绝对奖励。与其让奖励模型输出一个绝对分数不如让它判断“A 比 B 好多少”。对比信号更稳定也更符合人类标注的认知习惯。3. 动作空间与策略网络设计3.1 视频生成智能体到底能“做”什么这是设计中最容易含糊的地方。如果动作空间定义得太窄Agent 就退化成了普通的生成模型定义得太宽训练难度会爆炸。我的经验是把动作分成三类第一类是生成参数调整。比如调整去噪步数、引导系数、运动强度等。这些是连续动作可以用高斯策略网络输出。好处是动作空间小、训练稳定坏处是表达能力有限只能微调不能大改。第二类是片段级重生成。Agent 可以决定“这一段不行重新生成”。这是一个离散动作配合一个“接受/拒绝”的二元决策。这个动作让 Agent 有了“迭代修改”的能力是 Agent 化的核心价值所在。第三类是工具调用。比如调用一个超分模型来提升特定帧的清晰度或者调用一个插帧模型来平滑运动。这类动作需要预定义工具集Agent 学习在什么情况下调用哪个工具。注意工具调用动作的引入会显著增加训练复杂度因为工具的输出会改变状态转移的分布。建议先用前两类动作把基础流程跑通再逐步加入工具调用。3.2 策略网络架构的选型考量策略网络的架构选择取决于你用什么基础模型。如果基础模型本身是 Transformer 架构那最自然的做法是在它的隐层之上加一个策略头。具体来说取最后一层 hidden state 的池化表示接一个 MLP 输出动作分布。但这里有个细节视频生成模型的隐层表示维度通常很高1024 或 2048直接接策略头容易过拟合。我的做法是先做一个降维投影把 2048 维压到 256 维再接策略头。这个投影层可以用一个线性层加 LayerNorm 实现训练时和策略头一起更新。另一个选择是是否共享基础模型和策略网络的参数。共享的好处是策略网络能利用基础模型已经学到的视频先验样本效率更高坏处是训练时容易把基础模型的能力“带偏”。我一般先用共享参数快速 warm-up然后解冻基础模型做小学习率的联合微调。3.3 动作空间的离散化 vs 连续化这是一个经典的权衡。连续动作空间比如直接输出引导系数的值表达能力强但训练不稳定容易陷入局部最优。离散动作空间比如把引导系数分成 5 档训练稳定但精度受限。我的折中方案是混合动作空间粗粒度用离散细粒度用连续。比如先让 Agent 选择“运动强度”的档位低/中/高再在这个档位内用连续动作微调具体数值。这样既保证了训练稳定性又保留了精细控制的能力。实测下来混合动作空间的收敛速度比纯连续快 30% 左右最终性能比纯离散高 15% 左右。这个提升在视频生成任务里是很可观的。4. 训练流程与工程实现4.1 整体训练架构训练 VideoGen-Agent 的架构可以分成四个模块环境视频生成器、策略网络、奖励模型、经验回放池。数据流是这样的策略网络根据当前状态输出动作环境执行动作生成新视频奖励模型给新视频打分然后把这个 transition 存入回放池训练时从池里采样更新策略。这里的关键工程问题是环境的速度。视频生成本身就很慢如果每步都要等几秒甚至几十秒训练效率会低到无法接受。我的优化方案是用蒸馏版的小模型作为训练时的环境只在最终评估时用完整模型。批量生成一次让策略网络输出多个动作并行生成多个视频然后批量打分。异步架构环境生成和策略更新放在不同的进程里用队列通信。这套优化下来训练速度大概能提升 5-8 倍。虽然还是比语言模型 RLHF 慢很多但至少到了可接受的范围。4.2 关键超参数与调参经验下面这张表是我在多个项目里总结出来的超参数起点可以直接拿来用参数推荐值说明学习率策略1e-5 ~ 3e-5比监督学习小一个量级学习率奖励模型1e-4奖励模型可以稍大折扣因子 γ0.995视频任务需要长视野GAE λ0.95标准值一般不用调裁剪系数 ε0.2PPO 标配批量大小32 ~ 64受显存限制回放池大小10000太小容易过拟合奖励归一化滑动平均必须做否则训练不稳调参时优先调学习率和奖励归一化这两个对训练稳定性的影响最大。折扣因子和 GAE 一般用默认值就行除非你的视频特别长超过 100 帧。4.3 训练不稳定的典型表现与对策视频生成智能体的训练比语言模型 RLHF 更容易崩典型表现有三种第一种是奖励崩塌。训练初期奖励上升然后突然掉到负值再也起不来。原因通常是策略更新步子太大把基础模型的能力破坏了。对策是减小学习率、增大裁剪系数、加入 KL 惩罚项。第二种是模式坍塌。Agent 学会了生成某一种“安全”的视频奖励稳定但多样性消失。对策是加入熵正则化或者在奖励里加入多样性项。第三种是奖励黑客。Agent 找到了奖励模型的漏洞生成人类看起来很差但奖励模型打高分的视频。对策是定期用人工评估校准奖励模型发现漏洞后及时补数据重新训练。实操心得训练过程中一定要定期保存 checkpoint并且用固定的测试 prompt 集做评估。我一般每 1000 步存一次每 5000 步做一次完整评估。这样即使训练崩了也能回滚到之前的状态。5. 常见问题排查与避坑指南5.1 生成视频“闪烁”严重怎么办闪烁是视频生成里最常见的问题表现为相邻帧之间画面内容突变。从 Agent 的角度看这通常是时序奖励信号太弱导致的。排查步骤检查时序奖励的权重是否过低。如果像素级奖励占主导Agent 会忽略时序一致性。检查光流一致性奖励的计算是否正确。常见错误是用了错误的帧间隔导致信号噪声大。考虑在动作空间里加入“平滑度”动作让 Agent 可以主动调整帧间插值强度。我遇到过一次闪烁问题排查了半天发现是奖励模型训练数据里混入了大量剪辑视频镜头切换频繁导致奖励模型本身对闪烁不敏感。重新清洗数据后问题解决。5.2 文本对齐度上不去文本对齐是视频生成的老大难问题。Agent 化之后理论上可以通过多轮迭代改善对齐但实操中经常发现 Agent 只是在“刷”文本相似度奖励生成的视频虽然 CLIP 分数高但人类看起来并不觉得更贴合描述。根本原因是 CLIP 类的相似度模型对视频的理解有限它更多是在匹配关键词而不是理解语义。对策是引入一个更强的视频-文本对齐评估模型或者在奖励里加入“关键物体出现”的硬性检查。另一个技巧是分阶段对齐先让 Agent 确保视频里出现了文本描述的所有关键物体再优化运动方式和风格。这种课程学习的方式比一步到位更稳定。5.3 训练速度太慢的优化路径视频生成 Agent 的训练速度是绕不过去的坎。除了前面提到的蒸馏和异步架构还有几个实操技巧帧率降采样训练时用 8fps 生成评估时用 24fps。大部分时序奖励信号在低帧率下依然有效。分辨率降采样训练时用 256x256评估时用 512x512。分辨率对奖励信号的影响远小于对生成质量的影响。缓存奖励模型输出如果同一个视频被多次采样奖励只需要算一次。用一个哈希表缓存能省不少计算。这些技巧组合使用训练速度可以再提升 3-4 倍。当然最终评估必须用完整配置否则指标不可比。5.4 常见问题速查表问题现象可能原因排查方向解决方案奖励不上升学习率过大/奖励未归一化检查梯度范数降学习率、加奖励归一化奖励上升但视频变差奖励黑客人工评估对比补数据重训奖励模型训练后期崩溃KL 散度过大监控 KL 值加 KL 惩罚、减小学习率生成多样性消失熵坍塌检查动作分布熵加熵正则、提高温度长视频质量下降折扣因子过小检查 γ 设置提高 γ 到 0.995工具调用不生效工具奖励信号太稀疏检查工具调用频率加工具调用的 shaping reward6. 效果评估与迭代方向6.1 怎么判断 Agent 真的“变好了”评估视频生成 Agent 比评估语言模型难得多因为视频质量是多维的。我一般用三个维度的指标自动指标FVDFréchet Video Distance、CLIP 相似度、光流一致性分数。这些指标便宜、可复现但和人类感知有差距。人工评估找 5-10 个标注员对视频的文本对齐、运动自然度、画面质量分别打分。成本高但最可靠。A/B 测试把 Agent 生成的视频和基线模型的视频混在一起让标注员选哪个更好。这种方法最能反映真实偏好。我的经验是自动指标用来监控训练过程人工评估用来做关键决策A/B 测试用来做最终验收。三者缺一不可。6.2 从单 Agent 到多 Agent 协作单 Agent 的能力边界是明显的——它只能在一个固定的动作空间里做决策。如果要进一步突破一个自然的方向是多 Agent 协作一个 Agent 负责生成一个 Agent 负责评估一个 Agent 负责修改。这种架构在语言模型领域已经有成功案例视频领域应该也能走通。具体设计上生成 Agent 和评估 Agent 可以共享基础模型但有不同的策略头修改 Agent 则专注于局部编辑。三个 Agent 通过一个共享的“视频状态”来通信。训练时可以用合作博弈的框架让三个 Agent 的奖励相互关联。这个方向我目前还在探索阶段初步实验显示多 Agent 架构在长视频生成任务上有优势但训练复杂度也显著上升。如果你也在做类似的方向欢迎交流。6.3 实际项目中的取舍建议最后分享几条我在实际项目里的取舍经验不要追求一步到位。先把基础的单 Agent 简单奖励跑通再逐步加复杂度。我见过太多项目一上来就设计复杂的多 Agent 架构结果连基础流程都没跑通。奖励模型的质量决定上限。策略网络再强奖励模型不行也白搭。建议把 60% 的精力花在奖励模型上。工程优化和算法创新同样重要。视频生成 Agent 的训练成本很高工程上省下来的时间可以让你多跑几轮实验多试几个想法。保持人类在环。完全自动化的训练很容易跑偏定期的人工评估和干预是必要的。我一般每周做一次人工评估根据结果调整训练方向。这套思路我在几个项目里验证过效果是实打实的。当然具体到你的场景还需要根据基础模型的能力、计算资源、任务特点做调整。核心原则不变把视频生成看作序贯决策问题用强化学习的方法去优化累积质量而不是单步质量。这个视角的转变往往比任何具体的算法技巧都更重要。