图像生成视频Image-to-Video最近一年几乎是 AI 内容创作赛道最拥挤的方向。但真正让开发者头疼的往往不是能不能动起来而是动不动就跑偏明明给了一张参考图生成三秒之后人物衣服变了、场景道具消失了、画面里又多出来一堆根本没有要求的东西。这个问题的技术名词叫 Adherence遵循度/一致性也是很多视频生成模型评测榜单上最难看的一项。而今天要聊的 Agentic Optimization正是在把反复人工调参变成让 Agent 自动优化生成策略的新思路。如果你尝试过用图像生成视频应该会对下面这套流程非常熟悉Step 1写一段 promptStep 2输入一张参考图Step 3生成 5 秒视频Step 4检查人物是不是变成另一个人Step 5发现不对改写 prompt换 seed再来一遍。运气好试三五次能出一个满意的版本运气不好试一个下午都卡在身份漂移和物体变形上。这篇文章想说明白的是这个反复试错的过程并不完全是运气问题而是缺少一个系统化的优化框架。Agentic Optimization 要做的事情就是把这个黑盒试错过程拆成可观测、可量化、可自动迭代的工程闭环。文章会从 Adherence 到底难在哪开始再讲清楚 Agentic Optimization 的核心设计思想然后给出一个最小可运行的 Python 实现框架包括环境准备、代码示例、效果验证、常见问题与最佳实践。读完之后你可以用这套思路去评估自己正在用的视频生成模型也可以把它改造成适合自己业务的视频生成调优工具。本文不是某一个模型的具体评测而是一套可以复用到不同工具链上的优化方法。1. 这篇文章真正要解决的问题1.1 一个真实场景商品宣传视频的一致性翻车假设你在一家电商公司做算法工程任务是做一个产品图转动态展示视频的功能。输入是一张白色保温杯的产品图需求是输出一段 5 秒视频杯子要绕着中心轴旋转一圈背景是干净的浅灰色光影要自然杯身不能变形。这个需求听起来不难但真正用现成图像生成视频模型跑一遍你会立刻发现问题杯子在旋转过程中可能突然变成另一款杯子杯盖消失又出现背景从浅灰变成木桌甚至杯子倒映在水面上。这些问题都属于 Adherence 失败。更麻烦的是这些失败不是每次都出现换个 seed 可能就好一些但生成质量又不稳定。传统做法是让算法工程师一遍一遍改 prompt试各种负面提示词再把成功的 seed 和参数记下来写成一份经验文档。但项目一多、需求一变经验文档就失效了。因为每个产品图的视觉特征、每个模型的训练偏好、每次生成任务的语义要求都不一样手工试错积累了太多隐性依赖。1.2 为什么人工试错在视频生成场景会失效文本生成图像时代人工试错虽然耗时但至少可以几十张图同时并行快速看出趋势。到了图像生成视频阶段试错成本显著上升单次生成时间更长通常需要数十秒到数分钟并行也会受到显存和排队限制。评估维度更多既要看首帧是否遵循参考图也要看中后段是否发生语义漂移、运动是否合理、结尾是否崩坏。失败原因更难定位一个视频效果差可能是 prompt 问题、参考图预处理问题、模型随机性问题也可能是采样步数和 CFG 参数问题。如果还用改一句 prompt 看看效果的方式来调效率很难跟上内容生产的节奏。尤其是当你要在一个评测集上验证几十个 prompt 变体时人工打分的方差太大很难判断到底是模型变强了还是你运气变好了。1.3 谁最适合用 Agentic Optimization从当前工程成熟度看Agentic Optimization 并不是一个开箱即用的解决方案而是一种需要自己搭建的框架思路。最适合它的读者有三类一类是在做视频生成 API 或开源模型二次开发的工程师需要持续评估和提升模型对输入图像的一致性。一类是内容平台或营销团队的算法同学需要为大量商品图、角色图生成可复用的视频模板不能每个素材都手工调参。一类是正在做 Agent 应用的开发者想找到 Image-to-Video 之外更通用的生成质量自动优化范式。如果你只是想临时跑一个视频 demo那直接调用现成平台可能更快。但如果你已经积累了一个评测集并且每天都在被模型怎么调都不稳定折磨这篇文章应该能给你一个相对完整的解决框架。2. Adherence 是什么一致性难题的三层拆解2.1 语义层面画面是否呈现了提示词和参考图要求的内容语义层面是最好理解的一层。它的意思是生成的视频是否出现了 prompt 和参考图里明确要求的对象、动作、环境。举例prompt 写一只白色猫在窗台上看雨保持旁白视角参考图是一只白猫侧脸。如果生成的视频里猫变成了橘猫或者窗台变成了室外草地这就是语义层 Adherence 失败。这一层通常可以通过更清晰的 prompt、更高质量的参考图预处理、以及负面提示词来缓解。但难点在于不同的视频生成模型对语义权重的敏感度差异很大。有的模型非常听 prompt但对参考图细节不敏感有的模型过度依赖参考图反而忽略了 prompt 中明确的动作要求。所以单纯靠prompt 写得更长并不一定有效。需要在 Agent 的优化目标里把语义一致性拆成多个可打分的小项比如对象类别是否一致动作是否完整场景元素是否保留。2.2 实体/身份层面参考图中的核心对象是否保持身份稳定实体一致性是 Adherence 中最难也最影响观感的部分。对于人物形象来说它表现为这张脸还是不是同一个人对于商品来说它表现为这个保温杯的杯盖、颜色、纹理是否与原图一致对于场景来说它表现为背景里的招牌、装饰物是否保持同一套设计。身份漂移Identity Drift几乎是所有图像生成视频模型的通病。原因在于视频生成模型往往是在大规模视频-文本对上学到的时空表征它更擅长看起来合理的动作而不一定擅长保持严格画面对应。从工程角度理解可以参考图提供的是高维视觉条件但模型在做时序去噪时每一帧的噪声估计都可能偏离这个条件。Agentic Optimization 在这一层的优化手段包括动态修改 prompt 中对身份的描述、尝试不同的参考图预处理方式如裁剪、放大、补全、调整模型对参考图条件的权重以及在多个候选视频中优先选择身份一致性得分最高的结果。2.3 时空运动层面连续帧之间是否自然且不违背物理规律第三层是运动学与时间一致性。一个视频生成结果即使每一帧都是清晰的也可能因为时间维度上的不连贯而显得假。常见问题包括物体穿越、形变、闪烁、运动幅度和参考图静态构图冲突等。这个问题不会完全由 prompt 解决更多取决于视频生成模型本身的运动先验。但 Agent 能做的事情是通过多次采样来评估运动质量然后筛选最优结果或者在生成后处理阶段通过插帧、修复、关键帧重新生成等方式修正时间不一致。这里需要注意的是Agent 优化的目标不仅是平均分更高还要考虑最差帧的分数否则一个 5 秒视频里只要有一帧崩坏整体观感就会很差。下表总结了三个维度的典型问题与可调因素一致性维度典型失败现象主要可调因素常用评估思路语义一致性对象类别变化、动作缺失、场景不符Prompt、负面提示词、参考图描述CLIP 相似度、LLM 结构化打分实体/身份一致性人物换脸、商品变形、颜色漂移参考图权重、参考图预处理、身份描述人脸相似度、特征相似度、人工比对时空运动一致性闪烁、穿越、形变、卡顿采样步数、CFG、种子、后处理插帧帧间差异指标、光流、人工抽检从上面这张表可以看出Adherence 不是一个单一指标而是多个维度的综合表现。因此Agentic Optimization 的第一步就是把一个模糊的生成效果不好分解成可计算的子目标。3. Agentic Optimization 的核心设计思想3.1 传统 Workflow 与 Agentic Workflow 的对比在开始写代码之前先梳理一下范式差异。传统的图像生成视频调参流程是一个人工闭环人理解需求人写 prompt设定参数模型生成人看结果判断好坏人根据经验调整下一步。这个闭环的瓶颈在人的认知带宽人不可能在短时间内穷举大量参数组合也不可能完全客观地评价几十个视频的优劣。而 Agentic Optimization 的目标是把理解需求、写提示词、判断结果、调整策略这四个环节尽可能自动化成一个循环把需求结构化输入给 AgentAgent 依据当前策略生成候选 prompt 与参数调用视频生成模型得到候选视频通过自动评估模块计算各维度分数Agent 根据分数更新策略进入下一轮迭代。对比来看传统方式的优势是灵活、有人味Agentic 方式的优势是可扩展、可复现、可批量处理。这不是要完全取代人工而是把人的精力从重复试错中释放出来去定目标、建评测集、做最后审核。3.2 核心组件Planner、Executor、Evaluator、Memory、Optimizer一个完整的 Agentic Optimization 系统通常包含五个角色下面用通俗方式解释Planner规划器根据任务描述和当前状态决定下一步要尝试哪些 prompt 变体、参数组合。它可以把一个大目标拆成先解决身份漂移再优化运动自然度之类的子任务。Executor执行器负责真正调用图像生成视频模型。它屏蔽了不同模型 API 的差异把 prompt、参考图路径、参数、seed 统一转换成模型需要的请求格式。Evaluator评估器对 Executor 的输出视频进行打分。它可能是一个多模型组成的评测模块比如一个模型负责语义相似度一个模型负责身份一致性一个模型检测运动是否异常。Memory记忆体保存每一轮迭代的 prompt、参数、评测分数、视频路径。它让 Agent 能记住哪类 prompt 在这个模型上有效也能支持多轮优化之间的经验复用。Optimizer优化器基于 Evaluator 的分数生成下一轮策略。它可以是规则引擎也可以是一套启发式搜索算法还可以是调用大语言模型来完成从失败样本中总结规律的任务。这五个组件组合起来就形成了一个可以运行数小时的自动化搜索过程。理论上它可以生成几百个候选视频并最终保留最符合 Adherence 要求的结果。3.3 优化目标函数如何变成可执行任务真正落地时最难的一步不是写代码而是定义优化目标。很多人会直接把CLIP 相似度越高越好作为目标函数然后发现模型生成的视频虽然和参考图语义相似但动作僵硬、运镜单调、毫无美感。问题在于Adherence 只是视频质量的一个维度。如果只优化 AdherenceAgent 会钻空子选择一个最保守但最平庸的结果。比如视频可能始终停留在参考图的静态画面完全不出运动这样每一帧都和参考图很像Adherence 分数自然很高但用户并不想要这样的视频。因此优化目标函数应该包含多个项比如score w1 * semantic_score w2 * identity_score w3 * motion_score w4 * motion_penalty其中motion_penalty 用来惩罚几乎不动或运动不符合指令的情况。Agent 的作用就是在搜索空间里找到一组 prompt 和参数让这个加权分数更高。这里有一个工程上的重要建议不要一开始就设计复杂的加权公式。先把硬约束和软指标分开。硬约束是必须满足的比如首帧必须和参考图高度一致软指标是尽量高比如运动自然度整体美观度。Agentic Optimization 的迭代过程本质上是在搜索满足硬约束、且让软指标尽量高的解。4. 环境准备与最小工具链4.1 运行环境虽然理论层面可以讨论得很抽象但动手做时需要有明确环境。这里给出一套推荐配置具体版本请按实际项目和环境调整操作系统LinuxUbuntu 20.04 以上、macOS 或 WindowsWSL2。Python3.10 或更高版本。GPU建议 NVIDIA 显卡显存 16GB 以上。使用云端 API 时可降低本机硬件要求。视频生成模型可以是开源模型也可以是线上平台的 API。本文不会绑定某个具体平台因为 Agentic Optimization 的代码框架是模型无关的。如果你想在本地跑开源模型建议使用 Diffusers 或类似工具预先下载好模型权重。如果使用云端 API只需要准备一个可以发送请求的 SDK 或 HTTP 客户端。4.2 依赖库下面的依赖是搭框架所需的不是视频生成模型本身的依赖。先建一个虚拟环境python -m venv venv source venv/bin/activate然后安装基础依赖pip install openai pyyaml pandas numpy loguru如果你的执行器需要调用本地视频生成模型再按对应模型的文档安装额外依赖例如pip install diffusers transformers accelerate这里不建议一次性安装过多库。Agentic Optimization 的骨架本身依赖很少真正消耗资源的是视频生成和评估环节。4.3 注意不要过度依赖单一平台在实际项目中我见过不少团队把 Agentic Optimization 和某个视频生成 API 深度耦合结果平台一升级、参数一变整个框架就崩了。更稳妥的方法是在 Executor 层做一个中间抽象内部把不同平台的 API 转换为统一的生成请求和生成结果数据结构。这样即使你后续从模型 A 切到模型 BAgent 的规划、评估、优化逻辑都不用改只需要新增一个适配器。下面的章节我会用一个最小框架来演示这个思想。5. 一个最小 Agentic Optimization 系统实现5.1 系统结构与文件规划为了让示例清晰这里用一个小型 Python 项目来演示文件规划如下agentic_i2v/ ├── agent.py # Agent 主循环 ├── executor.py # 执行器抽象与模拟实现 ├── evaluator.py # 评估器抽象与实现 ├── memory.py # 简单的 CSV 记忆模块 ├── config.yaml # 配置示例 └── main.py # 入口脚本由于本文重点讲框架不依赖具体视频生成 API所以 Executor 和 Evaluator 先使用模拟实现。你只需要替换成真实请求和真实评分逻辑就能跑通整个 Agent 闭环。5.2 执行器把生成请求统一封装在executor.py中定义一个抽象执行器和一个模拟执行器。模拟执行器的目的是让 Agent 主循环在本地没有 GPU 的情况下也能运行方便调试逻辑。# 文件路径executor.py from abc import ABC, abstractmethod import random class BaseExecutor(ABC): 统一封装视频生成模型调用。 真实场景中请在这个类里对接具体的视频生成 API 或本地模型。 abstractmethod def generate(self, prompt: str, image_path: str, params: dict) - dict: ... class MockExecutor(BaseExecutor): 模拟执行器用随机分数模拟真实模型返回结果。 这样可以脱离 GPU 调试 Agent 主循环。 def generate(self, prompt: str, image_path: str, params: dict) - dict: # 在真实场景中这里会调用视频生成模型 # 并返回视频文件路径与相关元数据。 video_url fmock://videos/{random.randint(10000, 99999)}.mp4 return { prompt: prompt, image_path: image_path, params: params, video_url: video_url, }这段代码非常简单。核心作用是隔离生成模型调用与Agent 逻辑。你在真实项目中只需要把MockExecutor替换成真实客户端然后根据平台文档映射参数即可。5.3 评估器多维度打分评估器是 Adherence 优化的关键。真实项目中你可能需要用多个模型分别计算语义相似度、身份一致性和运动指标。示例中先用随机数模拟方便演示主循环。# 文件路径evaluator.py from abc import ABC, abstractmethod import random class BaseEvaluator(ABC): abstractmethod def evaluate(self, result: dict) - dict: ... class MockEvaluator(BaseEvaluator): 模拟评估器返回 weighted_score 和分维度分数。 def evaluate(self, result: dict) - dict: semantic random.uniform(0.6, 0.95) # 语义一致性 identity random.uniform(0.5, 0.92) # 身份一致性 motion random.uniform(0.4, 0.90) # 运动自然度 weighted_score 0.4 * semantic 0.4 * identity 0.2 * motion return { semantic: semantic, identity: identity, motion: motion, weighted_score: weighted_score, }在实际工作中semantic可以用 CLIP 特征相似度或 VLM 打分实现identity可以用人脸识别模型或图像特征相似度实现motion则可以通过光流、帧间差异和人工规则综合判断。这里的抽象层设计让替换真实实现非常方便。5.4 Agent 主循环从简单启发式到可扩展策略主循环是整个框架的核心。为了让示例易读这里采用随机采样 保留最优的启发式策略。它虽然不聪明但已经能说明 Agentic Optimization 的本质不断生成、评估、记忆、更新最优结果。# 文件路径agent.py import random from executor import BaseExecutor from evaluator import BaseEvaluator class MockImage2VideoAgent: def __init__(self, executor: BaseExecutor, evaluator: BaseEvaluator): self.executor executor self.evaluator evaluator self.history [] # 记录所有尝试 self.best_result None # 记录当前最优 self.best_score -1.0 def propose_params(self, iteration: int) - dict: 生成一组候选参数。 真实场景中可以让 LLM 基于 history 生成更聪明的候选。 cfg_scale random.uniform(3.0, 9.0) steps random.choice([20, 30, 40, 50]) guidance_prompt random.choice([ 保持物体外观一致, 保持人物身份一致, 保持原图构图, , ]) return { cfg_scale: round(cfg_scale, 2), steps: steps, guidance_prompt: guidance_prompt, seed: random.randint(0, 2**31 - 1), } def build_prompt(self, base_prompt: str, params: dict) - str: 在基础 prompt 上附加引导词。 if params[guidance_prompt]: return f{base_prompt}, {params[guidance_prompt]} return base_prompt def run(self, base_prompt: str, image_path: str, iterations: int 10): for i in range(iterations): params self.propose_params(i) prompt self.build_prompt(base_prompt, params) # 执行生成 result self.executor.generate(prompt, image_path, params) # 自动评估 scores self.evaluator.evaluate(result) # 记录历史 record { iteration: i, prompt: prompt, params: params, scores: scores, } self.history.append(record) # 更新最优结果 if scores[weighted_score] self.best_score: self.best_score scores[weighted_score] self.best_result { **result, scores: scores, } print(fIter {i} | score{scores[weighted_score]:.4f} | fidentity{scores[identity]:.4f}) return self.best_result这段代码使用了随机搜索它是最简单的 Optimizer。你可以把propose_params替换成基于历史最优结果做参数扰动、调用大语言模型分析失败案例后生成新 prompt或者用贝叶斯优化搜索参数空间。框架本身不会限制你使用哪种优化算法。5.5 入口脚本与记忆模块main.py负责把各模块组装起来。同时这里给一个简单的 CSV 记忆模块方便保存历史记录。# 文件路径main.py import csv from executor import MockExecutor from evaluator import MockEvaluator from agent import MockImage2VideoAgent def save_history(history, pathhistory.csv): with open(path, w, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerow([iteration, prompt, cfg_scale, steps, seed, weighted_score]) for item in history: p item[params] writer.writerow([ item[iteration], item[prompt], p[cfg_scale], p[steps], p[seed], round(item[scores][weighted_score], 4), ]) def main(): executor MockExecutor() evaluator MockEvaluator() agent MockImage2VideoAgent(executor, evaluator) base_prompt 保温杯在浅灰色背景上旋转展示产品保持原图外观 image_path reference_cup.jpg best agent.run(base_prompt, image_path, iterations8) save_history(agent.history) print(Best video:, best[video_url]) print(Best score:, best[scores]) if __name__ __main__: main()运行这个入口脚本后你会看到一个随机生成-评估-记录的循环。虽然它只是一个最小框架但已经包含了 Agentic Optimization 最重要的骨架执行、评估、记忆、更新最优。把MockExecutor换成真实模型调用后它就成了一个真正可用的自动化调参工具。使用 YAML 管理基础配置也是常见做法可以把 prompt 模板、迭代次数、评估权重等放到配置文件中。例如# 文件路径config.yaml base_prompt: 保温杯在浅灰色背景上旋转展示产品保持原图外观 image_path: reference_cup.jpg iterations: 20 weights: semantic: 0.4 identity: 0.4 motion: 0.2在代码中读取 YAML 时可以用 PyYAMLimport yaml with open(config.yaml, r, encodingutf-8) as f: config yaml.safe_load(f) print(config[base_prompt])这样Agent 的每次运行参数都是可配置、可追溯的不会因为改逻辑而丢失实验结果。6. 运行结果与效果验证6.1 运行方式与预期输出在项目根目录执行python main.py预期输出类似Iter 0 | score0.7234 | identity0.7211 Iter 1 | score0.6988 | identity0.6524 Iter 2 | score0.8123 | identity0.8638 ... Best video: mock://videos/123456.mp4 Best score: {semantic: 0.91, identity: 0.87, motion: 0.68, weighted_score: 0.848}如果看到这个输出说明最小框架已经跑通。真实项目中Best video会是一条实际生成的视频文件路径或 URL。6.2 如何判断优化有效框架跑通不等于优化有效。在真实项目中判断优化是否有效应遵循以下步骤固定一组测试样本比如 10 张参考图每个样本使用相同的初始 prompt。分别运行基线策略人工指定的一组固定 prompt 和参数和Agentic 策略Agent 优化后的结果。在相同种子和相同模型版本下比较两个策略生成的视频在多个 Adherence 维度上的平均分。再做人工抽检确认自动评分和主观观感一致。这里最容易踩坑的是用不同 seed 比较如果 Agent 只是运气好选了一个好 seed而不是真正学会了更好的 prompt 策略那换一组任务后优势就会消失。因此评估时要复用多个 seed取平均分而不是只记最大分。6.3 自动评测指标的坑自动评测指标是为了提高迭代效率但它不是绝对真理。以 CLIP 相似度为例它可能对颜色一致较敏感但对身份可靠和运动自然度不够敏感。身份一致性通常需要专有人脸识别或图像检索模型运动自然度则可能需要结合光流、物体追踪和人工规则。另一个坑是分数冲突某个候选视频的语义分数很高但运动分数很低另一个候选视频相反。在这种情况下加权总分会掩盖具体短板。更好的做法是在 Agent 的每一轮迭代里同时记录分维度分数并在最终结果展示时让用户看到这个最优结果为什么最优。如果你发现自己调试 Agent 时分数一直很低先不要急着改优化策略。先检查是执行器返回的结果本身很差还是评估器的打分逻辑有偏差。一个常见的做法是固定 5 个样本手工给它们排名然后看自动评估器给出的分数排名是否与人工排名基本一致。7. 常见问题与排查思路问题现象可能原因排查方式解决方案Agent 迭代很多轮分数始终不涨候选参数空间太小或随机搜索效率低查看 history.csv观察参数变化范围增加随机性范围或改用 LLM 生成候选策略每次评分波动大难以判断好坏评估器使用随机模拟或视频生成本身随机性高固定 seed 重复实验计算平均分和方差多个 seed 取平均拉高采样次数生成的 prompt 越来越长效果没有改善缺少 prompt 长度约束或引导词堆砌检查 history 中 prompt 长度与分数关系在 Agent 的 optimize 策略中加入 prompt 简洁性惩罚优选出的是静态画面分数很高优化目标只包含一致性没有激励运动人工查看最优视频观察运动幅度在目标函数中增加 motion 项并惩罚过度静态Agent 调用真实视频生成 API 经常超时执行器未做重试和失败保护查看平台返回错误码与耗时给 Executor 增加超时、重试、错误隔离机制输出结果无法复现没有记录 seed 和模型版本检查 history 与配置文件引入实验版本管理记录模型和参数 Hash下面挑几个高频问题展开说明。7.1 迭代不收敛很多人在第一次搭建 Agent 时都会遇到随机搜索了 50 轮分数没有明显上升的问题。这通常不是框架写错了而是生成高质量视频本身是稀疏奖励问题在巨大的参数空间里随机采样很难遇到高分结果。解决思路是不要只用随机搜索。可以用大语言模型作为 Optimizer让它阅读之前失败样本的描述然后生成更有针对性的新 prompt。例如前一轮生成中杯盖消失了Agent 可以把失败反馈给 LLM让 LLM 修改 prompt 为杯盖完整可见不要删除杯盖。这种基于经验的优化往往比纯随机搜索更高效。7.2 测评不稳定视频生成的随机性比图像生成更大。同一 prompt、同一参数不同 seed 生成的结果可能差异巨大。因此单次评分的方差很大Agent 很难判断到底是这个策略更好还是运气更好。建议在小规模验证时每个候选参数至少采样 2 到 3 个 seed并取平均分。如果成本太高也可以先在低帧率、低分辨率上快速筛选再用高质量模式验证 Top 候选。7.3 Agent 输出非法 JSON 或提示词如果 Agent 的 Optimizer 使用 LLM 来输出结构化配置一个常见问题是它偶尔会输出非 JSON 文本导致后续解析失败。这里需要在代码里增加格式校验 重试逻辑。另外LLM 生成的 prompt 可能包含敏感词或不合规内容。在接入真实业务前一定要加一层提示词安全过滤避免输出不符合平台规范的内容。7.4 生成成本过高Image-to-Video 生成成本不低Agent 一味扩大采样数量会让账单快速上涨。一个实际工程建议是两阶段搜索第一阶段用较廉价、低质量的快速模式筛选掉明显不合格的候选第二阶段只对 Top 5 或 Top 10 候选做高质量生成和精细评估。这其实就是把 Agent 的预算当成了优化目标的一部分。在目标函数中可以加入生成次数限制和性价比指标避免 Agent 为了极小分数提升而浪费大量资源。8. 最佳实践与工程建议8.1 建立小规模、可控的评测集没有评测集Agentic Optimization 就是无源之水。建议在项目初期先人工挑选 10 到 20 个有代表性的样本覆盖不同类型对象人物、商品、场景、动物等。每个样本配一个标准 prompt 和一张参考图。评测集不需要大但需要有挑战性。它应该包含那些人工调参最容易翻车的样本比如精细纹理商品、多人脸画面、复杂背景。Agent 在优化时会在这个评测集上不断迭代尽量让所有样本的平均分稳定提升。8.2 将自动评估与人工反馈结合自动评估负责快速排序人工反馈负责纠偏。在工程上建议每周做一次人工评审会把 Agent 跑出来的 Top 10 视频播放给相关同事看记录大家的主观偏好。然后把这些偏好转化为评估器的新规则。例如自动评估器发现某些视频色彩过度饱和但分数不低因为现有指标没有包含审美项。人工评审后可以在评估器中加入色彩自然度的惩罚项。这样评测体系会随着业务需要不断进化。8.3 对 Prompt、参数和模型版本做版本化视频生成的实验结果非常依赖 prompt、seed、CFG、采样步数、模型版本。如果你不记录这些信息两周后就很难复现那次效果很好的视频。建议在 Agent 的每次迭代记录中至少保存以下字段时间戳、模型版本、输入图片路径、完整 prompt、所有采样参数、seed、自动评分、视频文件路径、人工标注如果有。用 CSV、JSONL 或数据库保存都可以关键是字段要完整。8.4 设计安全护栏与合规边界Agent 在自动迭代时可能生成不合规内容或者把用户提供的参考图生成为不可控的变体。因此在 Executor 和 Evaluator 之间需要加入内容安全过滤模块。输入侧对 prompt 和参考图进行内容安全校验。输出侧对生成的视频帧进行抽帧审核检测是否出现风险内容。日志侧记录每轮生成的主体方便溯源和审计。这一块不能靠人工事后抽检最好在 Agent 自动迭代流程中强制加上否则规模化运行时会存在合规隐患。8.5 离线优化与在线推理分离对于生产环境建议把 Agentic Optimization 作为离线准备流程而不是在线请求链路的一部分。在线服务必须保证低延迟和稳定吞吐不适合跑几十次生成来搜索最优结果。你可以把这套流程设计成每天凌晨用 Agentic 框架对新的产品图或角色图做批量优化选出每个参考图的最优 prompt 和参数然后存入配置中心。白天在线推理时直接使用这些优化好的配置不再做实时搜索。这个模式既拿到了 Agent 优化的收益又不影响在线服务稳定性。8.6 从小闭环开始不要一开始就做全自动最后一个建议是不要追求从需求描述到最终视频完全无人介入。在早期阶段更稳妥的路径是Agent 生成候选 人工审核选择。先把自动评估和候选排序做好人工只需要从 Top 5 里挑一个最满意的。等评测体系足够成熟、失败案例足够少再逐步扩大自动化范围。9. 总结与后续方向这篇文章从 Image-to-Video 的 Adherence 问题出发讲清楚了为什么传统人工试错在视频生成场景里越来越不可行也给出了 Agentic Optimization 的完整设计思路把生成、评估、记忆、优化四件事变成一个自动化闭环。核心收获可以总结为三点Adherence 不是一个单一指标而是语义、实体、时空运动三个层面的综合问题。没有明确的评测目标就没有 Agent 可优化的方向。Agentic Optimization 的价值不只是自动调参而是把经验变成可复用的系统。通过记录每一轮迭代它可以让团队沉淀出针对当前模型最有效的 prompt 策略。最小实现并不复杂一个 Executor、一个 Evaluator、一个 Agent 主循环再加一个 CSV 记忆模块就能跑通整个流程。真正的复杂度来自于评测系统的可信度和优化策略的效率。如果你接下来想继续深入可以关注三个方向第一如何用 LLM 作为 Optimizer让它从失败样本中自动生成更聪明的候选策略第二如何设计更适合视频生成的自动评估指标把人工审美偏好转化为可计算规则第三如何把 Agentic Optimization 扩展到其他生成任务比如文本生成 3D、图像编辑、多镜头叙事生成等。在实际项目里我更建议你从一个小数据集和一个人工审核流程开始。先把 Agent 跑起来再逐步增加它的自主权。你不需要一次就用它替换掉你所有的人工调参流程但可以先用它处理那些最耗时、最容易翻车的样本很快就能感受到系统替你试错和你自己试错之间的区别。希望这篇文章能给你一个清晰的起点建议收藏备用。 Agentic Optimization：图像生成视频一致性难题的自动化优化框架
图像生成视频Image-to-Video最近一年几乎是 AI 内容创作赛道最拥挤的方向。但真正让开发者头疼的往往不是能不能动起来而是动不动就跑偏明明给了一张参考图生成三秒之后人物衣服变了、场景道具消失了、画面里又多出来一堆根本没有要求的东西。这个问题的技术名词叫 Adherence遵循度/一致性也是很多视频生成模型评测榜单上最难看的一项。而今天要聊的 Agentic Optimization正是在把反复人工调参变成让 Agent 自动优化生成策略的新思路。如果你尝试过用图像生成视频应该会对下面这套流程非常熟悉Step 1写一段 promptStep 2输入一张参考图Step 3生成 5 秒视频Step 4检查人物是不是变成另一个人Step 5发现不对改写 prompt换 seed再来一遍。运气好试三五次能出一个满意的版本运气不好试一个下午都卡在身份漂移和物体变形上。这篇文章想说明白的是这个反复试错的过程并不完全是运气问题而是缺少一个系统化的优化框架。Agentic Optimization 要做的事情就是把这个黑盒试错过程拆成可观测、可量化、可自动迭代的工程闭环。文章会从 Adherence 到底难在哪开始再讲清楚 Agentic Optimization 的核心设计思想然后给出一个最小可运行的 Python 实现框架包括环境准备、代码示例、效果验证、常见问题与最佳实践。读完之后你可以用这套思路去评估自己正在用的视频生成模型也可以把它改造成适合自己业务的视频生成调优工具。本文不是某一个模型的具体评测而是一套可以复用到不同工具链上的优化方法。1. 这篇文章真正要解决的问题1.1 一个真实场景商品宣传视频的一致性翻车假设你在一家电商公司做算法工程任务是做一个产品图转动态展示视频的功能。输入是一张白色保温杯的产品图需求是输出一段 5 秒视频杯子要绕着中心轴旋转一圈背景是干净的浅灰色光影要自然杯身不能变形。这个需求听起来不难但真正用现成图像生成视频模型跑一遍你会立刻发现问题杯子在旋转过程中可能突然变成另一款杯子杯盖消失又出现背景从浅灰变成木桌甚至杯子倒映在水面上。这些问题都属于 Adherence 失败。更麻烦的是这些失败不是每次都出现换个 seed 可能就好一些但生成质量又不稳定。传统做法是让算法工程师一遍一遍改 prompt试各种负面提示词再把成功的 seed 和参数记下来写成一份经验文档。但项目一多、需求一变经验文档就失效了。因为每个产品图的视觉特征、每个模型的训练偏好、每次生成任务的语义要求都不一样手工试错积累了太多隐性依赖。1.2 为什么人工试错在视频生成场景会失效文本生成图像时代人工试错虽然耗时但至少可以几十张图同时并行快速看出趋势。到了图像生成视频阶段试错成本显著上升单次生成时间更长通常需要数十秒到数分钟并行也会受到显存和排队限制。评估维度更多既要看首帧是否遵循参考图也要看中后段是否发生语义漂移、运动是否合理、结尾是否崩坏。失败原因更难定位一个视频效果差可能是 prompt 问题、参考图预处理问题、模型随机性问题也可能是采样步数和 CFG 参数问题。如果还用改一句 prompt 看看效果的方式来调效率很难跟上内容生产的节奏。尤其是当你要在一个评测集上验证几十个 prompt 变体时人工打分的方差太大很难判断到底是模型变强了还是你运气变好了。1.3 谁最适合用 Agentic Optimization从当前工程成熟度看Agentic Optimization 并不是一个开箱即用的解决方案而是一种需要自己搭建的框架思路。最适合它的读者有三类一类是在做视频生成 API 或开源模型二次开发的工程师需要持续评估和提升模型对输入图像的一致性。一类是内容平台或营销团队的算法同学需要为大量商品图、角色图生成可复用的视频模板不能每个素材都手工调参。一类是正在做 Agent 应用的开发者想找到 Image-to-Video 之外更通用的生成质量自动优化范式。如果你只是想临时跑一个视频 demo那直接调用现成平台可能更快。但如果你已经积累了一个评测集并且每天都在被模型怎么调都不稳定折磨这篇文章应该能给你一个相对完整的解决框架。2. Adherence 是什么一致性难题的三层拆解2.1 语义层面画面是否呈现了提示词和参考图要求的内容语义层面是最好理解的一层。它的意思是生成的视频是否出现了 prompt 和参考图里明确要求的对象、动作、环境。举例prompt 写一只白色猫在窗台上看雨保持旁白视角参考图是一只白猫侧脸。如果生成的视频里猫变成了橘猫或者窗台变成了室外草地这就是语义层 Adherence 失败。这一层通常可以通过更清晰的 prompt、更高质量的参考图预处理、以及负面提示词来缓解。但难点在于不同的视频生成模型对语义权重的敏感度差异很大。有的模型非常听 prompt但对参考图细节不敏感有的模型过度依赖参考图反而忽略了 prompt 中明确的动作要求。所以单纯靠prompt 写得更长并不一定有效。需要在 Agent 的优化目标里把语义一致性拆成多个可打分的小项比如对象类别是否一致动作是否完整场景元素是否保留。2.2 实体/身份层面参考图中的核心对象是否保持身份稳定实体一致性是 Adherence 中最难也最影响观感的部分。对于人物形象来说它表现为这张脸还是不是同一个人对于商品来说它表现为这个保温杯的杯盖、颜色、纹理是否与原图一致对于场景来说它表现为背景里的招牌、装饰物是否保持同一套设计。身份漂移Identity Drift几乎是所有图像生成视频模型的通病。原因在于视频生成模型往往是在大规模视频-文本对上学到的时空表征它更擅长看起来合理的动作而不一定擅长保持严格画面对应。从工程角度理解可以参考图提供的是高维视觉条件但模型在做时序去噪时每一帧的噪声估计都可能偏离这个条件。Agentic Optimization 在这一层的优化手段包括动态修改 prompt 中对身份的描述、尝试不同的参考图预处理方式如裁剪、放大、补全、调整模型对参考图条件的权重以及在多个候选视频中优先选择身份一致性得分最高的结果。2.3 时空运动层面连续帧之间是否自然且不违背物理规律第三层是运动学与时间一致性。一个视频生成结果即使每一帧都是清晰的也可能因为时间维度上的不连贯而显得假。常见问题包括物体穿越、形变、闪烁、运动幅度和参考图静态构图冲突等。这个问题不会完全由 prompt 解决更多取决于视频生成模型本身的运动先验。但 Agent 能做的事情是通过多次采样来评估运动质量然后筛选最优结果或者在生成后处理阶段通过插帧、修复、关键帧重新生成等方式修正时间不一致。这里需要注意的是Agent 优化的目标不仅是平均分更高还要考虑最差帧的分数否则一个 5 秒视频里只要有一帧崩坏整体观感就会很差。下表总结了三个维度的典型问题与可调因素一致性维度典型失败现象主要可调因素常用评估思路语义一致性对象类别变化、动作缺失、场景不符Prompt、负面提示词、参考图描述CLIP 相似度、LLM 结构化打分实体/身份一致性人物换脸、商品变形、颜色漂移参考图权重、参考图预处理、身份描述人脸相似度、特征相似度、人工比对时空运动一致性闪烁、穿越、形变、卡顿采样步数、CFG、种子、后处理插帧帧间差异指标、光流、人工抽检从上面这张表可以看出Adherence 不是一个单一指标而是多个维度的综合表现。因此Agentic Optimization 的第一步就是把一个模糊的生成效果不好分解成可计算的子目标。3. Agentic Optimization 的核心设计思想3.1 传统 Workflow 与 Agentic Workflow 的对比在开始写代码之前先梳理一下范式差异。传统的图像生成视频调参流程是一个人工闭环人理解需求人写 prompt设定参数模型生成人看结果判断好坏人根据经验调整下一步。这个闭环的瓶颈在人的认知带宽人不可能在短时间内穷举大量参数组合也不可能完全客观地评价几十个视频的优劣。而 Agentic Optimization 的目标是把理解需求、写提示词、判断结果、调整策略这四个环节尽可能自动化成一个循环把需求结构化输入给 AgentAgent 依据当前策略生成候选 prompt 与参数调用视频生成模型得到候选视频通过自动评估模块计算各维度分数Agent 根据分数更新策略进入下一轮迭代。对比来看传统方式的优势是灵活、有人味Agentic 方式的优势是可扩展、可复现、可批量处理。这不是要完全取代人工而是把人的精力从重复试错中释放出来去定目标、建评测集、做最后审核。3.2 核心组件Planner、Executor、Evaluator、Memory、Optimizer一个完整的 Agentic Optimization 系统通常包含五个角色下面用通俗方式解释Planner规划器根据任务描述和当前状态决定下一步要尝试哪些 prompt 变体、参数组合。它可以把一个大目标拆成先解决身份漂移再优化运动自然度之类的子任务。Executor执行器负责真正调用图像生成视频模型。它屏蔽了不同模型 API 的差异把 prompt、参考图路径、参数、seed 统一转换成模型需要的请求格式。Evaluator评估器对 Executor 的输出视频进行打分。它可能是一个多模型组成的评测模块比如一个模型负责语义相似度一个模型负责身份一致性一个模型检测运动是否异常。Memory记忆体保存每一轮迭代的 prompt、参数、评测分数、视频路径。它让 Agent 能记住哪类 prompt 在这个模型上有效也能支持多轮优化之间的经验复用。Optimizer优化器基于 Evaluator 的分数生成下一轮策略。它可以是规则引擎也可以是一套启发式搜索算法还可以是调用大语言模型来完成从失败样本中总结规律的任务。这五个组件组合起来就形成了一个可以运行数小时的自动化搜索过程。理论上它可以生成几百个候选视频并最终保留最符合 Adherence 要求的结果。3.3 优化目标函数如何变成可执行任务真正落地时最难的一步不是写代码而是定义优化目标。很多人会直接把CLIP 相似度越高越好作为目标函数然后发现模型生成的视频虽然和参考图语义相似但动作僵硬、运镜单调、毫无美感。问题在于Adherence 只是视频质量的一个维度。如果只优化 AdherenceAgent 会钻空子选择一个最保守但最平庸的结果。比如视频可能始终停留在参考图的静态画面完全不出运动这样每一帧都和参考图很像Adherence 分数自然很高但用户并不想要这样的视频。因此优化目标函数应该包含多个项比如score w1 * semantic_score w2 * identity_score w3 * motion_score w4 * motion_penalty其中motion_penalty 用来惩罚几乎不动或运动不符合指令的情况。Agent 的作用就是在搜索空间里找到一组 prompt 和参数让这个加权分数更高。这里有一个工程上的重要建议不要一开始就设计复杂的加权公式。先把硬约束和软指标分开。硬约束是必须满足的比如首帧必须和参考图高度一致软指标是尽量高比如运动自然度整体美观度。Agentic Optimization 的迭代过程本质上是在搜索满足硬约束、且让软指标尽量高的解。4. 环境准备与最小工具链4.1 运行环境虽然理论层面可以讨论得很抽象但动手做时需要有明确环境。这里给出一套推荐配置具体版本请按实际项目和环境调整操作系统LinuxUbuntu 20.04 以上、macOS 或 WindowsWSL2。Python3.10 或更高版本。GPU建议 NVIDIA 显卡显存 16GB 以上。使用云端 API 时可降低本机硬件要求。视频生成模型可以是开源模型也可以是线上平台的 API。本文不会绑定某个具体平台因为 Agentic Optimization 的代码框架是模型无关的。如果你想在本地跑开源模型建议使用 Diffusers 或类似工具预先下载好模型权重。如果使用云端 API只需要准备一个可以发送请求的 SDK 或 HTTP 客户端。4.2 依赖库下面的依赖是搭框架所需的不是视频生成模型本身的依赖。先建一个虚拟环境python -m venv venv source venv/bin/activate然后安装基础依赖pip install openai pyyaml pandas numpy loguru如果你的执行器需要调用本地视频生成模型再按对应模型的文档安装额外依赖例如pip install diffusers transformers accelerate这里不建议一次性安装过多库。Agentic Optimization 的骨架本身依赖很少真正消耗资源的是视频生成和评估环节。4.3 注意不要过度依赖单一平台在实际项目中我见过不少团队把 Agentic Optimization 和某个视频生成 API 深度耦合结果平台一升级、参数一变整个框架就崩了。更稳妥的方法是在 Executor 层做一个中间抽象内部把不同平台的 API 转换为统一的生成请求和生成结果数据结构。这样即使你后续从模型 A 切到模型 BAgent 的规划、评估、优化逻辑都不用改只需要新增一个适配器。下面的章节我会用一个最小框架来演示这个思想。5. 一个最小 Agentic Optimization 系统实现5.1 系统结构与文件规划为了让示例清晰这里用一个小型 Python 项目来演示文件规划如下agentic_i2v/ ├── agent.py # Agent 主循环 ├── executor.py # 执行器抽象与模拟实现 ├── evaluator.py # 评估器抽象与实现 ├── memory.py # 简单的 CSV 记忆模块 ├── config.yaml # 配置示例 └── main.py # 入口脚本由于本文重点讲框架不依赖具体视频生成 API所以 Executor 和 Evaluator 先使用模拟实现。你只需要替换成真实请求和真实评分逻辑就能跑通整个 Agent 闭环。5.2 执行器把生成请求统一封装在executor.py中定义一个抽象执行器和一个模拟执行器。模拟执行器的目的是让 Agent 主循环在本地没有 GPU 的情况下也能运行方便调试逻辑。# 文件路径executor.py from abc import ABC, abstractmethod import random class BaseExecutor(ABC): 统一封装视频生成模型调用。 真实场景中请在这个类里对接具体的视频生成 API 或本地模型。 abstractmethod def generate(self, prompt: str, image_path: str, params: dict) - dict: ... class MockExecutor(BaseExecutor): 模拟执行器用随机分数模拟真实模型返回结果。 这样可以脱离 GPU 调试 Agent 主循环。 def generate(self, prompt: str, image_path: str, params: dict) - dict: # 在真实场景中这里会调用视频生成模型 # 并返回视频文件路径与相关元数据。 video_url fmock://videos/{random.randint(10000, 99999)}.mp4 return { prompt: prompt, image_path: image_path, params: params, video_url: video_url, }这段代码非常简单。核心作用是隔离生成模型调用与Agent 逻辑。你在真实项目中只需要把MockExecutor替换成真实客户端然后根据平台文档映射参数即可。5.3 评估器多维度打分评估器是 Adherence 优化的关键。真实项目中你可能需要用多个模型分别计算语义相似度、身份一致性和运动指标。示例中先用随机数模拟方便演示主循环。# 文件路径evaluator.py from abc import ABC, abstractmethod import random class BaseEvaluator(ABC): abstractmethod def evaluate(self, result: dict) - dict: ... class MockEvaluator(BaseEvaluator): 模拟评估器返回 weighted_score 和分维度分数。 def evaluate(self, result: dict) - dict: semantic random.uniform(0.6, 0.95) # 语义一致性 identity random.uniform(0.5, 0.92) # 身份一致性 motion random.uniform(0.4, 0.90) # 运动自然度 weighted_score 0.4 * semantic 0.4 * identity 0.2 * motion return { semantic: semantic, identity: identity, motion: motion, weighted_score: weighted_score, }在实际工作中semantic可以用 CLIP 特征相似度或 VLM 打分实现identity可以用人脸识别模型或图像特征相似度实现motion则可以通过光流、帧间差异和人工规则综合判断。这里的抽象层设计让替换真实实现非常方便。5.4 Agent 主循环从简单启发式到可扩展策略主循环是整个框架的核心。为了让示例易读这里采用随机采样 保留最优的启发式策略。它虽然不聪明但已经能说明 Agentic Optimization 的本质不断生成、评估、记忆、更新最优结果。# 文件路径agent.py import random from executor import BaseExecutor from evaluator import BaseEvaluator class MockImage2VideoAgent: def __init__(self, executor: BaseExecutor, evaluator: BaseEvaluator): self.executor executor self.evaluator evaluator self.history [] # 记录所有尝试 self.best_result None # 记录当前最优 self.best_score -1.0 def propose_params(self, iteration: int) - dict: 生成一组候选参数。 真实场景中可以让 LLM 基于 history 生成更聪明的候选。 cfg_scale random.uniform(3.0, 9.0) steps random.choice([20, 30, 40, 50]) guidance_prompt random.choice([ 保持物体外观一致, 保持人物身份一致, 保持原图构图, , ]) return { cfg_scale: round(cfg_scale, 2), steps: steps, guidance_prompt: guidance_prompt, seed: random.randint(0, 2**31 - 1), } def build_prompt(self, base_prompt: str, params: dict) - str: 在基础 prompt 上附加引导词。 if params[guidance_prompt]: return f{base_prompt}, {params[guidance_prompt]} return base_prompt def run(self, base_prompt: str, image_path: str, iterations: int 10): for i in range(iterations): params self.propose_params(i) prompt self.build_prompt(base_prompt, params) # 执行生成 result self.executor.generate(prompt, image_path, params) # 自动评估 scores self.evaluator.evaluate(result) # 记录历史 record { iteration: i, prompt: prompt, params: params, scores: scores, } self.history.append(record) # 更新最优结果 if scores[weighted_score] self.best_score: self.best_score scores[weighted_score] self.best_result { **result, scores: scores, } print(fIter {i} | score{scores[weighted_score]:.4f} | fidentity{scores[identity]:.4f}) return self.best_result这段代码使用了随机搜索它是最简单的 Optimizer。你可以把propose_params替换成基于历史最优结果做参数扰动、调用大语言模型分析失败案例后生成新 prompt或者用贝叶斯优化搜索参数空间。框架本身不会限制你使用哪种优化算法。5.5 入口脚本与记忆模块main.py负责把各模块组装起来。同时这里给一个简单的 CSV 记忆模块方便保存历史记录。# 文件路径main.py import csv from executor import MockExecutor from evaluator import MockEvaluator from agent import MockImage2VideoAgent def save_history(history, pathhistory.csv): with open(path, w, newline, encodingutf-8) as f: writer csv.writer(f) writer.writerow([iteration, prompt, cfg_scale, steps, seed, weighted_score]) for item in history: p item[params] writer.writerow([ item[iteration], item[prompt], p[cfg_scale], p[steps], p[seed], round(item[scores][weighted_score], 4), ]) def main(): executor MockExecutor() evaluator MockEvaluator() agent MockImage2VideoAgent(executor, evaluator) base_prompt 保温杯在浅灰色背景上旋转展示产品保持原图外观 image_path reference_cup.jpg best agent.run(base_prompt, image_path, iterations8) save_history(agent.history) print(Best video:, best[video_url]) print(Best score:, best[scores]) if __name__ __main__: main()运行这个入口脚本后你会看到一个随机生成-评估-记录的循环。虽然它只是一个最小框架但已经包含了 Agentic Optimization 最重要的骨架执行、评估、记忆、更新最优。把MockExecutor换成真实模型调用后它就成了一个真正可用的自动化调参工具。使用 YAML 管理基础配置也是常见做法可以把 prompt 模板、迭代次数、评估权重等放到配置文件中。例如# 文件路径config.yaml base_prompt: 保温杯在浅灰色背景上旋转展示产品保持原图外观 image_path: reference_cup.jpg iterations: 20 weights: semantic: 0.4 identity: 0.4 motion: 0.2在代码中读取 YAML 时可以用 PyYAMLimport yaml with open(config.yaml, r, encodingutf-8) as f: config yaml.safe_load(f) print(config[base_prompt])这样Agent 的每次运行参数都是可配置、可追溯的不会因为改逻辑而丢失实验结果。6. 运行结果与效果验证6.1 运行方式与预期输出在项目根目录执行python main.py预期输出类似Iter 0 | score0.7234 | identity0.7211 Iter 1 | score0.6988 | identity0.6524 Iter 2 | score0.8123 | identity0.8638 ... Best video: mock://videos/123456.mp4 Best score: {semantic: 0.91, identity: 0.87, motion: 0.68, weighted_score: 0.848}如果看到这个输出说明最小框架已经跑通。真实项目中Best video会是一条实际生成的视频文件路径或 URL。6.2 如何判断优化有效框架跑通不等于优化有效。在真实项目中判断优化是否有效应遵循以下步骤固定一组测试样本比如 10 张参考图每个样本使用相同的初始 prompt。分别运行基线策略人工指定的一组固定 prompt 和参数和Agentic 策略Agent 优化后的结果。在相同种子和相同模型版本下比较两个策略生成的视频在多个 Adherence 维度上的平均分。再做人工抽检确认自动评分和主观观感一致。这里最容易踩坑的是用不同 seed 比较如果 Agent 只是运气好选了一个好 seed而不是真正学会了更好的 prompt 策略那换一组任务后优势就会消失。因此评估时要复用多个 seed取平均分而不是只记最大分。6.3 自动评测指标的坑自动评测指标是为了提高迭代效率但它不是绝对真理。以 CLIP 相似度为例它可能对颜色一致较敏感但对身份可靠和运动自然度不够敏感。身份一致性通常需要专有人脸识别或图像检索模型运动自然度则可能需要结合光流、物体追踪和人工规则。另一个坑是分数冲突某个候选视频的语义分数很高但运动分数很低另一个候选视频相反。在这种情况下加权总分会掩盖具体短板。更好的做法是在 Agent 的每一轮迭代里同时记录分维度分数并在最终结果展示时让用户看到这个最优结果为什么最优。如果你发现自己调试 Agent 时分数一直很低先不要急着改优化策略。先检查是执行器返回的结果本身很差还是评估器的打分逻辑有偏差。一个常见的做法是固定 5 个样本手工给它们排名然后看自动评估器给出的分数排名是否与人工排名基本一致。7. 常见问题与排查思路问题现象可能原因排查方式解决方案Agent 迭代很多轮分数始终不涨候选参数空间太小或随机搜索效率低查看 history.csv观察参数变化范围增加随机性范围或改用 LLM 生成候选策略每次评分波动大难以判断好坏评估器使用随机模拟或视频生成本身随机性高固定 seed 重复实验计算平均分和方差多个 seed 取平均拉高采样次数生成的 prompt 越来越长效果没有改善缺少 prompt 长度约束或引导词堆砌检查 history 中 prompt 长度与分数关系在 Agent 的 optimize 策略中加入 prompt 简洁性惩罚优选出的是静态画面分数很高优化目标只包含一致性没有激励运动人工查看最优视频观察运动幅度在目标函数中增加 motion 项并惩罚过度静态Agent 调用真实视频生成 API 经常超时执行器未做重试和失败保护查看平台返回错误码与耗时给 Executor 增加超时、重试、错误隔离机制输出结果无法复现没有记录 seed 和模型版本检查 history 与配置文件引入实验版本管理记录模型和参数 Hash下面挑几个高频问题展开说明。7.1 迭代不收敛很多人在第一次搭建 Agent 时都会遇到随机搜索了 50 轮分数没有明显上升的问题。这通常不是框架写错了而是生成高质量视频本身是稀疏奖励问题在巨大的参数空间里随机采样很难遇到高分结果。解决思路是不要只用随机搜索。可以用大语言模型作为 Optimizer让它阅读之前失败样本的描述然后生成更有针对性的新 prompt。例如前一轮生成中杯盖消失了Agent 可以把失败反馈给 LLM让 LLM 修改 prompt 为杯盖完整可见不要删除杯盖。这种基于经验的优化往往比纯随机搜索更高效。7.2 测评不稳定视频生成的随机性比图像生成更大。同一 prompt、同一参数不同 seed 生成的结果可能差异巨大。因此单次评分的方差很大Agent 很难判断到底是这个策略更好还是运气更好。建议在小规模验证时每个候选参数至少采样 2 到 3 个 seed并取平均分。如果成本太高也可以先在低帧率、低分辨率上快速筛选再用高质量模式验证 Top 候选。7.3 Agent 输出非法 JSON 或提示词如果 Agent 的 Optimizer 使用 LLM 来输出结构化配置一个常见问题是它偶尔会输出非 JSON 文本导致后续解析失败。这里需要在代码里增加格式校验 重试逻辑。另外LLM 生成的 prompt 可能包含敏感词或不合规内容。在接入真实业务前一定要加一层提示词安全过滤避免输出不符合平台规范的内容。7.4 生成成本过高Image-to-Video 生成成本不低Agent 一味扩大采样数量会让账单快速上涨。一个实际工程建议是两阶段搜索第一阶段用较廉价、低质量的快速模式筛选掉明显不合格的候选第二阶段只对 Top 5 或 Top 10 候选做高质量生成和精细评估。这其实就是把 Agent 的预算当成了优化目标的一部分。在目标函数中可以加入生成次数限制和性价比指标避免 Agent 为了极小分数提升而浪费大量资源。8. 最佳实践与工程建议8.1 建立小规模、可控的评测集没有评测集Agentic Optimization 就是无源之水。建议在项目初期先人工挑选 10 到 20 个有代表性的样本覆盖不同类型对象人物、商品、场景、动物等。每个样本配一个标准 prompt 和一张参考图。评测集不需要大但需要有挑战性。它应该包含那些人工调参最容易翻车的样本比如精细纹理商品、多人脸画面、复杂背景。Agent 在优化时会在这个评测集上不断迭代尽量让所有样本的平均分稳定提升。8.2 将自动评估与人工反馈结合自动评估负责快速排序人工反馈负责纠偏。在工程上建议每周做一次人工评审会把 Agent 跑出来的 Top 10 视频播放给相关同事看记录大家的主观偏好。然后把这些偏好转化为评估器的新规则。例如自动评估器发现某些视频色彩过度饱和但分数不低因为现有指标没有包含审美项。人工评审后可以在评估器中加入色彩自然度的惩罚项。这样评测体系会随着业务需要不断进化。8.3 对 Prompt、参数和模型版本做版本化视频生成的实验结果非常依赖 prompt、seed、CFG、采样步数、模型版本。如果你不记录这些信息两周后就很难复现那次效果很好的视频。建议在 Agent 的每次迭代记录中至少保存以下字段时间戳、模型版本、输入图片路径、完整 prompt、所有采样参数、seed、自动评分、视频文件路径、人工标注如果有。用 CSV、JSONL 或数据库保存都可以关键是字段要完整。8.4 设计安全护栏与合规边界Agent 在自动迭代时可能生成不合规内容或者把用户提供的参考图生成为不可控的变体。因此在 Executor 和 Evaluator 之间需要加入内容安全过滤模块。输入侧对 prompt 和参考图进行内容安全校验。输出侧对生成的视频帧进行抽帧审核检测是否出现风险内容。日志侧记录每轮生成的主体方便溯源和审计。这一块不能靠人工事后抽检最好在 Agent 自动迭代流程中强制加上否则规模化运行时会存在合规隐患。8.5 离线优化与在线推理分离对于生产环境建议把 Agentic Optimization 作为离线准备流程而不是在线请求链路的一部分。在线服务必须保证低延迟和稳定吞吐不适合跑几十次生成来搜索最优结果。你可以把这套流程设计成每天凌晨用 Agentic 框架对新的产品图或角色图做批量优化选出每个参考图的最优 prompt 和参数然后存入配置中心。白天在线推理时直接使用这些优化好的配置不再做实时搜索。这个模式既拿到了 Agent 优化的收益又不影响在线服务稳定性。8.6 从小闭环开始不要一开始就做全自动最后一个建议是不要追求从需求描述到最终视频完全无人介入。在早期阶段更稳妥的路径是Agent 生成候选 人工审核选择。先把自动评估和候选排序做好人工只需要从 Top 5 里挑一个最满意的。等评测体系足够成熟、失败案例足够少再逐步扩大自动化范围。9. 总结与后续方向这篇文章从 Image-to-Video 的 Adherence 问题出发讲清楚了为什么传统人工试错在视频生成场景里越来越不可行也给出了 Agentic Optimization 的完整设计思路把生成、评估、记忆、优化四件事变成一个自动化闭环。核心收获可以总结为三点Adherence 不是一个单一指标而是语义、实体、时空运动三个层面的综合问题。没有明确的评测目标就没有 Agent 可优化的方向。Agentic Optimization 的价值不只是自动调参而是把经验变成可复用的系统。通过记录每一轮迭代它可以让团队沉淀出针对当前模型最有效的 prompt 策略。最小实现并不复杂一个 Executor、一个 Evaluator、一个 Agent 主循环再加一个 CSV 记忆模块就能跑通整个流程。真正的复杂度来自于评测系统的可信度和优化策略的效率。如果你接下来想继续深入可以关注三个方向第一如何用 LLM 作为 Optimizer让它从失败样本中自动生成更聪明的候选策略第二如何设计更适合视频生成的自动评估指标把人工审美偏好转化为可计算规则第三如何把 Agentic Optimization 扩展到其他生成任务比如文本生成 3D、图像编辑、多镜头叙事生成等。在实际项目里我更建议你从一个小数据集和一个人工审核流程开始。先把 Agent 跑起来再逐步增加它的自主权。你不需要一次就用它替换掉你所有的人工调参流程但可以先用它处理那些最耗时、最容易翻车的样本很快就能感受到系统替你试错和你自己试错之间的区别。希望这篇文章能给你一个清晰的起点建议收藏备用。