从视频生成到世界理解面向智慧城市与农业机器人的 VLM 后训练实战思路如果你最近一直在做视觉相关的 AI 项目应该能明显感觉到一个变化单张图片的分类和目标检测已经不再是大家讨论的焦点。更热的词是“视频理解”、“长时序推理”以及“用合成数据解决真实场景数据不够用的问题”。但真正落到工程上你会发现一个尴尬的断点模型下载下来直接推理效果差得让人怀疑人生想要自己微调一个视觉语言模型VLM又不知道从哪一步开始。而“后训练”这个概念恰好出现在预训练模型和真实业务场景之间成为了最后一公里的关键动作。这篇文章围绕 Cosmos 3 这一代世界基础模型展开重点讨论两件事第一智慧城市场景下如何对视觉语言模型做后训练让 VLM 推理真正服务于监控视频、事件检测这类任务第二农业机器人场景下如何利用合成数据生成低成本构建训练集。标题里加了“双语”是因为整个后训练技术栈大量依赖英文文档和开源社区资料我会在关键术语处保留中英文对照方便你直接去查官方材料。如果你正在做 VLM 相关项目或者想搞清楚“后训练到底要做什么”这篇文章值得读完并收藏。全文不会停留在概念层面而是给出了可以照着做的技术路线、代码骨架和排错方法。1. Cosmos 3 为什么值得关注世界模型进入工程化阶段先说一个判断Cosmos 3 代表的不是“又一个大模型”而是“视觉模型从感知走向世界理解”的一次版本迭代。从公开信息看Cosmos 平台本身定位是“物理 AI 的基础设施”它的核心能力是理解真实世界的物理规律、几何结构和时空变化。到了 Cosmos 3 这一代比较明显的变化是模型不再只是“看见”图像而是试图“理解”场景中发生了什么以及接下来可能发生什么。这对工程开发者来说意味着什么呢过去我们做一个智慧城市项目要走完整条传统 CV 流水线目标检测、跟踪、行为识别、规则引擎……每个环节单独训练一个模型然后像搭积木一样串联起来。这条路不是不能走但有两个致命问题样本标注成本高长尾场景覆盖不住。一个城市的摄像头里会出现各种莫名其妙的情况施工护栏倒在地上、三轮车违规载客、井盖缺失、广场舞人群聚集……传统模型对“没见过的场景”几乎没有泛化能力。而 Cosmos 3 这类世界模型加上 VLM 的语言理解能力给了我们一种新的解题思路用语言描述来做感知和推理。模型直接看视频然后回答“画面中是否有井盖缺失”“描述违规停车的过程”这类问题。听起来很像 GPT-4V 的能力但世界模型的底层逻辑不同它学习的是物理世界的动态规律而不只是图像的静态模式。所以我对 Cosmos 3 的基本判断是它打开了“通用视觉理解 场景定制”的可能性。基础模型负责理解世界后训练负责让模型理解“你的世界”——也就是你所在的业务场景。这里需要提醒一句如果你期待开箱即用看到模型下载下来就能完美解决智慧城市的所有问题那一定会失望。真正让模型好用起来的是后训练。这也是这篇文章把“后训练”放在核心位置的原因。2. 后训练的本质从“能对话”到“能干活”很多人把“后训练”理解成一个模糊的“微调”实际上两者不能完全划等号。2.1 什么是后训练Post-training后训练Post-training指的是在大规模预训练Pre-training之后为了让模型适配特定任务、交互方式、数据分布和安全约束而进行的进一步训练过程。它包括但不限于监督微调Supervised Fine-TuningSFT偏好对齐如 RLHF、DPO指令微调Instruction Tuning上下文蒸馏Context Distillation多任务联合训练与预训练相比后训练的数据量小得多但数据质量的要求高得多。预训练是在“海量数据中学习语言和视觉的通用规律”后训练是在“高质量样本中学习业务场景的输入输出映射”。2.2 预训练与后训练的对比对比项预训练Pre-training后训练Post-training数据规模海量通常数十亿到数万亿 token相对小通常几千到几百万条样本数据质量需要泛来源杂需要精标注严计算资源极高需要大规模集群中等单卡或多卡可尝试目标学习通用规律、世界知识对齐业务场景、任务格式常见产出Base ModelChat Model / 业务专用模型2.3 为什么 VLM 比纯文本模型更需要后训练视觉语言模型Vision-Language ModelVLM的结构是“视觉编码器 语言模型”它面对的输入模态更复杂。后训练对于 VLM 来说往往需要同时调整两部分的配合方式视觉编码器如何提取特征在预训练阶段视觉编码器学到了通用特征但对于特定业务场景如城市监控的俯拍视角、农田的强光照环境通用特征不够用。语言模型如何描述视觉内容预训练模型可能只会说“图片里有一个人”但业务场景需要它输出“画面中有人违规翻越护栏位置在画面左侧置信度高”。所以VLM 后训练的实质是让模型把视觉输入映射到业务需要的语言输出。这个过程不改变模型的“智力”但改变模型的“职业能力”。从项目管理的角度我把后训练拆成四个阶段数据准备、训练策略、评估验证、推理部署。下面几章会依次展开。3. VLM 后训练的关键数据、策略、评估三位一体很多开发者第一次做后训练最容易被开源代码带着走下载脚本、改几个参数、跑起来然后发现 loss 下降了但业务指标没变。根源在于后训练的核心不在训练本身而在数据。数据决定了模型能力的上限训练只是逼近这个上限。3.1 数据准备后训练里的“脏活累活”对于 VLM 后训练一条标准的训练样本通常包含三部分图像或视频帧image / video frame指令或问题instruction / question期望输出response / answer以智慧城市场景为例一个“井盖缺失检测”的样本可能长这样{ image: camera_001_20250821_143000.jpg, conversations: [ { role: user, content: 请仔细查看这张城市道路监控图片判断路面是否存在安全隐患。如果存在井盖缺失请描述位置和大致的危险程度。 }, { role: assistant, content: 画面中靠近右下角的路面上存在一个井盖缺失露出圆形空洞周围未设置围挡或警示标识危险程度高可能造成行人坠落或车辆轮胎陷入。 } ] }这种数据的价值在于回答者必须真正理解视觉内容而不是机械地套模板。这也是为什么合成数据在后训练中越来越重要——后面会在农业机器人部分展开。3.2 训练策略从全量微调到 LoRA/QLoRA传统的全量微调Full Fine-tuning在 VLM 上代价极高因为视觉编码器和语言模型加起来的参数量非常大。工程上更推荐的做法是参数高效微调Parameter-Efficient Fine-TuningPEFT最常见的是 LoRA 和 QLoRA。LoRALow-Rank Adaptation的思路是冻结原始模型权重在注意力层等关键位置插入低秩矩阵只训练这些新增参数。这样训练参数量通常只有全量的 1% 到 5%显存占用大幅下降。下面是一个基于 HuggingFace Transformers 和 PEFT 库的 LoRA 微调示意代码。注意不同的模型库 API 会有差异这里演示的是通用思路。# 文件路径scripts/vlm_lora_training.py # 说明VLM LoRA 后训练骨架代码具体 API 以实际模型库版本为准 import torch from transformers import ( AutoProcessor, AutoModelForVision2Seq, TrainingArguments, Trainer ) from peft import LoraConfig, get_peft_model # 1. 加载基础模型与处理器 model_id your-vlm-base-model # 替换为实际的 VLM 基础模型 processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained( model_id, torch_dtypetorch.bfloat16, device_mapauto ) # 2. 配置 LoRA lora_config LoraConfig( r8, # 低秩矩阵的秩常用 4/8/16 lora_alpha32, # 缩放系数 target_modules[q_proj, v_proj, k_proj, o_proj], # 注入位置 lora_dropout0.05, biasnone, task_typeCAUSAL_LM ) model get_peft_model(model, lora_config) # 3. 数据集处理示意实际需实现 __len__ 和 __getitem__ class VLMInstructionDataset(torch.utils.data.Dataset): def __init__(self, samples, processor): self.samples samples self.processor processor def __len__(self): return len(self.samples) def __getitem__(self, idx): sample self.samples[idx] image sample[image] text sample[conversations][0][content] label sample[conversations][1][content] inputs self.processor( imagesimage, texttext, paddingmax_length, truncationTrue, return_tensorspt ) # 将 label 文本编码为目标序列 labels self.processor( textlabel, paddingmax_length, truncationTrue, return_tensorspt )[input_ids] inputs[labels] labels return {k: v.squeeze(0) for k, v in inputs.items()} # 4. 训练参数 training_args TrainingArguments( output_dir./vlm_lora_output, per_device_train_batch_size4, gradient_accumulation_steps8, learning_rate2e-4, num_train_epochs3, logging_steps20, eval_strategysteps, eval_steps100, save_strategysteps, save_steps500, bf16True, remove_unused_columnsFalse, ) # 5. 启动训练 trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, ) trainer.train()这段代码的核心逻辑是用 LoRA 冻结大部分参数只训练注入的低秩矩阵。这样在单张 24GB 显存的 GPU 上也能跑比较大的 VLM 模型。3.3 评估验证不要只看 loss后训练最忌讳的评估方式就是“loss 降了就以为成功了”。原因很简单loss 下降只能说明模型拟合了训练数据的分布不能说明它在业务场景中表现好。VLM 后训练的评估建议从两个层面进行第一层任务指标。对于可以规则化的任务用精确率、召回率、F1 指标。比如井盖缺失检测如果模型输出了“井盖缺失右下角”那么可以人工标注后计算定位准确率。第二层人工抽检。对于开放式的描述任务需要人工看模型输出是否准确、自然、无幻觉。建议每次训练迭代后固定抽 100 条测试样本做人工评估形成一个质量基线。4. 智慧城市 VLM 推理实战从监控视频到结构化事件智慧城市是 VLM 推理最典型的落地场景之一因为它对“理解”的要求远高于“识别”。这一节给出一个从后训练到推理的完整思路。4.1 场景痛点与任务拆解在智慧城市的实际项目中常见的 VLM 任务包括违规停车检测井盖缺失、道路破损识别人员聚集、异常行为识别施工围挡、防护设施缺失车辆违章变道、逆行这些任务共同的特点是视频输入、事件输出。模型不仅要回答“有什么”还要回答“发生了什么”。4.2 后训练需要改变什么基础 VLM 模型通常只能做单张图片的“看图说话”。在智慧城市场景中我们需要的是“事件推理”。举个例子基础模型输出图片中有多名行人部分人低头看手机。后训练后的目标输出图片显示地铁站入口出现人员滞留和低头看手机的情况但未发现明显冲突或奔跑行为建议持续观察 5 分钟。这中间的变化是模型从“描述事实”到“判断事件性质”。这种能力在预训练模型里是弱项因为通用预训练语料中很少有“城市监控视角 安全事件判断”这种组合数据。4.3 推理侧的设计后训练完成后模型的推理侧也需要做工程化设计。单张图片推理代码骨架如下# 文件路径scripts/vlm_inference.py # 说明VLM 推理脚本用于加载后训练模型并执行推理 from transformers import AutoProcessor, AutoModelForVision2Seq from PIL import Image import torch model_id ./vlm_lora_output # 后训练保存的模型目录 processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained( model_id, torch_dtypetorch.bfloat16, device_mapauto ) def vlm_inference(image_path, question): image Image.open(image_path).convert(RGB) inputs processor( imagesimage, textquestion, return_tensorspt ).to(model.device) with torch.inference_mode(): output_ids model.generate( **inputs, max_new_tokens128, do_sampleFalse, temperatureNone, top_pNone, ) answer processor.batch_decode(output_ids, skip_special_tokensTrue) return answer[0] # 示例调用 if __name__ __main__: result vlm_inference( image_pathdata/camera_001.jpg, question请分析这张道路监控图片中是否存在安全隐患并说明具体位置。 ) print(模型输出, result)在实际项目中推理代码会比这个复杂很多要考虑视频抽帧、批量推理、结果结构化、置信度阈值、异常告警等。但核心思路不变——用后训练好的 VLM 把非结构化的视频转化为结构化的事件描述。4.4 推理加速的工程考量对于智慧城市这种对实时性有一定要求的场景推理加速是绕不开的话题。常见的手段包括模型量化用 INT8 或 FP8 量化降低显存和计算量。图编译使用 TensorRT 等推理框架对模型图进行优化。批量推理把多路摄像头的视频帧拼成 batch一次推理处理多路输入。缓存与过滤用简易规则如帧间差异检测先去重只把有变化的帧送入 VLM。如果你刚开始做建议先跑通小流量再逐步优化推理性能。不要一开始就上 TensorRT否则调试成本会很高。5. 农业机器人合成数据实战用世界模型“凭空造数据”农业机器人是合成数据价值最明显的场景之一。原因有三个农业数据季节性极强想收集“成熟番茄被采摘”的数据得等到番茄成熟季节还要有合适的农田。场景多样性大不同作物、不同光照、不同角度真实数据难以覆盖。标注成本高农业场景中的目标边界模糊杂草和作物、遮挡多人工标注非常痛苦。合成数据的思路是用世界模型或渲染引擎生成逼真的场景视频再自动生成标注以此扩大训练集。到这里Cosmos 3 这类世界模型的价值就体现出来了它不只是生成“好看”的视频还能生成符合物理规律、可控制场景要素的视频。5.1 合成数据生成的整体流程一个基本的合成数据管线可以用下面的步骤描述定义场景模板比如“俯拍视角的番茄田光照为晴天画面中有成熟红色番茄和绿色叶片机器人机械臂进入画面”。生成视频用世界模型生成符合场景描述的 5-10 秒视频。抽帧从视频中提取稳定帧去除模糊帧。自动标注用 VLM 或者专门的分割模型对帧图生成边界框、分割掩码或文本描述。质量过滤用一致性规则和人工抽检剔除质量不合格的样本。生成训练集将合格样本转换为模型训练所需的标注格式如 COCO、JSON。5.2 一个合成数据生成的代码骨架下面代码演示的是“通过场景描述获得视频帧再经过过滤和标注形成训练数据”的思路。注意真实场景中视频生成部分会调用专门的世界模型或渲染引擎这里用函数占位。# 文件路径scripts/synthetic_data_pipeline.py # 说明合成数据生成管线骨架重点演示流程而非具体模型 API import json import random from pathlib import Path def generate_video_by_prompt(scene_prompt: str, duration_sec: int 5) - str: 调用世界模型生成场景视频返回视频文件路径。 实际项目中需要替换为具体的世界模型或渲染引擎 API。 # 示意实现实际是模型调用 video_path foutputs/videos/{hash(scene_prompt)}.mp4 # world_model.generate(scene_prompt, duration_sec, video_path) return video_path def extract_frames(video_path: str, fps: int 2) - list[str]: 从视频中按固定帧率抽帧返回帧图片路径列表。 # 示意实现实际是 FFmpeg 或 OpenCV 调用 return [f{video_path}_frame_{i}.jpg for i in range(fps * 5)] def annotate_with_vlm(frame_path: str) - dict: 调用 VLM 或视觉模型对帧图生成标注信息。 # 示意实现实际是模型推理 return { image: frame_path, boxes: [ {label: ripe_tomato, bbox: [120, 80, 160, 140], score: 0.92}, {label: robot_arm, bbox: [300, 200, 380, 320], score: 0.88}, ], caption: A robotic arm approaching ripe tomatoes in a greenhouse. } def filter_frames(frames: list[str]) - list[str]: 过滤模糊帧、重复帧和无效帧。 # 实际项目中可以用 Laplacian 方差判断是否模糊 # 用帧间相似度判断是否重复。 return [f for f in frames if random.random() 0.8] # 示意过滤 def build_coco_dataset(annotations: list[dict]) - dict: 将标注结果汇总为 COCO 格式数据集。 coco { info: {description: Synthetic agricultural dataset}, images: [], annotations: [], categories: [{id: 1, name: ripe_tomato}, {id: 2, name: robot_arm}] } for i, ann in enumerate(annotations): coco[images].append({id: i, file_name: ann[image]}) for box in ann[boxes]: cat_id 1 if box[label] ripe_tomato else 2 x, y, w, h box[bbox][0], box[bbox][1], box[bbox][2] - box[bbox][0], box[bbox][3] - box[bbox][1] coco[annotations].append({ id: len(coco[annotations]), image_id: i, category_id: cat_id, bbox: [x, y, w, h], area: w * h, }) return coco # 主流程 if __name__ __main__: scene_prompts [ Top-down view of tomato greenhouse, ripe red tomatoes visible, robotic arm entering frame, sunny daylight, Side view of strawberry field, red strawberries among green leaves, robot gripper approaching, morning light ] all_annotations [] for prompt in scene_prompts: video_path generate_video_by_prompt(prompt) frames extract_frames(video_path) valid_frames filter_frames(frames) for frame in valid_frames: ann annotate_with_vlm(frame) if ann[boxes]: all_annotations.append(ann) coco_data build_coco_dataset(all_annotations) output_path Path(outputs/datasets/agriculture_synthetic.json) output_path.parent.mkdir(parentsTrue, exist_okTrue) with open(output_path, w, encodingutf-8) as f: json.dump(coco_data, f, indent2, ensure_asciiFalse) print(f合成数据集生成完成共 {len(all_annotations)} 帧保存至 {output_path})5.3 合成数据如何与后训练配合需要清醒认识到合成数据生成的初衷不是“替代真实数据”而是“让后训练更高效”。在实际项目中推荐的做法是先用真实数据做一个小规模验证集几百条明确任务边界。用合成数据扩充训练集覆盖真实数据难以获得的极端场景和边缘案例。训练后用真实验证集评估如果合成数据引入的分布偏差过大要调整合成数据的比例和风格。理想状态下合成数据和真实数据的比例可以从 8:2 逐步调整到 5:5 甚至更低的合成比例。农业机器人场景中的一个典型坑是世界模型生成的视频看起来很真实但细节和真实农田差别很大。比如生成器可能把“土壤颜色”画成了深棕色而真实农田是红壤。这时模型在合成数据上学到的特征在真实环境中会失效。所以合成数据生成时一定要控制好“场景要素的可控性”比如明确指定光照、土壤颜色、角度而不是让模型自由发挥。6. 常见问题与排查思路后训练的坑非常多。下面这张表列了我在实践中最常遇到的问题以及优先排查的方向。问题现象可能原因排查方式解决方案训练 loss 不下降学习率过高/过低数据格式错误查看 loss 曲线检查数据是否符合模型输入要求先用小批量数据试跑调整学习率到 1e-4 ~ 5e-4 区间loss 下降但业务指标不涨训练数据和业务数据分布不一致评估指标设置不合理人工抽检模型输出对比训练集与验证集数据分布增加业务场景数据比例修正评估方式推理输出出现幻觉数据标注质量差后训练数据量不足抽检训练标注用原始 base 模型做对比测试清洗数据增加负样本明确告诉模型“不要输出什么”单卡显存溢出OOMbatch size 过大序列过长查看报错信息统计训练样本的 token 长度调小 batch size开启 gradient checkpointing用 QLoRA 量化推理速度太慢模型参数量大未做量化/图编译分析推理链路耗时分布启用 transformers 的 bf16/inference_mode后续再上 TensorRT合成数据在真实场景失效合成数据和真实数据分布差异大对比合成图与真实图的关键特征增加场景控制参数加入真实数据混合训练VLM 回答格式不稳定指令模板不统一解码参数不合适检查数据中的 instruction 格式尝试 different decoding 策略统一 prompt 模板用固定的解码参数7. 工程化最佳实践从实验到生产后训练项目从“能跑”到“能上线”还需要做一些工程层面的设计。这里列几条最重要的建议。7.1 数据版本管理是一等公民不要小看数据版本管理。后训练的数据集经常要迭代如果不对数据做版本管理你会很快陷入混乱上一次微调用的是哪个版本的数据哪条样本被改过了建议用 DVCData Version Control或类似工具管理数据集版本同时把版本号写入训练配置。这样每次训练都能精确复现。7.2 实验追踪不可省后训练的变量特别多数据配比、LoRA 参数、学习率、训练轮数……建议从第一天开始就用 Weights Biases 或 MLflow 记录每次实验的超参数、loss 曲线和评估指标。不要靠“跑完看效果”来记忆那个方式在参数多的时候会直接崩溃。7.3 安全合规底线在智慧城市和农业机器人这类真实场景中数据合规是红线。智慧城市监控视频数据的采集和使用必须在授权范围内涉及行人的数据必须做脱敏处理。后训练样本中的图像不应包含未经授权的人脸、车牌等个人敏感信息。农业机器人合成数据本身风险较低但一旦加入真实农田数据要注意是否涉及农户的个人信息或商业秘密。生产环境模型上线前要评估输出内容的合规性尤其是 VLM 的开放文本输出要有内容过滤和人工抽检机制。7.4 最小权限与回滚策略在真实项目中模型部署应当遵循最小权限原则模型服务只开放必要的 API不暴露底层训练数据。模型升级采用灰度发布。先让 10% 的流量走新模型对比指标稳定后再全量切换。上线前保留旧模型的权重副本一旦新模型效果不佳可以快速回滚。8. 下一步可以深入的方向后训练是一个很深的方向这篇文章可以视为一个“从零到一”的路线图。如果你已经跑通了上面的流程下一步可以从这几个方向继续深入方向一偏好对齐RLHF / DPO。当前文中的示例主要是 SFT也就是“教模型模仿正确答案”。但有些任务没有唯一正确答案而是需要“更偏好某个回答”。这时可以引入偏好对齐让模型学会“什么回答更合理”。方向二视频级的 VLM 后训练。文章中的示例主要是单帧图片的推理。真实场景中智慧城市的很多事件需要多帧、跨时间的理解比如“车辆在 3 秒内连续变道两次”。这类任务需要对视频级 VLM 做后训练数据格式更复杂训练成本也更高。方向三世界模型的评测。合成数据生成质量如何判断世界模型生成的视频是否符合物理规律目前还没有一个公认的评测标准。如果你在这个方向深入会是一个非常有价值的技术议题。方向四更强的推理加速。后训练只是让模型“变得有用”推理加速是让模型“用得起”。TensorRT、vLLM、动态 batch 等工程手段在真实项目中价值巨大。最后提醒一句后训练不要迷信大而全。先用一小批高质量数据跑通全流程再逐步扩大规模是这个方向最稳妥的实践方式。如果你正在规划智慧城市或机器人相关的视觉项目不妨先从这篇文章里的流程开始在真实业务中找到那个“最痛的点”然后集中火力攻破它。 VLM后训练实战：从智慧城市到农业机器人的世界模型落地
从视频生成到世界理解面向智慧城市与农业机器人的 VLM 后训练实战思路如果你最近一直在做视觉相关的 AI 项目应该能明显感觉到一个变化单张图片的分类和目标检测已经不再是大家讨论的焦点。更热的词是“视频理解”、“长时序推理”以及“用合成数据解决真实场景数据不够用的问题”。但真正落到工程上你会发现一个尴尬的断点模型下载下来直接推理效果差得让人怀疑人生想要自己微调一个视觉语言模型VLM又不知道从哪一步开始。而“后训练”这个概念恰好出现在预训练模型和真实业务场景之间成为了最后一公里的关键动作。这篇文章围绕 Cosmos 3 这一代世界基础模型展开重点讨论两件事第一智慧城市场景下如何对视觉语言模型做后训练让 VLM 推理真正服务于监控视频、事件检测这类任务第二农业机器人场景下如何利用合成数据生成低成本构建训练集。标题里加了“双语”是因为整个后训练技术栈大量依赖英文文档和开源社区资料我会在关键术语处保留中英文对照方便你直接去查官方材料。如果你正在做 VLM 相关项目或者想搞清楚“后训练到底要做什么”这篇文章值得读完并收藏。全文不会停留在概念层面而是给出了可以照着做的技术路线、代码骨架和排错方法。1. Cosmos 3 为什么值得关注世界模型进入工程化阶段先说一个判断Cosmos 3 代表的不是“又一个大模型”而是“视觉模型从感知走向世界理解”的一次版本迭代。从公开信息看Cosmos 平台本身定位是“物理 AI 的基础设施”它的核心能力是理解真实世界的物理规律、几何结构和时空变化。到了 Cosmos 3 这一代比较明显的变化是模型不再只是“看见”图像而是试图“理解”场景中发生了什么以及接下来可能发生什么。这对工程开发者来说意味着什么呢过去我们做一个智慧城市项目要走完整条传统 CV 流水线目标检测、跟踪、行为识别、规则引擎……每个环节单独训练一个模型然后像搭积木一样串联起来。这条路不是不能走但有两个致命问题样本标注成本高长尾场景覆盖不住。一个城市的摄像头里会出现各种莫名其妙的情况施工护栏倒在地上、三轮车违规载客、井盖缺失、广场舞人群聚集……传统模型对“没见过的场景”几乎没有泛化能力。而 Cosmos 3 这类世界模型加上 VLM 的语言理解能力给了我们一种新的解题思路用语言描述来做感知和推理。模型直接看视频然后回答“画面中是否有井盖缺失”“描述违规停车的过程”这类问题。听起来很像 GPT-4V 的能力但世界模型的底层逻辑不同它学习的是物理世界的动态规律而不只是图像的静态模式。所以我对 Cosmos 3 的基本判断是它打开了“通用视觉理解 场景定制”的可能性。基础模型负责理解世界后训练负责让模型理解“你的世界”——也就是你所在的业务场景。这里需要提醒一句如果你期待开箱即用看到模型下载下来就能完美解决智慧城市的所有问题那一定会失望。真正让模型好用起来的是后训练。这也是这篇文章把“后训练”放在核心位置的原因。2. 后训练的本质从“能对话”到“能干活”很多人把“后训练”理解成一个模糊的“微调”实际上两者不能完全划等号。2.1 什么是后训练Post-training后训练Post-training指的是在大规模预训练Pre-training之后为了让模型适配特定任务、交互方式、数据分布和安全约束而进行的进一步训练过程。它包括但不限于监督微调Supervised Fine-TuningSFT偏好对齐如 RLHF、DPO指令微调Instruction Tuning上下文蒸馏Context Distillation多任务联合训练与预训练相比后训练的数据量小得多但数据质量的要求高得多。预训练是在“海量数据中学习语言和视觉的通用规律”后训练是在“高质量样本中学习业务场景的输入输出映射”。2.2 预训练与后训练的对比对比项预训练Pre-training后训练Post-training数据规模海量通常数十亿到数万亿 token相对小通常几千到几百万条样本数据质量需要泛来源杂需要精标注严计算资源极高需要大规模集群中等单卡或多卡可尝试目标学习通用规律、世界知识对齐业务场景、任务格式常见产出Base ModelChat Model / 业务专用模型2.3 为什么 VLM 比纯文本模型更需要后训练视觉语言模型Vision-Language ModelVLM的结构是“视觉编码器 语言模型”它面对的输入模态更复杂。后训练对于 VLM 来说往往需要同时调整两部分的配合方式视觉编码器如何提取特征在预训练阶段视觉编码器学到了通用特征但对于特定业务场景如城市监控的俯拍视角、农田的强光照环境通用特征不够用。语言模型如何描述视觉内容预训练模型可能只会说“图片里有一个人”但业务场景需要它输出“画面中有人违规翻越护栏位置在画面左侧置信度高”。所以VLM 后训练的实质是让模型把视觉输入映射到业务需要的语言输出。这个过程不改变模型的“智力”但改变模型的“职业能力”。从项目管理的角度我把后训练拆成四个阶段数据准备、训练策略、评估验证、推理部署。下面几章会依次展开。3. VLM 后训练的关键数据、策略、评估三位一体很多开发者第一次做后训练最容易被开源代码带着走下载脚本、改几个参数、跑起来然后发现 loss 下降了但业务指标没变。根源在于后训练的核心不在训练本身而在数据。数据决定了模型能力的上限训练只是逼近这个上限。3.1 数据准备后训练里的“脏活累活”对于 VLM 后训练一条标准的训练样本通常包含三部分图像或视频帧image / video frame指令或问题instruction / question期望输出response / answer以智慧城市场景为例一个“井盖缺失检测”的样本可能长这样{ image: camera_001_20250821_143000.jpg, conversations: [ { role: user, content: 请仔细查看这张城市道路监控图片判断路面是否存在安全隐患。如果存在井盖缺失请描述位置和大致的危险程度。 }, { role: assistant, content: 画面中靠近右下角的路面上存在一个井盖缺失露出圆形空洞周围未设置围挡或警示标识危险程度高可能造成行人坠落或车辆轮胎陷入。 } ] }这种数据的价值在于回答者必须真正理解视觉内容而不是机械地套模板。这也是为什么合成数据在后训练中越来越重要——后面会在农业机器人部分展开。3.2 训练策略从全量微调到 LoRA/QLoRA传统的全量微调Full Fine-tuning在 VLM 上代价极高因为视觉编码器和语言模型加起来的参数量非常大。工程上更推荐的做法是参数高效微调Parameter-Efficient Fine-TuningPEFT最常见的是 LoRA 和 QLoRA。LoRALow-Rank Adaptation的思路是冻结原始模型权重在注意力层等关键位置插入低秩矩阵只训练这些新增参数。这样训练参数量通常只有全量的 1% 到 5%显存占用大幅下降。下面是一个基于 HuggingFace Transformers 和 PEFT 库的 LoRA 微调示意代码。注意不同的模型库 API 会有差异这里演示的是通用思路。# 文件路径scripts/vlm_lora_training.py # 说明VLM LoRA 后训练骨架代码具体 API 以实际模型库版本为准 import torch from transformers import ( AutoProcessor, AutoModelForVision2Seq, TrainingArguments, Trainer ) from peft import LoraConfig, get_peft_model # 1. 加载基础模型与处理器 model_id your-vlm-base-model # 替换为实际的 VLM 基础模型 processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained( model_id, torch_dtypetorch.bfloat16, device_mapauto ) # 2. 配置 LoRA lora_config LoraConfig( r8, # 低秩矩阵的秩常用 4/8/16 lora_alpha32, # 缩放系数 target_modules[q_proj, v_proj, k_proj, o_proj], # 注入位置 lora_dropout0.05, biasnone, task_typeCAUSAL_LM ) model get_peft_model(model, lora_config) # 3. 数据集处理示意实际需实现 __len__ 和 __getitem__ class VLMInstructionDataset(torch.utils.data.Dataset): def __init__(self, samples, processor): self.samples samples self.processor processor def __len__(self): return len(self.samples) def __getitem__(self, idx): sample self.samples[idx] image sample[image] text sample[conversations][0][content] label sample[conversations][1][content] inputs self.processor( imagesimage, texttext, paddingmax_length, truncationTrue, return_tensorspt ) # 将 label 文本编码为目标序列 labels self.processor( textlabel, paddingmax_length, truncationTrue, return_tensorspt )[input_ids] inputs[labels] labels return {k: v.squeeze(0) for k, v in inputs.items()} # 4. 训练参数 training_args TrainingArguments( output_dir./vlm_lora_output, per_device_train_batch_size4, gradient_accumulation_steps8, learning_rate2e-4, num_train_epochs3, logging_steps20, eval_strategysteps, eval_steps100, save_strategysteps, save_steps500, bf16True, remove_unused_columnsFalse, ) # 5. 启动训练 trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, ) trainer.train()这段代码的核心逻辑是用 LoRA 冻结大部分参数只训练注入的低秩矩阵。这样在单张 24GB 显存的 GPU 上也能跑比较大的 VLM 模型。3.3 评估验证不要只看 loss后训练最忌讳的评估方式就是“loss 降了就以为成功了”。原因很简单loss 下降只能说明模型拟合了训练数据的分布不能说明它在业务场景中表现好。VLM 后训练的评估建议从两个层面进行第一层任务指标。对于可以规则化的任务用精确率、召回率、F1 指标。比如井盖缺失检测如果模型输出了“井盖缺失右下角”那么可以人工标注后计算定位准确率。第二层人工抽检。对于开放式的描述任务需要人工看模型输出是否准确、自然、无幻觉。建议每次训练迭代后固定抽 100 条测试样本做人工评估形成一个质量基线。4. 智慧城市 VLM 推理实战从监控视频到结构化事件智慧城市是 VLM 推理最典型的落地场景之一因为它对“理解”的要求远高于“识别”。这一节给出一个从后训练到推理的完整思路。4.1 场景痛点与任务拆解在智慧城市的实际项目中常见的 VLM 任务包括违规停车检测井盖缺失、道路破损识别人员聚集、异常行为识别施工围挡、防护设施缺失车辆违章变道、逆行这些任务共同的特点是视频输入、事件输出。模型不仅要回答“有什么”还要回答“发生了什么”。4.2 后训练需要改变什么基础 VLM 模型通常只能做单张图片的“看图说话”。在智慧城市场景中我们需要的是“事件推理”。举个例子基础模型输出图片中有多名行人部分人低头看手机。后训练后的目标输出图片显示地铁站入口出现人员滞留和低头看手机的情况但未发现明显冲突或奔跑行为建议持续观察 5 分钟。这中间的变化是模型从“描述事实”到“判断事件性质”。这种能力在预训练模型里是弱项因为通用预训练语料中很少有“城市监控视角 安全事件判断”这种组合数据。4.3 推理侧的设计后训练完成后模型的推理侧也需要做工程化设计。单张图片推理代码骨架如下# 文件路径scripts/vlm_inference.py # 说明VLM 推理脚本用于加载后训练模型并执行推理 from transformers import AutoProcessor, AutoModelForVision2Seq from PIL import Image import torch model_id ./vlm_lora_output # 后训练保存的模型目录 processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained( model_id, torch_dtypetorch.bfloat16, device_mapauto ) def vlm_inference(image_path, question): image Image.open(image_path).convert(RGB) inputs processor( imagesimage, textquestion, return_tensorspt ).to(model.device) with torch.inference_mode(): output_ids model.generate( **inputs, max_new_tokens128, do_sampleFalse, temperatureNone, top_pNone, ) answer processor.batch_decode(output_ids, skip_special_tokensTrue) return answer[0] # 示例调用 if __name__ __main__: result vlm_inference( image_pathdata/camera_001.jpg, question请分析这张道路监控图片中是否存在安全隐患并说明具体位置。 ) print(模型输出, result)在实际项目中推理代码会比这个复杂很多要考虑视频抽帧、批量推理、结果结构化、置信度阈值、异常告警等。但核心思路不变——用后训练好的 VLM 把非结构化的视频转化为结构化的事件描述。4.4 推理加速的工程考量对于智慧城市这种对实时性有一定要求的场景推理加速是绕不开的话题。常见的手段包括模型量化用 INT8 或 FP8 量化降低显存和计算量。图编译使用 TensorRT 等推理框架对模型图进行优化。批量推理把多路摄像头的视频帧拼成 batch一次推理处理多路输入。缓存与过滤用简易规则如帧间差异检测先去重只把有变化的帧送入 VLM。如果你刚开始做建议先跑通小流量再逐步优化推理性能。不要一开始就上 TensorRT否则调试成本会很高。5. 农业机器人合成数据实战用世界模型“凭空造数据”农业机器人是合成数据价值最明显的场景之一。原因有三个农业数据季节性极强想收集“成熟番茄被采摘”的数据得等到番茄成熟季节还要有合适的农田。场景多样性大不同作物、不同光照、不同角度真实数据难以覆盖。标注成本高农业场景中的目标边界模糊杂草和作物、遮挡多人工标注非常痛苦。合成数据的思路是用世界模型或渲染引擎生成逼真的场景视频再自动生成标注以此扩大训练集。到这里Cosmos 3 这类世界模型的价值就体现出来了它不只是生成“好看”的视频还能生成符合物理规律、可控制场景要素的视频。5.1 合成数据生成的整体流程一个基本的合成数据管线可以用下面的步骤描述定义场景模板比如“俯拍视角的番茄田光照为晴天画面中有成熟红色番茄和绿色叶片机器人机械臂进入画面”。生成视频用世界模型生成符合场景描述的 5-10 秒视频。抽帧从视频中提取稳定帧去除模糊帧。自动标注用 VLM 或者专门的分割模型对帧图生成边界框、分割掩码或文本描述。质量过滤用一致性规则和人工抽检剔除质量不合格的样本。生成训练集将合格样本转换为模型训练所需的标注格式如 COCO、JSON。5.2 一个合成数据生成的代码骨架下面代码演示的是“通过场景描述获得视频帧再经过过滤和标注形成训练数据”的思路。注意真实场景中视频生成部分会调用专门的世界模型或渲染引擎这里用函数占位。# 文件路径scripts/synthetic_data_pipeline.py # 说明合成数据生成管线骨架重点演示流程而非具体模型 API import json import random from pathlib import Path def generate_video_by_prompt(scene_prompt: str, duration_sec: int 5) - str: 调用世界模型生成场景视频返回视频文件路径。 实际项目中需要替换为具体的世界模型或渲染引擎 API。 # 示意实现实际是模型调用 video_path foutputs/videos/{hash(scene_prompt)}.mp4 # world_model.generate(scene_prompt, duration_sec, video_path) return video_path def extract_frames(video_path: str, fps: int 2) - list[str]: 从视频中按固定帧率抽帧返回帧图片路径列表。 # 示意实现实际是 FFmpeg 或 OpenCV 调用 return [f{video_path}_frame_{i}.jpg for i in range(fps * 5)] def annotate_with_vlm(frame_path: str) - dict: 调用 VLM 或视觉模型对帧图生成标注信息。 # 示意实现实际是模型推理 return { image: frame_path, boxes: [ {label: ripe_tomato, bbox: [120, 80, 160, 140], score: 0.92}, {label: robot_arm, bbox: [300, 200, 380, 320], score: 0.88}, ], caption: A robotic arm approaching ripe tomatoes in a greenhouse. } def filter_frames(frames: list[str]) - list[str]: 过滤模糊帧、重复帧和无效帧。 # 实际项目中可以用 Laplacian 方差判断是否模糊 # 用帧间相似度判断是否重复。 return [f for f in frames if random.random() 0.8] # 示意过滤 def build_coco_dataset(annotations: list[dict]) - dict: 将标注结果汇总为 COCO 格式数据集。 coco { info: {description: Synthetic agricultural dataset}, images: [], annotations: [], categories: [{id: 1, name: ripe_tomato}, {id: 2, name: robot_arm}] } for i, ann in enumerate(annotations): coco[images].append({id: i, file_name: ann[image]}) for box in ann[boxes]: cat_id 1 if box[label] ripe_tomato else 2 x, y, w, h box[bbox][0], box[bbox][1], box[bbox][2] - box[bbox][0], box[bbox][3] - box[bbox][1] coco[annotations].append({ id: len(coco[annotations]), image_id: i, category_id: cat_id, bbox: [x, y, w, h], area: w * h, }) return coco # 主流程 if __name__ __main__: scene_prompts [ Top-down view of tomato greenhouse, ripe red tomatoes visible, robotic arm entering frame, sunny daylight, Side view of strawberry field, red strawberries among green leaves, robot gripper approaching, morning light ] all_annotations [] for prompt in scene_prompts: video_path generate_video_by_prompt(prompt) frames extract_frames(video_path) valid_frames filter_frames(frames) for frame in valid_frames: ann annotate_with_vlm(frame) if ann[boxes]: all_annotations.append(ann) coco_data build_coco_dataset(all_annotations) output_path Path(outputs/datasets/agriculture_synthetic.json) output_path.parent.mkdir(parentsTrue, exist_okTrue) with open(output_path, w, encodingutf-8) as f: json.dump(coco_data, f, indent2, ensure_asciiFalse) print(f合成数据集生成完成共 {len(all_annotations)} 帧保存至 {output_path})5.3 合成数据如何与后训练配合需要清醒认识到合成数据生成的初衷不是“替代真实数据”而是“让后训练更高效”。在实际项目中推荐的做法是先用真实数据做一个小规模验证集几百条明确任务边界。用合成数据扩充训练集覆盖真实数据难以获得的极端场景和边缘案例。训练后用真实验证集评估如果合成数据引入的分布偏差过大要调整合成数据的比例和风格。理想状态下合成数据和真实数据的比例可以从 8:2 逐步调整到 5:5 甚至更低的合成比例。农业机器人场景中的一个典型坑是世界模型生成的视频看起来很真实但细节和真实农田差别很大。比如生成器可能把“土壤颜色”画成了深棕色而真实农田是红壤。这时模型在合成数据上学到的特征在真实环境中会失效。所以合成数据生成时一定要控制好“场景要素的可控性”比如明确指定光照、土壤颜色、角度而不是让模型自由发挥。6. 常见问题与排查思路后训练的坑非常多。下面这张表列了我在实践中最常遇到的问题以及优先排查的方向。问题现象可能原因排查方式解决方案训练 loss 不下降学习率过高/过低数据格式错误查看 loss 曲线检查数据是否符合模型输入要求先用小批量数据试跑调整学习率到 1e-4 ~ 5e-4 区间loss 下降但业务指标不涨训练数据和业务数据分布不一致评估指标设置不合理人工抽检模型输出对比训练集与验证集数据分布增加业务场景数据比例修正评估方式推理输出出现幻觉数据标注质量差后训练数据量不足抽检训练标注用原始 base 模型做对比测试清洗数据增加负样本明确告诉模型“不要输出什么”单卡显存溢出OOMbatch size 过大序列过长查看报错信息统计训练样本的 token 长度调小 batch size开启 gradient checkpointing用 QLoRA 量化推理速度太慢模型参数量大未做量化/图编译分析推理链路耗时分布启用 transformers 的 bf16/inference_mode后续再上 TensorRT合成数据在真实场景失效合成数据和真实数据分布差异大对比合成图与真实图的关键特征增加场景控制参数加入真实数据混合训练VLM 回答格式不稳定指令模板不统一解码参数不合适检查数据中的 instruction 格式尝试 different decoding 策略统一 prompt 模板用固定的解码参数7. 工程化最佳实践从实验到生产后训练项目从“能跑”到“能上线”还需要做一些工程层面的设计。这里列几条最重要的建议。7.1 数据版本管理是一等公民不要小看数据版本管理。后训练的数据集经常要迭代如果不对数据做版本管理你会很快陷入混乱上一次微调用的是哪个版本的数据哪条样本被改过了建议用 DVCData Version Control或类似工具管理数据集版本同时把版本号写入训练配置。这样每次训练都能精确复现。7.2 实验追踪不可省后训练的变量特别多数据配比、LoRA 参数、学习率、训练轮数……建议从第一天开始就用 Weights Biases 或 MLflow 记录每次实验的超参数、loss 曲线和评估指标。不要靠“跑完看效果”来记忆那个方式在参数多的时候会直接崩溃。7.3 安全合规底线在智慧城市和农业机器人这类真实场景中数据合规是红线。智慧城市监控视频数据的采集和使用必须在授权范围内涉及行人的数据必须做脱敏处理。后训练样本中的图像不应包含未经授权的人脸、车牌等个人敏感信息。农业机器人合成数据本身风险较低但一旦加入真实农田数据要注意是否涉及农户的个人信息或商业秘密。生产环境模型上线前要评估输出内容的合规性尤其是 VLM 的开放文本输出要有内容过滤和人工抽检机制。7.4 最小权限与回滚策略在真实项目中模型部署应当遵循最小权限原则模型服务只开放必要的 API不暴露底层训练数据。模型升级采用灰度发布。先让 10% 的流量走新模型对比指标稳定后再全量切换。上线前保留旧模型的权重副本一旦新模型效果不佳可以快速回滚。8. 下一步可以深入的方向后训练是一个很深的方向这篇文章可以视为一个“从零到一”的路线图。如果你已经跑通了上面的流程下一步可以从这几个方向继续深入方向一偏好对齐RLHF / DPO。当前文中的示例主要是 SFT也就是“教模型模仿正确答案”。但有些任务没有唯一正确答案而是需要“更偏好某个回答”。这时可以引入偏好对齐让模型学会“什么回答更合理”。方向二视频级的 VLM 后训练。文章中的示例主要是单帧图片的推理。真实场景中智慧城市的很多事件需要多帧、跨时间的理解比如“车辆在 3 秒内连续变道两次”。这类任务需要对视频级 VLM 做后训练数据格式更复杂训练成本也更高。方向三世界模型的评测。合成数据生成质量如何判断世界模型生成的视频是否符合物理规律目前还没有一个公认的评测标准。如果你在这个方向深入会是一个非常有价值的技术议题。方向四更强的推理加速。后训练只是让模型“变得有用”推理加速是让模型“用得起”。TensorRT、vLLM、动态 batch 等工程手段在真实项目中价值巨大。最后提醒一句后训练不要迷信大而全。先用一小批高质量数据跑通全流程再逐步扩大规模是这个方向最稳妥的实践方式。如果你正在规划智慧城市或机器人相关的视觉项目不妨先从这篇文章里的流程开始在真实业务中找到那个“最痛的点”然后集中火力攻破它。