【Bug已解决】Create Baseline Evaluation Based on DriveLM data off-the-shelf VLMs 解决方案一、现象长什么样想把 DriveLM自动驾驶视觉-语言数据集拿来做基线评估baseline evaluation——也就是先用一个现成的、不开源的 VLMoff-the-shelf VLM直接去回答 DriveLM 的提问得到一个“不开源模型在这套题上的水平”基准线作为后续自研模型/微调的对照。但搭这个基线时会遇到没有统一的“怎么把 DriveLM 的多视角图像 问题喂给 VLM”的接口每个模型 API 不一样代码写了一堆 if-branch指标不统一DriveLM 官方用 Graph-score图匹配自己随手用 BLEU/accuracy 又对不上官方口径跑出来的分数无法和社区/论文对比因为 prompt 模板、图像缩放、视角顺序都和你不同数据集大、VLM 调用慢且贵全量跑不现实却不知道该怎么下采样才不影响代表性结果不可复现没固定图像预处理和随机种子两次跑分差很多没有把“模型输出 → 结构化答案 → 指标”的链路固化换一个 VLM 又重写一遍。这些不是报错而是缺少一个干净、可复现的基线评估骨架。本文给出一套可运行骨架VLM 可插拔、指标分层、可下采样、确定性强。二、背景DriveLM 的评估难点在于它的答案是有结构的一个 question 对应一串reasoning步骤和一个answer官方指标是 Graph-score——把预测和真值都建成图节点实体/动作边关系用图匹配算相似度而不是简单的 token 重合。用 off-the-shelf VLM 做 baseline 的正确姿势是输入组装DriveLM 是多视角前、左前、右前… 一个问题。要把多张图按固定顺序拼成 VLM 能接受的输入并附上视角标识文本。输出解析VLM 返回自由文本需要解析成结构化(reasoning, answer)否则无法算 Graph-score。指标分层至少算“答案级匹配answer match”和“图级匹配graph score”两层前者快、后者准。可复现固定视角顺序、图像尺寸、采样子集、随机种子。因为真实 VLM 需要鉴权且不免费下面用可插拔 VLM 接口 确定性 mock搭骨架真实使用时替换generate即可。重点是把“评估流程”与“具体模型”解耦让 baseline 可复现、可对比。三、根因这里的“问题”是基线评估工程缺失接口耦合VLM 调用散落在业务逻辑里换模型要重写。指标口径不统一BLEU 与 Graph-score 混用无法对标官方。不可复现预处理/采样/种子不固定。输出未结构化自由文本不解析成图Graph-score 算不了。修复方向搭一个 VLM 可插拔、输入组装固定、输出解析结构化、指标分层、可下采样的基线骨架并固定所有随机性来源。四、最小可运行复现下面给一个自包含的基线评估骨架mock VLM确定性离线可跑演示“组装输入 → 调用 VLM → 解析 → 算指标”的完整链路。import random import hashlib from dataclasses import dataclass dataclass class DriveLMSample: qid: str views: list # 多视角标识如 [front,front_left,front_right] question: str gold_answer: str # ---- 可插拔 VLM ---- class VLM: def generate(self, views: list, question: str) - str: raise NotImplementedError class MockVLM(VLM): 确定性 mock根据问题关键词返回结构化答案便于验证骨架。 def generate(self, views, question): if 怎么走 in question: return reasoning: 前方车辆保持车道。answer: 它会向前直行。 if 危险 in question: return reasoning: 右侧无行人。answer: 右侧安全。 return reasoning: 观察路况。answer: 可以向左变道。 # ---- 输入组装固定视角顺序 文本标识 ---- VIEW_ORDER [front, front_left, front_right, back] def build_prompt(sample: DriveLMSample) - str: view_str , .join( f[{v}] for v in VIEW_ORDER if v in sample.views ) return f视角: {view_str}\n问题: {sample.question}\n请分步回答: # ---- 输出解析为结构化 ---- def parse_output(text: str): reasoning, answer , for line in text.split(\n): if line.startswith(reasoning:): reasoning line[len(reasoning:):].strip() elif line.startswith(answer:): answer line[len(answer:):].strip() return reasoning, answer # ---- 指标答案级 图级简化为 token 集合重叠---- def answer_match(pred, gold): return 1.0 if pred and pred in gold else 0.0 def graph_score(reasoning_pred, reasoning_gold): a set(reasoning_pred.replace(, ).split()) b set(reasoning_gold.replace(, ).split()) if not a or not b: return 0.0 return len(a b) / len(a | b) # ---- 确定性下采样 ---- def sample_data(data, n, seed0): r random.Random(seed) return r.sample(data, min(n, len(data))) def make_data(n120, seed1): r random.Random(seed) qs [(前面那辆车会怎么走, 它会向前直行, 前方车辆保持车道), (右侧行人是否危险, 右侧安全, 右侧无行人), (我能否变道到左侧, 可以向左变道, 观察左侧车道空旷)] out [] for i in range(n): q, a, rs r.choice(qs) out.append(DriveLMSample(fq{i}, [front, front_left, front_right], q, a)) return out vlm MockVLM() data sample_data(make_data(), 50, seed7) am_scores, gs_scores [], [] for s in data: prompt build_prompt(s) out vlm.generate(s.views, s.question) reasoning, answer parse_output(out) am_scores.append(answer_match(answer, s.gold_answer)) gs_scores.append(graph_score(reasoning, 前方车辆保持车道)) print(fanswer_match: {sum(am_scores)/len(am_scores):.3f}) print(fgraph_score: {sum(gs_scores)/len(gs_scores):.3f})运行后得到确定性的answer_match与graph_score两个基线值。真实评估把MockVLM换成你的 VLM 客户端、graph_score换成官方 Graph-score 实现即可骨架不变。五、解决方案第一层最小直接修复修复 1固定视角顺序与输入模板如VIEW_ORDERbuild_prompt所有样本用同一套组装逻辑保证可复现、可对比。修复 2输出必须解析成结构化如parse_output把 VLM 自由文本拆成reasoning/answer否则无法算图级指标。修复 3固定下采样种子如sample_data(..., seed7)两次跑同一子集分数可对比。六、解决方案第二层结构性改进改进 1VLM 接口与评估解耦class RealVLM(VLM): def __init__(self, client): self.client client def generate(self, views, question): # 把 views 转成 VLM 接受的图片输入调用 client解析返回 # return self.client.chat(imagesviews, textbuild_prompt(...)) raise NotImplementedError(接入真实 VLM)评估脚本只依赖VLM接口换模型不动主体。改进 2指标分层且能对接官方 Graph-scoreMETRICS { answer_match: answer_match, graph_score: graph_score, # 真实使用时加入官方 graph_score 实现 } def evaluate(samples, vlm): res {k: [] for k in METRICS} for s in samples: out vlm.generate(s.views, s.question) r, a parse_output(out) res[answer_match].append(answer_match(a, s.gold_answer)) res[graph_score].append(graph_score(r, s.gold_answer)) return {k: sum(v)/len(v) for k, v in res.items()}改进 3把结果按 qid 落盘支持跨模型对比import json def dump_results(samples, vlm, path): rows [] for s in samples: r, a parse_output(vlm.generate(s.views, s.question)) rows.append({qid: s.qid, pred_answer: a, pred_reasoning: r}) with open(path, w) as f: json.dump(rows, f, ensure_asciiFalse, indent2)不同 VLM 各自落盘事后统一比对。七、解决方案第三层断言 / CI 守护import random import pytest def parse_output(text): reasoning, answer , for line in text.split(\n): if line.startswith(reasoning:): reasoning line[len(reasoning:):].strip() elif line.startswith(answer:): answer line[len(answer:):].strip() return reasoning, answer def graph_score(a, b): sa, sb set(a.split()), set(b.split()) if not sa or not sb: return 0.0 return len(sa sb) / len(sa | sb) def test_parse_output_structures(): r, a parse_output(reasoning: x。answer: y) assert r x。 and a y def test_graph_score_symmetric(): assert graph_score(a b c, b c d) graph_score(b c d, a b c) def test_sampling_deterministic(): r1 random.Random(7); d1 r1.sample(range(100), 10) r2 random.Random(7); d2 r2.sample(range(100), 10) assert d1 d2 def test_view_order_stable(): views [front_right, front, front_left] ordered [v for v in [front, front_left, front_right] if v in views] assert ordered [front, front_left, front_right]这四个测试守护“输出解析正确、图分数对称、下采样确定、视角顺序稳定”。八、排查清单搭 DriveLM 基线评估时按序查VLM 接口解耦mock 验证骨架真实模型即插即用。固定视角顺序与模板所有样本同一组装逻辑保证可复现。输出结构化解析拆出reasoning/answer否则图级指标算不了。指标分层answer_match快 graph_score准口径统一。固定下采样种子子集可复现、可对比。结果落盘按 qid支持跨 VLM 横向比较。对标官方口径graph_score 尽量用官方实现避免 BLEU 自嗨。成本可控先小子集验证链路再放大避免 VLM 调用费用失控。九、小结Create Baseline Evaluation Based on DriveLM data off-the-shelf VLMs的核心不是代码崩溃而是基线评估工程缺失VLM 接口耦合、指标口径不一、不可复现、输出未结构化导致无法给出一个可对比的基线分数。最小修复是固定视角顺序与输入模板、把 VLM 输出解析成结构化、固定下采样种子结构性改进是VLM 接口与评估解耦、指标分层并能对接官方 Graph-score、结果按 qid 落盘支持跨模型对比最后用测试守护“解析正确、图分数对称、采样确定、视角顺序稳定”。这样就能用一套干净骨架客观建立 off-the-shelf VLM 在 DriveLM 上的基线作为后续改进的对照锚点。
【Bug已解决】Create Baseline Evaluation Based on DriveLM data off-the-shelf VLMs 解决方案
发布时间：2026/7/25 2:09:11
【Bug已解决】Create Baseline Evaluation Based on DriveLM data off-the-shelf VLMs 解决方案一、现象长什么样想把 DriveLM自动驾驶视觉-语言数据集拿来做基线评估baseline evaluation——也就是先用一个现成的、不开源的 VLMoff-the-shelf VLM直接去回答 DriveLM 的提问得到一个“不开源模型在这套题上的水平”基准线作为后续自研模型/微调的对照。但搭这个基线时会遇到没有统一的“怎么把 DriveLM 的多视角图像 问题喂给 VLM”的接口每个模型 API 不一样代码写了一堆 if-branch指标不统一DriveLM 官方用 Graph-score图匹配自己随手用 BLEU/accuracy 又对不上官方口径跑出来的分数无法和社区/论文对比因为 prompt 模板、图像缩放、视角顺序都和你不同数据集大、VLM 调用慢且贵全量跑不现实却不知道该怎么下采样才不影响代表性结果不可复现没固定图像预处理和随机种子两次跑分差很多没有把“模型输出 → 结构化答案 → 指标”的链路固化换一个 VLM 又重写一遍。这些不是报错而是缺少一个干净、可复现的基线评估骨架。本文给出一套可运行骨架VLM 可插拔、指标分层、可下采样、确定性强。二、背景DriveLM 的评估难点在于它的答案是有结构的一个 question 对应一串reasoning步骤和一个answer官方指标是 Graph-score——把预测和真值都建成图节点实体/动作边关系用图匹配算相似度而不是简单的 token 重合。用 off-the-shelf VLM 做 baseline 的正确姿势是输入组装DriveLM 是多视角前、左前、右前… 一个问题。要把多张图按固定顺序拼成 VLM 能接受的输入并附上视角标识文本。输出解析VLM 返回自由文本需要解析成结构化(reasoning, answer)否则无法算 Graph-score。指标分层至少算“答案级匹配answer match”和“图级匹配graph score”两层前者快、后者准。可复现固定视角顺序、图像尺寸、采样子集、随机种子。因为真实 VLM 需要鉴权且不免费下面用可插拔 VLM 接口 确定性 mock搭骨架真实使用时替换generate即可。重点是把“评估流程”与“具体模型”解耦让 baseline 可复现、可对比。三、根因这里的“问题”是基线评估工程缺失接口耦合VLM 调用散落在业务逻辑里换模型要重写。指标口径不统一BLEU 与 Graph-score 混用无法对标官方。不可复现预处理/采样/种子不固定。输出未结构化自由文本不解析成图Graph-score 算不了。修复方向搭一个 VLM 可插拔、输入组装固定、输出解析结构化、指标分层、可下采样的基线骨架并固定所有随机性来源。四、最小可运行复现下面给一个自包含的基线评估骨架mock VLM确定性离线可跑演示“组装输入 → 调用 VLM → 解析 → 算指标”的完整链路。import random import hashlib from dataclasses import dataclass dataclass class DriveLMSample: qid: str views: list # 多视角标识如 [front,front_left,front_right] question: str gold_answer: str # ---- 可插拔 VLM ---- class VLM: def generate(self, views: list, question: str) - str: raise NotImplementedError class MockVLM(VLM): 确定性 mock根据问题关键词返回结构化答案便于验证骨架。 def generate(self, views, question): if 怎么走 in question: return reasoning: 前方车辆保持车道。answer: 它会向前直行。 if 危险 in question: return reasoning: 右侧无行人。answer: 右侧安全。 return reasoning: 观察路况。answer: 可以向左变道。 # ---- 输入组装固定视角顺序 文本标识 ---- VIEW_ORDER [front, front_left, front_right, back] def build_prompt(sample: DriveLMSample) - str: view_str , .join( f[{v}] for v in VIEW_ORDER if v in sample.views ) return f视角: {view_str}\n问题: {sample.question}\n请分步回答: # ---- 输出解析为结构化 ---- def parse_output(text: str): reasoning, answer , for line in text.split(\n): if line.startswith(reasoning:): reasoning line[len(reasoning:):].strip() elif line.startswith(answer:): answer line[len(answer:):].strip() return reasoning, answer # ---- 指标答案级 图级简化为 token 集合重叠---- def answer_match(pred, gold): return 1.0 if pred and pred in gold else 0.0 def graph_score(reasoning_pred, reasoning_gold): a set(reasoning_pred.replace(, ).split()) b set(reasoning_gold.replace(, ).split()) if not a or not b: return 0.0 return len(a b) / len(a | b) # ---- 确定性下采样 ---- def sample_data(data, n, seed0): r random.Random(seed) return r.sample(data, min(n, len(data))) def make_data(n120, seed1): r random.Random(seed) qs [(前面那辆车会怎么走, 它会向前直行, 前方车辆保持车道), (右侧行人是否危险, 右侧安全, 右侧无行人), (我能否变道到左侧, 可以向左变道, 观察左侧车道空旷)] out [] for i in range(n): q, a, rs r.choice(qs) out.append(DriveLMSample(fq{i}, [front, front_left, front_right], q, a)) return out vlm MockVLM() data sample_data(make_data(), 50, seed7) am_scores, gs_scores [], [] for s in data: prompt build_prompt(s) out vlm.generate(s.views, s.question) reasoning, answer parse_output(out) am_scores.append(answer_match(answer, s.gold_answer)) gs_scores.append(graph_score(reasoning, 前方车辆保持车道)) print(fanswer_match: {sum(am_scores)/len(am_scores):.3f}) print(fgraph_score: {sum(gs_scores)/len(gs_scores):.3f})运行后得到确定性的answer_match与graph_score两个基线值。真实评估把MockVLM换成你的 VLM 客户端、graph_score换成官方 Graph-score 实现即可骨架不变。五、解决方案第一层最小直接修复修复 1固定视角顺序与输入模板如VIEW_ORDERbuild_prompt所有样本用同一套组装逻辑保证可复现、可对比。修复 2输出必须解析成结构化如parse_output把 VLM 自由文本拆成reasoning/answer否则无法算图级指标。修复 3固定下采样种子如sample_data(..., seed7)两次跑同一子集分数可对比。六、解决方案第二层结构性改进改进 1VLM 接口与评估解耦class RealVLM(VLM): def __init__(self, client): self.client client def generate(self, views, question): # 把 views 转成 VLM 接受的图片输入调用 client解析返回 # return self.client.chat(imagesviews, textbuild_prompt(...)) raise NotImplementedError(接入真实 VLM)评估脚本只依赖VLM接口换模型不动主体。改进 2指标分层且能对接官方 Graph-scoreMETRICS { answer_match: answer_match, graph_score: graph_score, # 真实使用时加入官方 graph_score 实现 } def evaluate(samples, vlm): res {k: [] for k in METRICS} for s in samples: out vlm.generate(s.views, s.question) r, a parse_output(out) res[answer_match].append(answer_match(a, s.gold_answer)) res[graph_score].append(graph_score(r, s.gold_answer)) return {k: sum(v)/len(v) for k, v in res.items()}改进 3把结果按 qid 落盘支持跨模型对比import json def dump_results(samples, vlm, path): rows [] for s in samples: r, a parse_output(vlm.generate(s.views, s.question)) rows.append({qid: s.qid, pred_answer: a, pred_reasoning: r}) with open(path, w) as f: json.dump(rows, f, ensure_asciiFalse, indent2)不同 VLM 各自落盘事后统一比对。七、解决方案第三层断言 / CI 守护import random import pytest def parse_output(text): reasoning, answer , for line in text.split(\n): if line.startswith(reasoning:): reasoning line[len(reasoning:):].strip() elif line.startswith(answer:): answer line[len(answer:):].strip() return reasoning, answer def graph_score(a, b): sa, sb set(a.split()), set(b.split()) if not sa or not sb: return 0.0 return len(sa sb) / len(sa | sb) def test_parse_output_structures(): r, a parse_output(reasoning: x。answer: y) assert r x。 and a y def test_graph_score_symmetric(): assert graph_score(a b c, b c d) graph_score(b c d, a b c) def test_sampling_deterministic(): r1 random.Random(7); d1 r1.sample(range(100), 10) r2 random.Random(7); d2 r2.sample(range(100), 10) assert d1 d2 def test_view_order_stable(): views [front_right, front, front_left] ordered [v for v in [front, front_left, front_right] if v in views] assert ordered [front, front_left, front_right]这四个测试守护“输出解析正确、图分数对称、下采样确定、视角顺序稳定”。八、排查清单搭 DriveLM 基线评估时按序查VLM 接口解耦mock 验证骨架真实模型即插即用。固定视角顺序与模板所有样本同一组装逻辑保证可复现。输出结构化解析拆出reasoning/answer否则图级指标算不了。指标分层answer_match快 graph_score准口径统一。固定下采样种子子集可复现、可对比。结果落盘按 qid支持跨 VLM 横向比较。对标官方口径graph_score 尽量用官方实现避免 BLEU 自嗨。成本可控先小子集验证链路再放大避免 VLM 调用费用失控。九、小结Create Baseline Evaluation Based on DriveLM data off-the-shelf VLMs的核心不是代码崩溃而是基线评估工程缺失VLM 接口耦合、指标口径不一、不可复现、输出未结构化导致无法给出一个可对比的基线分数。最小修复是固定视角顺序与输入模板、把 VLM 输出解析成结构化、固定下采样种子结构性改进是VLM 接口与评估解耦、指标分层并能对接官方 Graph-score、结果按 qid 落盘支持跨模型对比最后用测试守护“解析正确、图分数对称、采样确定、视角顺序稳定”。这样就能用一套干净骨架客观建立 off-the-shelf VLM 在 DriveLM 上的基线作为后续改进的对照锚点。
