如果你做过多语言问答评测应该能感受到一个问题很多 benchmark 换了几种语言思路还是英语中心题目也偏向欧美地名和地理结构。MultiGlobeQA 这个基准不太一样它的定位是 multilingual and globally diverse想同时把多语言和全球地理多样性纳入地理空间推理评测。换句话说它不只是问“巴黎在哪个国家”而是更关注模型面对不同语言、不同地区、不同行政区划边界时能不能完成真正的空间关系判断。这篇文章不打算复述论文摘要而是从评测落地的角度把准备数据、跑通流程、观察指标、分析错误、定位模型短板这条链路拆开讲。适合正在做多语言 QA、地理知识助手或 LLM 评估系统的同学参考。现在各种基准多到需要另一个基准来对比基准看到新的 benchmark 先别急着跑分。先搞清楚它测什么、怎么测、哪些指标不能只看总分。MultiGlobeQA 这类地理空间推理评测真正有价值的是拆开劣势语言和劣势地理区域看模型在哪一类任务上系统性失效。1. 先别急着跑分搞清楚这套评测集到底在测什么1.1 MultiGlobeQA 解决的不是“常识问答”而是“多语言空间推理”双重问题普通百科问答测试的是记忆世界上最高的山是什么、某个国家首都是哪里。这类问题模型可以靠训练语料里的高频信息直接背出来。地理空间推理测试的则是另一件事模型需要把多个地点的位置关系组合起来通过方位、距离、包含关系、边界条件做推断。MultiGlobeQA 这类基准能引起关注是因为它把两个容易互相干扰的维度放在了一起。第一个维度是多语言同一个问题用不同语言表达模型对地名的识别、对语法结构的理解都会变化。第二个维度是全球地理多样性不依赖单一地图视角而是覆盖多个大洲、多个地理尺度和不同行政区划体系。这两个维度叠加后题目难度会明显上升。模型可能认识英文地图上的“Niger River”但换成当地语言或另一种罗马化拼写就认不出来。模型可能清楚法国和德国的边界但对东南亚某个跨区域河流的上下游关系并不敏感。MultiGlobeQA 的作用就是把这些差异固化成可重复评测的题目而不是靠人工拍脑袋说“这个模型全球地理能力不错”。1.2 多语言不是“翻译一遍题目”那么简单很多团队拿到多语言基准后的第一反应是把英文题翻译成中文、日文、法文然后测模型。这个思路在语言能力评测里勉强说得通但在地理空间推理里会失真。地名本身在不同语言里有不同称呼行政区划的层级结构也不一样。同样是河流“River”在不同语言里可能是“江”“河”“川”“溪流”并且命名习惯受行政区划影响。如果只是机械翻译模型得到的其实是翻译质量测试而不是地理空间推理测试。MultiGlobeQA 的多语言设计一般不是让模型做跨语言翻译而是让模型在给定语言下直接进行地理推理。这要求评估方特别注意两个点一是语言版本是否使用真实语言表达而不是翻译腔二是地名的当地拼写、通用英文拼写和注音之间是否做了合理切换。使用这套基准时最好先随机看几十条非英文样本确认题目不是“英文题逐字翻译”否则后面的分语言指标意义会打折扣。1.3 “全球多样性”考验的是地理覆盖度不是模型参数量模型参数越多不一定代表全球地理能力越强。很多模型在训练语料里见过大量英文维基百科对欧洲和北美的地物覆盖度极高但到了非洲城市、中亚行政区划、太平洋岛国语料密度明显下降。MultiGlobeQA 强调 globally diverse本质上是在对抗这种数据分布偏差。评测时我建议把区域维度单独拆出来看。比如按大洲分、按国家类型分、按地理尺度分。只看总体准确率很难看出模型是“全球均衡的强”还是“欧美区域的强”。对一个做全球产品的地图团队来说这两者差异非常大。2. 使用前要准备什么数据、评估框架、模型推理方式2.1 先把数据结构和字段含义看明白拿到 MultiGlobeQA 的数据后第一件事不是立刻评估而是读数据说明。常见字段会包含题目、选项、正确答案、语言标签、地理区域标签、可能的问题类型标签。不同发布方给出的数据格式不一定一致有的可能是 JSON有的是 CSV有的按语言拆成多个文件。我一般会先做三个检查检查是否有语言标签并且语言标签和题目文本是否对应。检查是否有区域标签能否知道每道题属于哪个大洲或哪个地理单元。检查答案类型是多项选择、单项选择还是自由文本。如果题目里有选项评估时一般会比选项序号或选项文本。如果题目是自由回答输出解析就要额外处理因为模型可能给出一段解释而不是直接给答案。MultiGlobeQA 这类地理推理基准通常不会只考背诵式答案题目里可能包含空间方位、邻接关系、包含关系等比较稳妥的做法是先确认官方期望的输出形式。2.2 评估脚本可以先从“小样本、单语言、固定种子”开始完整跑一遍全量基准之前建议先做一个最小化验证。比如取某种语言的 50 条题目跑通“读取数据 - 生成提示词 - 调用模型 - 解析输出 - 计算准确率”整条链路。这一步做两件事。一是确认自己的评估框架能正确处理题目格式不会因为字段名差异而报错。二是给后续大规模评测打底避免跑了一小时后才发现输出解析逻辑写错。如果使用通用评测框架要注意框架版本和模型接口的适配问题。如果自己写脚本可以把核心逻辑拆成几个独立函数方便后续扩展语言和批量任务。2.3 模型推理方式会影响结果要先固定提示词和采样参数同一个模型评估同一批题目如果提示词模板不同、采样温度不同准确率可能差别很大。尤其是地理推理题模型在自由生成时容易绕圈直接输出选项可能不够要求它“只输出答案字母”又会损失解释信息。我建议在正式评估前固定以下几项提示词模板是否在题目后加“请给出正确答案”是否要求先说明理由。采样温度评估基准通常会把温度设低比如 0.1 或 0降低随机性。最大生成长度自由回答场景要足够长否则模型可能没写完就被截断。输出解析逻辑从生成文本中提取选项、地名或判断结论的规则。这些参数不一定是官方给的标准但评测要可复现就必须先固定。每次想改配置时单独记录一份不要一边跑一边改否则后面无法定位分数波动来自模型升级、数据版本还是脚本变化。3. 单语言跑通后如何正确评估多语言地理空间推理能力3.1 报告结果时至少拆成“语言、区域、题型”三个维度总准确率最容易掩盖问题。如果一道题说 MultiGlobeQA 平均分有 55%你无法判断模型是每种语言都差不多还是靠英语、西班牙语拉高平均分。比较合理的报告结构是按语言列出准确率并标注样本量。按地理区域列出准确率例如非洲、亚洲、欧洲、美洲、大洋洲。按问题类型列出准确率例如空间方位判断、行政区划归属、地物相对位置、距离与邻接关系。这样在给团队或客户汇报时可以快速看出模型最弱的环节。多语言地理空间推理评测核心价值就是暴露“哪类地域、哪类表达方式下模型会失效”而不是一个漂亮的总平均分。3.2 多语言之间的分数差距可能来自很表层的问题两个语言准确率差 20 个百分点不一定代表模型的地理知识有差距。常见干扰因素包括Tokenizer 对当前语言的切分效率低导致模型理解错误。提示词语言与训练语料主导语言不一致模型进入了一种“不自信”状态。地名拼写变体未被识别模型以为在讨论两个地点。数据本身存在翻译噪声题目表述有歧义。所以分语言对比时不要只看分数还要抽样看输出。如果模型在低分语言里大量输出无关内容说明问题可能出在理解和生成阶段。如果模型能输出正确地点但方位词用错说明空间推理阶段不稳。两类问题改进方向完全不同。3.3 多次采样和随机顺序会影响稳定性大模型评测有方差。同一个提示词采样温度设为 0多数情况下稳定但生成式模型的接口或本地推理仍有微小随机性。更稳妥的做法是先跑一遍完整数据记录所有答案再跑第二遍对比两轮结果不一致的比例。如果发现同一题目两次结果不一致的占比超过预期说明模型在部分题目上处于“边缘判断”而不是稳定掌握。这时候不要急着下准确率结论可以把这类不稳定题目单独抽出来看是提示词有歧义还是模型本身在边界条件下摇摆。MultiGlobeQA 里的空间推理题常有多个条件叠加模型只要忘掉一个条件输出就会在不同选项中跳变这种不稳定本身也是一项有价值的信息。4. 分析错误时要分成“语言问题”还是“地理空间推理问题”4.1 先建立错误分类清单再动手修模型直接看错误列表很容易被带偏。模型答错一道非洲河流题你可能会认为是地理知识不够。但把题目和模型输出放在一起看才发现模型只是没有把“东端”“汇入”这两个空间词解析清楚跟非洲知识无关。我通常把错误分成五类实体识别错误模型没有把题干里的地名对应到已知实体或者识别成了同名地点。语言理解错误模型对问题语言的语法或词汇理解不到位导致题目含义发生变化。空间关系错误模型知道两个地点在哪但判断方位时选了错误方向。知识覆盖错误模型中根本没有这个地理实体或区域的知识。输出格式错误模型答对了但输出格式不符合解析逻辑被判错。前两类属于语言和实体层后三类更接近推理和知识层。对 MultiGlobeQA 这种多语言基准前两类尤其值得注意因为它们混淆性很强。4.2 用“语言-题目”交叉对照快速定位系统性短板如果某一种语言整体准确率低先按错误类型统计占比。如果大部分错误都是实体识别错误那大概率是模型对该语言的地名表示不敏感。如果是空间关系错误集中出现那说明模型能读懂题目但推理质量不够。我做过一个类似的交叉表行是各语言列是错误类型。一眼扫过去就能看出低分语言的高频错误到底是哪一类。这种表格比散乱抽看几十条结果更有效率。实际落地时可以写一个小的分析脚本把评测结果按语言、区域、错误类型聚合。结果不需要太复杂一个 JSON 文件加几个统计函数就够了。重点是让后续排查按钮化而不是每次重新翻原始日志。4.3 排查顺序数据 - 语言 - 模型 - 提示词 - 解析当发现准确率异常时不要一开始就怀疑模型参数。我的排查顺序是先看数据本身答案有没有标错语言标签对不对选项是否完整。再看提示词和语言提示词是否被当前语言干扰非英文样本是否出现乱码或拼写变体。然后看模型原始输出判断模型是真不会还是输出格式导致被误判。最后才看推理能力如果前面都正常再分析空间关系错误比例。很多团队卡在某道题上很久最后发现是数据里答案字段错了。这类问题在任何一个评测集里都可能存在MultiGlobeQA 也不例外。多语言条件下字段对齐更容易出错所以建议抽检数据而不是默认数据一定正确。5. 如果模型成绩不理想可以尝试哪些改进方向5.1 检索增强给模型补充地理事实但不能替代空间推理在 MultiGlobeQA 这类题目上常见的改进手段是检索增强生成。先根据问题检索地理位置、边界、距离等信息再让模型基于检索结果推理。这种做法对实体类问题很有效比如“X 国是否与 Y 国接壤”只要检索到两国的边境信息就能答对。但对空间关系题检索不是终点。模型拿到一堆地理数据后还要做方位判断和距离比较。如果模型本身的方位推理能力弱即使把所有地名坐标都给它它也可能把“东北”说成“东”。我在实践里会先把检索结果显式拼进提示词例如已知信息 - A 位于北纬 30 度东经 120 度 - B 位于北纬 28 度东经 122 度 问题A 相对 B 在哪个方向这样至少能判断模型是缺少知识还是缺少空间计算能力。如果检索之后准确率仍然不高问题多半出在推理层而不是知识层。5.2 提示词和思维链可以用但要防“伪推理”对空间推理题可以让模型先说出已知地点和空间关系再给最终答案。这类提示词能让模型把隐含信息显式化减少跳步错误。但要注意模型生成的长篇推理不一定可靠。有时候模型会一边推理一边自我纠正最终答对也有时候推理过程看起来合理结论却不对。评测时应该同时记录“最终答案”和“推理过程”。后续做错误分析时可以看模型是在哪一步开始偏离。更稳妥的评估不只要最终准确率还要看推理过程的稳定度。如果模型经常在第一步就把地名关系搞反那么即使最后答案蒙对也说明它没有稳定的空间推理链。5.3 多语言地理数据微调要谨慎先解决评测和演练差距看到模型在低资源语言上表现差很多团队会考虑做继续训练或微调。这个方向可以做但成本不低而且涉及数据集来源、版权和使用合规问题。如果只是为了提升 MultiGlobeQA 分数更务实的路径是先用检索增强把知识短板补上再通过提示词调整空间推理表现最后才考虑微调。微调之前务必确认训练数据来源合法并且不要使用评测集本身进行训练否则分数会失真。5.4 把 MultiGlobeQA 变成持续回归评测集模型更新时很难保证所有能力都不回退。把 MultiGlobeQA 作为地理空间推理项目的回归集是性价比很高的做法。建议流程是选一个固定子集覆盖多语言和多区域。每次模型更新、提示词修改、RAG 配置修改都跑一遍。保存历史结果比较分语言、分区域的准确率变化。发现问题后回到错误分析清单定位是哪类错误增加。这样它不是一次性的“秀分数工具”而是能长期帮助团队盯住地理空间推理能力的质量门禁。6. 我把最容易踩的坑按优先级列在这里6.1 只报平均分不拆语言和区域这是最容易犯的错误。平均分高不意味着地理能力普遍好。对全球业务来说某个区域系统性崩坏比总平均低 2 个百分点严重得多。建议所有结论都附带分语言、分区域视图。6.2 忽略输出解析格式实际答对但被判错生成式模型经常输出带解释、带标点、带换行的文本。如果解析逻辑只匹配固定格式很多正确答案会被误判。先在小样本上人工核对至少 50 条解析结果确认解析正确率接近 100%再跑全量。6.3 两次跑分结果不稳定没有做多次采样对比如果跑一次就写报告很容易把随机波动当成能力提升或能力回退。至少要跑两遍或者记录温度、随机种子、模型版本、数据版本。多语言和多区域样本量本来就可能不够大随机性会被放大。6.4 未检查题目是否被翻译腔污染如果数据里某些语言版本明显带有英文句法痕迹这说明基准构建过程可能依赖机器翻译。使用时要谨慎解释分数。MultiGlobeQA 的价值在于多语言多样性但如果具体语言版本不够自然分语言得分反映的可能不是模型能力而是翻译数据质量问题。6.5 用评测集训练导致结果虚高这是任何 benchmark 都存在的红线。不要为了刷榜把评测集内容放进训练数据。合理做法是保留一个 holdout 子集只在最终版本上跑一次或者把评测集当作公开回归集不做针对性训练。6.6 全量数据跑完才检查浪费资源又难定位问题更高效的方式是先跑 10 到 50 条目测模型输出的质量再逐步扩大规模。MultiGlobeQA 这类多语言数据建议每换一种语言都做这个小样本检查不要默认一种语言跑通其他语言也没问题。踩过几次之后我发现很多分数异常不是模型能力导致的而是数据标签、输出解析、提示词语言和随机种子这些“评测基础设施”没有处理好。把评测流程做扎实比反复换模型更有效。我个人更建议先把小样本跑稳再扩展到多语言全量。真正落地时紧盯的不是总准确率而是每个语言桶、每个区域桶、每类错误的变化。这样 MultiGlobeQA 对你来说就不只是一个 benchmark而是一套能持续发现模型地理空间推理短板的质量工具。