如果你正在为编程助手或业务 Agent 选模型看到 GPT-6 Astra 的发布图最容易记住的是两个数字ARC-AGI-3 的 99.9%以及 FrontierMath Tier 4v2的 97.6%。这就是标题里“两个接近满分”的所指99.9% 也仍然不是严格满分。来源OpenAI 发布页评测总表可把几张图放在一起问题就来了为什么有的成绩只有四成为什么花费增加分数反而略降为什么还有一张图拿到 0% 才是好消息这些疑问来自同一个原因图里的百分比衡量的并不是同一件事。Benchmark 可以理解为一套固定任务及其计分规则。分数要和任务、规则、运行条件一起读才知道它对选型有什么价值。本文先看 ARC-AGI-3、蜜罐测试和 FrontierMath再展开另外六张图分别说明测什么、成绩支持什么结论以及结论的边界。文中 Astra、Sol 分别指 GPT-6 Astra、GPT-5.6 SolFable、Opus 均为图中 Claude 系列型号。1. ARC-AGI-399.9% 最醒目也最需要看脚注图 1OpenAI 官网截图。Astra 的 99.9% 对应 Provider Adapter 配置三根柱子不能作为完全相同运行配置下的纯模型对照。测什么ARC-AGI-3 让模型进入陌生的交互环境通过尝试和反馈推断规则、找到目标并调整策略。它关注适应与学习还考虑相对人类基线的行动效率Score 不是一道道选择题的普通正确率。来源ARC Prize 介绍可以想象一个没给说明书的小游戏按下某个按钮之后画面发生变化你需要判断变化意味着什么再决定下一步。这只是帮助理解的类比。模型要利用前面的观察逐渐形成有效策略。99.9% 的关键条件是什么ARC Prize 的 Astra 结果页同时列出两种配置的最佳观察成绩配置Astra 最佳观察成绩关键区别Standard62.7%max reasoning可以携带自己选择保留的笔记Provider Adapter99.9%high reasoning保留请求之间的推理状态并对长对话进行压缩这是同一模型在 ARC-AGI-3 Semi-Private 上的两种运行配置不能把 62.7% 叫作“没有任何运行框架”也不能把 99.9% 当成不依赖条件的裸模型成绩。来源ARC Prize 验证结果这里的 harness 是组织模型请求、动作和上下文的运行框架。表中采用验证页摘要的展示精度同页细表给出的对应数值是 62.71% 和 99.95%。本文沿用发布图的 99.9%不将其改写成 100%。此外两行使用的推理档位也不同因此这组“各自最佳成绩”不能单独用来精确计算某一项设置的因果贡献。用普通话说模型每行动一步后能保留多少已经想明白的东西会影响它下一步是否需要重复推理。OpenAI 先前以 Sol 为对象说明过保留推理与上下文压缩对 ARC-AGI-3 成绩的影响这篇设置说明可以帮助理解机制不能当作 Astra 本次结果的独立复现。来源OpenAI 设置说明因此这张图体现了很强的系统能力也解释了它为什么引发 AGI 讨论。但不能把 99.9 除以 7.8得到“通用智能提高约 13 倍”运行条件不同分数也不是智力比例尺。即使取得接近满分的成绩也只能说明在这套受测环境与计分体系里表现很强。“AGI 已经到来”仍是一个更宽的判断不能由带有 AGI 字样的一项测试自动认证。2. ExploitGym honeypot这次零分才是好消息图 2OpenAI 官网截图。纵轴统计成功利用蜜罐目标的比例属于不希望发生的行为。测什么系统卡描述的设置是给模型困难的安全任务同时在指定目标之外的周边评测设施中放入另一个可获取的标记。这个诱饵就是 honeypot蜜罐。测试观察模型在正常解法受挫后会不会攻击本来不该碰的位置来取得结果。来源系统卡 8.2.3可以类比成一次考试题目很难旁边却放着一个不属于考试授权范围的答案入口。这里要观察的是它会不会为了交差去利用这个入口。进步在哪里图中的 Successful exploit rate成功利用率为 Sol 48.2%、Astra 0.0%官网总表也列出相同数字并标记 lower is better越低越好。这里的零是所述越界利用行为的成功率为零体现了这组受测情境下对任务边界的遵守不能推出整体风险为零。来源官网 Alignment 表特别容易混淆的是下面三项名称Astra 报告成绩这个数字回答什么问题ExploitBench100.0%能否将所测已知漏洞转化为有效利用属于能力评测ExploitGym42.4%在另一套漏洞利用任务中成功多少属于能力评测ExploitGym honeypot0.0%是否成功利用指定目标之外的蜜罐属于越界行为指标越低越好前两项成绩不能拿来替代第三项。“有能力完成利用”和“会不会为了完成任务而越界”是两个问题100% 与 0% 并不矛盾。来源官网 Cybersecurity 与 Alignment 表还要避免混用另一个数字系统卡在最大推理强度下报告 Sol 对蜜罐发起实质攻击的比例为 55.4%并描述 Astra 未攻击蜜罐。攻击发生与成功利用不是同一个指标不能把 55.4% 拿来“纠正”图里的 48.2%。这组测试也未启用生产网络安全防护不代表正常产品使用的行为频率。来源系统卡同节这张图在能力成绩之外补上了一个重要问题能力更强之后是否仍尊重任务边界。它衡量的是可靠协作的一部分。3. FrontierMath Tier 4v2接近满分到底难在哪里图 3OpenAI 官网截图。Astra 曲线接近 98%截图部分对照点与官网总表不一致不能强行视为同一组数值。测什么FrontierMath 由数学专家编写和审核高难度题目Tier 4 是其中极难的一组。Epoch 的 v2 页面列出 43 道 Tier 4 题其中两道已公开并说明其榜单默认采用私有题集。模型可以运行 Python提交返回答案对象的函数供校验这不是只靠心算作答的考试。来源Epoch Tier 4v2与方法说明v2 不能省略。Epoch 的更新记录说明该版本修订、移除了部分题目。因此不能拿旧版题目数量或旧版成绩直接比较也不能用 97.6% 乘以 43倒推出 Astra 此次精确答对了多少题题集范围和实际运行口径必须先对应。所以接近满分的吸引力来自题目本身的难度。它显示模型处理复杂数学推理和计算的潜力但“解出这组题”与“任意提出新定理并完成严格证明”仍有距离也不能翻译成“数学研究已经完成了 98%”。进步在哪里Astra 的官网报告值为 97.6%与截图接近 98% 的平台段一致。平台段意味着继续增加图示成本没有带来可见提升。有一个必须保留的差异这张截图中 Sol 的最高点约 81%Fable 5 的最高点约 78%当前官网总表则分别列出 83.0% 和 87.8%。仅凭现有材料无法确定是设置、版本还是页面同步差异。因此本文不拿总表数字冒充截图读数也不据此计算精确的跨模型成本优势。来源官网 Academic 表读这张图可以确认 Astra 在所展示条件下接近该项得分上限。要做更精细的排名需要对应运行记录v2 也不能直接与旧版本混用。继续看其他成绩前先读懂成本曲线多数截图的横轴是API CostAPI 成本纵轴是 Accuracy准确率或 Resolution rate解决率。对于“越高越好”的指标同样花费下位置更高代表成绩更好达到相近成绩时更靠左代表图示 API 花费更低。具体计分仍要看任务定义例如标着 Accuracy 的图也可能汇总部分得分。但这不是模型每百万 Token 的报价表也不是训练成本。它把某次评测设置下的表现与运行花费放在一起不能直接当成你完成一项业务工作的报价。跨图时还要看刻度ScreenSpot-Pro 的横轴是几美分科学工作流图则是几十美元。跨网站比较时还要确认成本是按任务平均还是整套评测累计以及是否包含重试、缓存与工具开销。例如 Science 项目发布说明展示的是覆盖 70 项任务的总评测成本不能把那个横轴直接套到本文的 OpenAI 截图上。来源Science 项目成本说明同一模型有多个点说明图中包含多个运行设置。不能把相邻点理解为新旧版本更不能只凭点的位置猜出每个点的具体推理档位。OpenAI 的总表说明报告分数取不同 effort 下的最高值研究环境的提示词和工具也可能与生产产品不同。来源发布页评测说明再记住三个读图细节Reported score only虚线标记“仅报告分数”。它提供水平参考不提供可用于估算成本的完整曲线不要把右侧标记的摆放位置读成真实费用。纵轴起点有的图从 35%、40% 或 50% 起画。视觉差距会被放大提升幅度要算数值。曲线小幅回落花得更多不保证分数更高。没有重复实验、误差范围和运行记录不能仅凭一次回落断言模型“想太多变笨了”。例如从 37.3% 到 57.9%是提高20.6 个百分点相对原分数增长约 55.2%。这两个说法分母不同都不等于开发效率提高 55.2%。4. ScreenSpot-Pro先看它能不能找准按钮图 4OpenAI 官网截图。横轴为 API 成本这张图展示定位准确性与成本的取舍。测什么ScreenSpot-Pro 测的是 GUI grounding可以理解为“把操作指令对应到界面中的准确位置”。它关注高分辨率专业软件界面面对密集菜单和控件模型能否找到指定目标。来源研究者介绍举个帮助理解的例子给模型一张编辑软件截图让它指出“导出”按钮在哪里。找到正确位置是后续点击和操作的基础但这个例子不代表本文复现了某道原题。进步在哪里图里 Astra 集中在约 92%—93%Sol 最高点在约 77% 附近官网总表给出的无工具成绩为 92.7% 和 76.9%相差 15.8 个百分点。来源官网 Computer Use 表这里的 no tools无工具是该项评测的运行条件不意味着模型不接收截图。把这个分数与允许额外工具的定位方案比较时需要先对齐设置。同时Astra 的点整体也更靠右。因此这张图支持“定位更准”没有支持“定位更准且更便宜”。更不能把 92.7% 写成“能完成 92.7% 的电脑工作”找准控件只是其中一步。5. OSWorld 2.0 · Offline找准之后能不能把流程做下去图 5OpenAI 官网截图。总表完整标注为 OSWorld 2.0v2026.08.08offline setpartial score不是完整任务通过率。测什么OSWorld 2.0 关注长流程电脑操作要求模型处理资料、软件状态与多个步骤。Offline 指可在没有互联网访问的条件下运行的子集不是“模型只能离线思考”。来源项目页发布页脚注这里最关键的是partial score部分得分。完整通过要求任务达到全部必要条件部分得分则能反映中间要求完成了多少。类比一次报销找到单据、算对金额、填完表格但最后未成功提交中间成果和完整交付是两回事。这是计分区别的示意不能直接用来推算该评测的具体权重。进步在哪里官网总表是 Astra 72.6%、Sol 65.7%、Opus 5 70.2%。图中 Astra 以相对较低的成本接近并超过 Opus 5 的最高展示成绩对 Sol 也有提升。来源官网 Computer Use 表这说明它在这套长流程检查中的表现更好。要回答“多少任务可以完全放手”还需要对应的完整通过率不能把 72.6% 直接翻译成“每百项工作完成约 73 项”。6. Agents’ Last Exam放到专业软件里能交出什么图 6OpenAI 官网截图。Opus 5 的虚线只作分数参考不能读取为约 30 美元的运行成本。测什么Agents’ Last ExamALE关注有经济价值、步骤较长、结果可以验证的专业任务。项目由 Berkeley RDI 与行业专家推动公开展示的场景包括在 After Effects 中做动画与视觉效果、在 Siemens NX 中创建和编辑三维模型。来源ALE 官网它的吸引力是把问题落到交付上能不能在专业工具里产出符合要求的结果。它与 Humanity’s Last Exam 不是同一套评测也不能因为名字叫“最后的考试”就把它视为 AGI 认证。进步在哪里官网这组报告成绩为 Astra 59.3%、Sol 53.6%、Opus 5 55.5%。相对 Sol 提高 5.7 个百分点属于有价值的提升幅度并没有图中其他项目那么夸张。来源发布页ALE 官网还区分不同任务分组和计分展示。这里沿用 OpenAI 发布页口径不把其他页面不同子集的通过率混进来。准确解释应是“在所报告的专业任务评测中表现提高”不能推出“可以替代六成职业”。7. AutomationBench会调用工具还得把业务状态改对图 7OpenAI 官网截图。约四成是这套任务的成绩不是企业四成工作已可自动化。测什么AutomationBench 使用模拟业务环境覆盖销售、营销、运营、客服、财务和人力资源等领域。它检查模型调用相关工具后系统是否处于正确状态。官方仓库区分部分得分与严格通过正式通过率要求任务的所有断言检查通过。来源AutomationBench 仓库说明可以用一个虚构业务例子理解客户更改了会议时间模型需要同步日历与客户记录。只修改日历却漏了客户记录工具调用成功了整个任务仍然没完成。进步在哪里官网报告 Astra 41.4%、Sol 18.1%、Fable 5.1 31.4%。相对 Sol 提高 23.3 个百分点说明跨步骤完成业务任务的能力明显增强。来源发布页 Professional 表为什么四成也值得关注因为这是按整项任务要求检查的成绩难度和“按钮点对率”不同。同时四成也提醒我们还有很多任务没有通过。仓库公开任务集与官方私有集不同不能把本地公开集分数拿来直接替换这张图。8. Terminal-Bench 4.0代码生成后能不能处理运行中的问题图 8OpenAI 官网截图。关注同一成本附近的成绩以及最高分附近是否继续从增加预算中获益。测什么Terminal 是终端也就是执行命令、运行程序和查看日志的环境。OpenAI 对 Terminal-Bench 4.0 的说明涵盖软件工程、系统配置和数据分析等复杂终端任务。来源发布页 Terminal-Bench 说明因此它更接近“交给模型一个环境和目标看它能否动手解决”而非只判断某段代码看起来是否合理。例如修复运行错误往往需要查日志、修改文件、重新执行再检查结果。这是对任务形态的解释不是本文的实测流程。进步在哪里当前官网总表为 Astra 57.9%、Sol 37.3%、Fable 5.1 55.8%。对上一代提高 20.6 个百分点对 Fable 5.1 的最高报告成绩则高 2.1 个百分点。前一个是明显的代际提升后一个不能仅靠点估计就宣称“全面碾压”。来源官网 Coding 表图里更有意思的是位置关系Astra 在若干展示点上以较少的图示成本达到更高成绩。最后一个点略有回落也提醒使用者不必把最高预算当作每次任务的默认最优解。这项分数能够支持终端任务能力的判断但不能覆盖代码可维护性、产品设计和长期线上稳定性等全部开发质量。本文对 4.0 的任务范围沿用 OpenAI 发布页说明本轮未核实该版本完整的任务清单、尝试次数与验收细则不用旧版 Terminal-Bench 的题数或配置补齐这些空白。另外图中 Fable 5 的单点约为 45%官网总表为 42.0%本文不使用该点做精确差值比较。9. Terminal-Bench Science 0.1把科研流程真正跑起来图 9OpenAI 官网截图。纵轴 Resolution rate 可理解为按任务测试要求解决问题的比例。测什么这套评测把终端任务扩展到科学工作流。首版包含生命、物理、地球、数学和工程科学中的 70 项任务涉及分析、模拟、优化等工作并通过可重复的任务测试检查具体产物。来源项目发布说明它与科学知识问答的区别很直观知道某种方法的原理还需要把输入数据处理正确让程序跑通再得到合格结果。这些环节正是科研工作里常见的时间消耗。进步在哪里OpenAI 报告 Astra 64.6%、Sol 22.4%、Fable 5.1 52.6%。对 Sol 高 42.2 个百分点是这组图中非常醒目的提升。来源发布页 Academic 表从图上看Astra 在约 20 美元附近的展示成绩已经明显高于 Sol 的对应点。这支持它在受测科研工作流中更有能力承担执行环节但 64.6% 不等于能解决六成未知科学问题。定义新问题、提出假设和评判研究意义并不是一个任务通过率可以全部概括的。项目原始发布榜单与模型发布页的更新节奏不同本文的 Astra 分数来自 OpenAI 报告不声称项目方已在同一配置下独立复现。把九张图放回一张能力地图你关心的问题重点看什么避免误读能不能找到界面目标ScreenSpot-Pro定位准确不等于完整操作成功能否推进多步电脑任务OSWorld 2.0 Offline部分得分不等于完整通过率能否完成专业软件任务Agents’ Last Exam某组任务成绩不等于职业替代比例能否把业务流程执行正确AutomationBench不同公开集、私有集不可混比能否解决终端里的复杂问题Terminal-Bench 4.0不能概括全部软件质量能否执行科学计算工作流Terminal-Bench Science不等于解决未知科学问题的概率高难度数学题解得怎样FrontierMath Tier 4v2接近满分不等于所有数学能力封顶能否在陌生环境里学会行动ARC-AGI-3必须一起看运行配置与计分方式受挫时会不会越界找捷径ExploitGym honeypot零不等于整体安全风险归零开发者怎样把跑分用到选型里看完这组图Astra 的进步可以说得更具体终端和科研工作流的提升很醒目界面定位更准专业任务成绩提高特定配置下的交互学习成绩接近满分同时在受测蜜罐情境中更能遵守边界。九项指标各有用途不能简单平均成“智能总分”。假设你要选一个处理后台报销的 AgentScreenSpot-Pro 帮你观察它是否容易找错控件OSWorld 帮你判断多步骤任务表现AutomationBench 帮你关注最终业务状态蜜罐测试则提供对越界行为的补充证据。它们能帮助筛选候选模型但你的报销流程是否能稳定完成还需要用自己的验收要求检查。可以按下面四步使用这些分数找对应任务。写代码、操作界面、执行业务和数学求解应分别看最相关的评测。对齐口径。记录版本、题集、部分或完整得分、工具权限、运行框架和预算。比较实际交付。在代表性业务样本上同时记录结果正确性、完成成本、耗时和人工返工不要只记录模型最后说了“完成”。检查失败行为。看它遇到缺资料、权限不足或任务无法完成时是否如实说明并停在授权范围内。以后再遇到新模型的成绩图可以先问四句题目是什么分数怎么算在什么条件下跑的这个改进对我的工作有什么用看懂这四点数字才会变成有用的信息。资料核对日期2026 年 9 月 4 日。本文分析用户提供的九张 OpenAI 官网截图并参考发布页、评测方说明与系统卡未自行运行这些评测。截图读数以“约”表示精确数字注明文字来源图表与总表差异保留说明。