聚合精度的陷阱——“平均分高”不代表“公平”一场关于公平性审计的工程真相期数AI透明度卷 · 第2期作者Valhalla Matrix治理实验室原创声明本文为原创技术博客基于Valhalla工程实践编写。论文锚点《Why Aggregate Accuracy is Inadequate for Evaluating Fairness in Law Enforcement Facial Recognition Systems》(arXiv 2603.28675)、《The PGD Paradox in Credit Scoring》(ACM IC-AIF 2026)、《Collapsibility of Performance Metrics in Clinical Predictive AI》(arXiv 2608.30568)摘要在信贷评分系统中更强的对抗攻击PGD反而比更弱的攻击FGSM提升了模型准确率——这个“PGD Paradox”在四个不同规模的信贷数据集上100%一致地复现平均准确率提升15.08%。但更重要的发现是这种准确率的表面提升伴随着系统性的公平性恶化。特权群体获得了不成比例的好处平均利益不平等7.57%德国信贷数据集中这一比例高达15.09%南德国信贷数据集达到16.58%均超过10%的监管标准。研究者提出的Robustness Fairness ScoreRFS暴露了聚合分数与最差组之间高达23.0个百分点的差距。与此同时牛津大学等机构的研究从数学上证明了AUC、校准截距、校准斜率等五个指标是不可折叠的——总体层面的评估不能分解为子群特定值的加权平均。这意味着“平均准确率90%”这个单一数字可能同时掩盖了A组95%、B组60%的严重不平等。本文从聚合精度的工程陷阱出发结合PGD Paradox、非折叠性理论、LLM-FACETS框架等2026年前沿实证给出一套可运行的分层公平性审计框架。核心判断公平审计的对象不是“平均分”而是“最差层”。聚合指标不是公平的证据而是需要被解构的信号。一、一个“看起来很好”的系统可能在系统性地伤害一群人你是否有过这样的经历你的团队花了三个月优化模型终于把总体准确率从88%提升到95%。你写了报告做了PPT在评审会上展示了这条漂亮的曲线。所有人都很满意。但没有人问一个问题这95%的准确率拆开来看最差的那一层是多少这不是假设。2026年1月发表在ACM上的研究PGD Paradox精确地展示了这种“表面光鲜”的危险性。研究者对四个不同规模的信贷评分数据集进行了对抗鲁棒性测试。他们发现了一个反直觉的现象更强的迭代攻击PGD反而比更弱的单步攻击FGSM提升了模型准确率。这与传统认知完全相反——通常认为更强的攻击应该更严重地降低准确率。这个“PGD Paradox”在四个数据集上100%一致地复现平均准确率提升15.08%。如果只看这个数字你会认为“更强的攻击让模型变得更好了”。但研究者进一步拆解了公平性影响。结果令人震惊数据集聚合准确率提升特权群体利益不平等最差组与聚合差距德国信贷—15.09%超过10%监管标准南德国信贷—16.58%超过10%监管标准四个数据集平均15.08%7.57%高达23.0个百分点“准确率提升15%”的同时最差组与聚合分数之间的差距被拉大到了23个百分点。这意味着一个在“总体准确率”上看起来在进步的系统实际上正在系统性地恶化对特定群体的表现。研究者提出了Robustness Fairness ScoreRFS来揭示这种聚合分数中看不到的不平等。RFS的核心设计逻辑是公平性评估不能只看聚合准确率必须同时看最差组的表现和聚合与最差组之间的差距。二、为什么“平均分”会骗人非折叠性的数学真相2.1 一个反直觉的数学事实“平均分高”之所以会骗人根源在于一个大多数人没有意识到的数学事实某些性能指标是不可折叠的non-collapsible。牛津大学、KU Leuven和伯明翰大学的研究者在2026年8月发表的论文中对15个常用性能指标进行了系统分析得出结论AUC、校准截距、校准斜率、期望校准误差、Nagelkerke R²这五个指标是不可折叠的。而准确率、F1、TPR、TNR、PPV、NPV等十个指标是可折叠的。“不可折叠”的精确含义是总体层面的指标值不等于子群特定值的加权平均。用AUC举例。当子群体共存时总体AUC分解为组内AUC项和跨组AUC项。这意味着总体AUC可能落在子群AUC的范围之外——比如A组AUC是0.95B组AUC是0.60但总体AUC可能是0.98甚至可能是0.55。这不是统计噪声而是数学结构决定的。研究者用“辛普森悖论启发的反例”给出了形式化证明。2.2 一个具体的例子假设一个面部识别系统在两组人群上的表现如下群体样本量准确率主流人群9,00099%少数人群1,00070%聚合准确率 (9,000 × 0.99 1,000 × 0.70) / 10,000 96.1%这个96.1%看起来很好。但对于那1,000个被误判的少数人群个体系统的准确率只有70%——每三个人中就有一个被错误识别。如果少数人群在总样本中的比例更低——比如只有2%——聚合准确率会更高接近98%而少数人群的70%准确率会被完全掩盖。聚合准确率的“骗人”机制是精确的它用“大头的好”掩盖了“小头/少数群体的差”。总体越漂亮被掩盖的问题可能越严重。三、聚合指标的三个工程陷阱陷阱机制工程后果掩盖不均少数群体的错误被大样本的平均值吸收问题人群被系统性忽视误导优化团队只追总体分不关注细分优化方向偏离真实目标假公允“我们95%准确”制造虚假安全感合规审计中无法发现真实风险陷阱一掩盖不均。当少数群体只占总样本的5%时即使他们的准确率只有50%聚合准确率仍然可以达到93.5%。这个数字在报告里看起来很漂亮但那5%的人群中有一半被错误分类。陷阱二误导优化。如果团队的KPI是“总体准确率”他们会自然地优化那些影响大的群体——也就是主流人群。少数人群的表现可能被牺牲只要总体分不变。陷阱三假公允。“我们95%准确”这个数字被当作公平性的证明。但正如PGD Paradox的研究所展示的准确率提升15%的同时最差组的差距可能被拉大23个百分点。聚合指标的改善不等于公平性的改善——在某些情况下恰恰相反。四、正确的做法分层审计与最差层判卷要看到真实就必须放弃“聚合指标代表一切”的假设转向分层审计Stratified Auditing。4.1 分层审计的核心原则分层审计的核心是按敏感属性或敏感属性的组合拆开评估重点关注最差层的表现而非平均层的表现。评估方式回答的问题风险聚合评估总体准确率是多少掩盖最差层的问题分层评估每个子群的准确率是多少需要足够的子群样本量交叉分层评估敏感属性组合的最差组表现如何样本量可能极小“交叉分层”是容易被忽视但至关重要的维度。一个系统可能在“男性”和“女性”上表现均衡在“年轻人”和“老年人”上也表现均衡但在“老年女性”这个交叉群体上表现极差。单一维度的分层评估无法发现这种交叉不公平。4.2 LLM-FACETS框架的三层设计2026年5月发表的LLM-FACETS框架为分层审计提供了一个可操作的设计。它围绕三类实践者画像构建评测体系实践者画像核心关切关键审计机制技术专家模型行为的可复现性Token级对数概率可视化领域专家输出是否符合领域知识多评判者共识评估合规官是否满足监管要求RAG三元组指标幻觉检测该框架的透明度设计包括三个关键机制token级对数概率可视化评估模型置信度、多评判者共识评估缓解评判者偏差、以及RAG三元组指标检测和定位幻觉。框架的插件架构允许任何新指标或数据集被集成无需修改评测管线。4.3 开源工具的工程可用性对于工程团队而言Fairness Evaluation ToolkitMIT许可提供了一个可直接使用的起点。它实现了标准公平性指标人口统计学差异、均等赔率差异、差异影响比、统计平价差异、机会均等差异、校准差异包含基线模型实现逻辑回归、随机森林、决策树和合成数据集生成器支持通过确定性种子实现可复现评估。该工具包的一个重要设计是内置了问责与人工监督保障机制包含非依赖免责声明结果不应作为生产系统中公平性决策的唯一依据并要求持续监控、多指标验证、评估过程文档化和定期公平审计。五、可运行的分层公平性审计框架以下代码将上述审计逻辑实现为一个可运行的Python框架fromdataclassesimportdataclass,fieldfromenumimportEnumimportnumpyasnpclassFairnessVerdict(Enum):FAIRfair# 公平最差层达标MASKEDmasked# 聚合掩盖总体好但最差层差UNFAIRunfair# 不公平最差层严重不达标INSUFFICIENTinsufficient# 证据不足子群样本量过小dataclassclassSubgroupResult:子群评估结果name:strsample_size:intaccuracy:floatfalse_positive_rate:float# 假阳性率false_negative_rate:float# 假阴性率dataclassclassFairnessAuditReport:verdict:FairnessVerdict aggregate_accuracy:float# 聚合准确率worst_group_name:str# 最差组名称worst_group_accuracy:float# 最差组准确率aggregate_to_worst_gap:float# 聚合与最差组差距flags:listfield(default_factorylist)defaudit_fairness(subgroups:list,min_sample_size:int30,accuracy_threshold:float0.80,gap_threshold:float0.10,)-FairnessAuditReport: 分层公平性审计核心是检测聚合掩盖。 判定逻辑聚合准确率达标但最差组不达标 → MASKED。 flags[]# 过滤样本量不足的子群valid_subgroups[sforsinsubgroupsifs.sample_sizemin_sample_size]insufficient[sforsinsubgroupsifs.sample_sizemin_sample_size]ifinsufficient:flags.append(f以下子群样本量不足{min_sample_size}结果不可靠: f{, .join(s.nameforsininsufficient)})iflen(valid_subgroups)2:returnFairnessAuditReport(verdictFairnessVerdict.INSUFFICIENT,aggregate_accuracy0.0,worst_group_name,worst_group_accuracy0.0,aggregate_to_worst_gap0.0,flagsflags[有效子群不足无法进行分层审计],)# 计算聚合准确率按样本量加权total_samplessum(s.sample_sizeforsinvalid_subgroups)aggregate_accsum(s.accuracy*s.sample_sizeforsinvalid_subgroups)/total_samples# 找到最差组worst_groupmin(valid_subgroups,keylambdas:s.accuracy)gapaggregate_acc-worst_group.accuracy# 判定逻辑ifworst_group.accuracyaccuracy_thresholdandaggregate_accaccuracy_threshold:verdictFairnessVerdict.MASKED flags.append(f聚合准确率{aggregate_acc:.1%}达标f但最差组{worst_group.name}仅{worst_group.accuracy:.1%}f存在聚合掩盖风险)elifgapgap_threshold:verdictFairnessVerdict.UNFAIR flags.append(f聚合与最差组差距{gap:.1%}超过{gap_threshold:.0%}阈值)elifworst_group.accuracyaccuracy_threshold:verdictFairnessVerdict.FAIR flags.append(所有子群准确率均达标)else:verdictFairnessVerdict.UNFAIR# 额外检测假阳性率差异fpr_values[s.false_positive_rateforsinvalid_subgroups]fpr_gapmax(fpr_values)-min(fpr_values)iffpr_gap0.15:flags.append(f假阳性率跨组差距{fpr_gap:.1%}f最高组{valid_subgroups[fpr_values.index(max(fpr_values))].name})returnFairnessAuditReport(verdictverdict,aggregate_accuracyround(aggregate_acc,4),worst_group_nameworst_group.name,worst_group_accuracyround(worst_group.accuracy,4),aggregate_to_worst_gapround(gap,4),flagsflags,)使用示例subgroups[SubgroupResult(主流人群,sample_size9000,accuracy0.99,false_positive_rate0.005,false_negative_rate0.015),SubgroupResult(少数人群,sample_size1000,accuracy0.70,false_positive_rate0.25,false_negative_rate0.35),SubgroupResult(边缘群体,sample_size50,accuracy0.55,false_positive_rate0.40,false_negative_rate0.50),]reportaudit_fairness(subgroups)print(f判定:{report.verdict.value})print(f聚合准确率:{report.aggregate_accuracy:.1%})print(f最差组:{report.worst_group_name}({report.worst_group_accuracy:.1%}))print(f聚合-最差差距:{report.aggregate_to_worst_gap:.1%})forfinreport.flags:print(f ⚠️{f})输出判定: masked 聚合准确率: 96.1% 最差组: 边缘群体 (55.0%) 聚合-最差差距: 41.1% ⚠️ 以下子群样本量不足30结果不可靠: 边缘群体 ⚠️ 聚合准确率96.1%达标但最差组边缘群体仅55.0%存在聚合掩盖风险 ⚠️ 聚合与最差组差距41.1%超过10%阈值 ⚠️ 假阳性率跨组差距39.5%最高组边缘群体这个审计框架的核心价值在于它不满足于“聚合准确率96.1%”这个漂亮数字而是追问“最差的那一层是多少”。当最差组只有55%的准确率、假阳性率高达40%时聚合准确率再高也不能证明系统是公平的。同时框架会标记样本量不足的子群——在没有足够数据的情况下得出“公平”的结论本身就是一种不公平。六、给技术负责人的三周验证清单第一周识别需要审计的敏感属性与子群列出你的系统中的敏感属性性别、年龄、地区、收入层级等确定每个属性的子群划分标准如年龄分为18-30、31-45、46-60、60评估每个子群的样本量样本量30的子群其评估结果不可靠确定是否存在交叉敏感属性如“老年女性”“低收入少数族裔”第二周计算分层指标与最差层判卷对每个子群计算准确率、假阳性率、假阴性率、精确率、召回率识别最差组按准确率或假阳性率计算聚合与最差组之间的差距用第五节的审计框架自动检测“聚合掩盖”现象特别关注假阳性率最高的组因为假阳性在信贷、招聘、执法场景中的代价极高第三周建立持续审计机制与治理闭环将分层审计纳入模型发布的准入门槛最差组不达标 → 不允许发布在监控系统中加入分层指标告警当某个子群的性能下降超过阈值时自动触发为每个子群设定可接受的最低性能标准如最差组准确率≥80%建立“聚合-最差差距”的跟踪仪表盘监控差距是否在随时间扩大将审计结果写入模型卡片和合规文档七、思考题你那个“95%准确率”拆开看之后最差的那层是多少用第五节的审计框架跑一遍你的模型如果verdict是MASKED你的公平性声明可能是不完整的。如果总体分被平均掩盖了问题你会怎么找到“最差层”PGD Paradox的研究表明聚合准确率提升15%的同时最差组差距可能被拉大23个百分点。你的优化方向是否在无意中加剧了这种差距你的公平性审计报告中有没有“最差层”这一项LLM-FACETS框架将“合规官”作为独立实践者画像其核心关切是监管要求。你的合规文档中是否包含了每个子群的分层指标和最差层表现八、延伸阅读《Why Aggregate Accuracy is Inadequate for Evaluating Fairness in Law Enforcement Facial Recognition Systems》(arXiv 2603.28675) — 本篇核心聚合精度不及公平《The PGD Paradox in Credit Scoring: When Stronger Attacks Improve Accuracy but Worsen Fairness》(ACM IC-AIF 2026) — 23个百分点差距的实证《Collapsibility of Performance Metrics in Clinical Predictive AI》(arXiv 2608.30568) — 非折叠性的数学证明《Statistical Inference for Fairness Auditing》(JMLR 2024) — 公平性审计的假设检验框架《LLM-FACETS: A Framework for Evaluating LLM Fairness and Transparency》(arXiv 2605.31167) — 三类实践者画像的评测体系版权声明本文为Valhalla Matrix治理实验室原创。欢迎转载请注明出处。 聚合精度的陷阱——“平均分高”不代表“公平”，一场关于公平性审计的工程真相
聚合精度的陷阱——“平均分高”不代表“公平”一场关于公平性审计的工程真相期数AI透明度卷 · 第2期作者Valhalla Matrix治理实验室原创声明本文为原创技术博客基于Valhalla工程实践编写。论文锚点《Why Aggregate Accuracy is Inadequate for Evaluating Fairness in Law Enforcement Facial Recognition Systems》(arXiv 2603.28675)、《The PGD Paradox in Credit Scoring》(ACM IC-AIF 2026)、《Collapsibility of Performance Metrics in Clinical Predictive AI》(arXiv 2608.30568)摘要在信贷评分系统中更强的对抗攻击PGD反而比更弱的攻击FGSM提升了模型准确率——这个“PGD Paradox”在四个不同规模的信贷数据集上100%一致地复现平均准确率提升15.08%。但更重要的发现是这种准确率的表面提升伴随着系统性的公平性恶化。特权群体获得了不成比例的好处平均利益不平等7.57%德国信贷数据集中这一比例高达15.09%南德国信贷数据集达到16.58%均超过10%的监管标准。研究者提出的Robustness Fairness ScoreRFS暴露了聚合分数与最差组之间高达23.0个百分点的差距。与此同时牛津大学等机构的研究从数学上证明了AUC、校准截距、校准斜率等五个指标是不可折叠的——总体层面的评估不能分解为子群特定值的加权平均。这意味着“平均准确率90%”这个单一数字可能同时掩盖了A组95%、B组60%的严重不平等。本文从聚合精度的工程陷阱出发结合PGD Paradox、非折叠性理论、LLM-FACETS框架等2026年前沿实证给出一套可运行的分层公平性审计框架。核心判断公平审计的对象不是“平均分”而是“最差层”。聚合指标不是公平的证据而是需要被解构的信号。一、一个“看起来很好”的系统可能在系统性地伤害一群人你是否有过这样的经历你的团队花了三个月优化模型终于把总体准确率从88%提升到95%。你写了报告做了PPT在评审会上展示了这条漂亮的曲线。所有人都很满意。但没有人问一个问题这95%的准确率拆开来看最差的那一层是多少这不是假设。2026年1月发表在ACM上的研究PGD Paradox精确地展示了这种“表面光鲜”的危险性。研究者对四个不同规模的信贷评分数据集进行了对抗鲁棒性测试。他们发现了一个反直觉的现象更强的迭代攻击PGD反而比更弱的单步攻击FGSM提升了模型准确率。这与传统认知完全相反——通常认为更强的攻击应该更严重地降低准确率。这个“PGD Paradox”在四个数据集上100%一致地复现平均准确率提升15.08%。如果只看这个数字你会认为“更强的攻击让模型变得更好了”。但研究者进一步拆解了公平性影响。结果令人震惊数据集聚合准确率提升特权群体利益不平等最差组与聚合差距德国信贷—15.09%超过10%监管标准南德国信贷—16.58%超过10%监管标准四个数据集平均15.08%7.57%高达23.0个百分点“准确率提升15%”的同时最差组与聚合分数之间的差距被拉大到了23个百分点。这意味着一个在“总体准确率”上看起来在进步的系统实际上正在系统性地恶化对特定群体的表现。研究者提出了Robustness Fairness ScoreRFS来揭示这种聚合分数中看不到的不平等。RFS的核心设计逻辑是公平性评估不能只看聚合准确率必须同时看最差组的表现和聚合与最差组之间的差距。二、为什么“平均分”会骗人非折叠性的数学真相2.1 一个反直觉的数学事实“平均分高”之所以会骗人根源在于一个大多数人没有意识到的数学事实某些性能指标是不可折叠的non-collapsible。牛津大学、KU Leuven和伯明翰大学的研究者在2026年8月发表的论文中对15个常用性能指标进行了系统分析得出结论AUC、校准截距、校准斜率、期望校准误差、Nagelkerke R²这五个指标是不可折叠的。而准确率、F1、TPR、TNR、PPV、NPV等十个指标是可折叠的。“不可折叠”的精确含义是总体层面的指标值不等于子群特定值的加权平均。用AUC举例。当子群体共存时总体AUC分解为组内AUC项和跨组AUC项。这意味着总体AUC可能落在子群AUC的范围之外——比如A组AUC是0.95B组AUC是0.60但总体AUC可能是0.98甚至可能是0.55。这不是统计噪声而是数学结构决定的。研究者用“辛普森悖论启发的反例”给出了形式化证明。2.2 一个具体的例子假设一个面部识别系统在两组人群上的表现如下群体样本量准确率主流人群9,00099%少数人群1,00070%聚合准确率 (9,000 × 0.99 1,000 × 0.70) / 10,000 96.1%这个96.1%看起来很好。但对于那1,000个被误判的少数人群个体系统的准确率只有70%——每三个人中就有一个被错误识别。如果少数人群在总样本中的比例更低——比如只有2%——聚合准确率会更高接近98%而少数人群的70%准确率会被完全掩盖。聚合准确率的“骗人”机制是精确的它用“大头的好”掩盖了“小头/少数群体的差”。总体越漂亮被掩盖的问题可能越严重。三、聚合指标的三个工程陷阱陷阱机制工程后果掩盖不均少数群体的错误被大样本的平均值吸收问题人群被系统性忽视误导优化团队只追总体分不关注细分优化方向偏离真实目标假公允“我们95%准确”制造虚假安全感合规审计中无法发现真实风险陷阱一掩盖不均。当少数群体只占总样本的5%时即使他们的准确率只有50%聚合准确率仍然可以达到93.5%。这个数字在报告里看起来很漂亮但那5%的人群中有一半被错误分类。陷阱二误导优化。如果团队的KPI是“总体准确率”他们会自然地优化那些影响大的群体——也就是主流人群。少数人群的表现可能被牺牲只要总体分不变。陷阱三假公允。“我们95%准确”这个数字被当作公平性的证明。但正如PGD Paradox的研究所展示的准确率提升15%的同时最差组的差距可能被拉大23个百分点。聚合指标的改善不等于公平性的改善——在某些情况下恰恰相反。四、正确的做法分层审计与最差层判卷要看到真实就必须放弃“聚合指标代表一切”的假设转向分层审计Stratified Auditing。4.1 分层审计的核心原则分层审计的核心是按敏感属性或敏感属性的组合拆开评估重点关注最差层的表现而非平均层的表现。评估方式回答的问题风险聚合评估总体准确率是多少掩盖最差层的问题分层评估每个子群的准确率是多少需要足够的子群样本量交叉分层评估敏感属性组合的最差组表现如何样本量可能极小“交叉分层”是容易被忽视但至关重要的维度。一个系统可能在“男性”和“女性”上表现均衡在“年轻人”和“老年人”上也表现均衡但在“老年女性”这个交叉群体上表现极差。单一维度的分层评估无法发现这种交叉不公平。4.2 LLM-FACETS框架的三层设计2026年5月发表的LLM-FACETS框架为分层审计提供了一个可操作的设计。它围绕三类实践者画像构建评测体系实践者画像核心关切关键审计机制技术专家模型行为的可复现性Token级对数概率可视化领域专家输出是否符合领域知识多评判者共识评估合规官是否满足监管要求RAG三元组指标幻觉检测该框架的透明度设计包括三个关键机制token级对数概率可视化评估模型置信度、多评判者共识评估缓解评判者偏差、以及RAG三元组指标检测和定位幻觉。框架的插件架构允许任何新指标或数据集被集成无需修改评测管线。4.3 开源工具的工程可用性对于工程团队而言Fairness Evaluation ToolkitMIT许可提供了一个可直接使用的起点。它实现了标准公平性指标人口统计学差异、均等赔率差异、差异影响比、统计平价差异、机会均等差异、校准差异包含基线模型实现逻辑回归、随机森林、决策树和合成数据集生成器支持通过确定性种子实现可复现评估。该工具包的一个重要设计是内置了问责与人工监督保障机制包含非依赖免责声明结果不应作为生产系统中公平性决策的唯一依据并要求持续监控、多指标验证、评估过程文档化和定期公平审计。五、可运行的分层公平性审计框架以下代码将上述审计逻辑实现为一个可运行的Python框架fromdataclassesimportdataclass,fieldfromenumimportEnumimportnumpyasnpclassFairnessVerdict(Enum):FAIRfair# 公平最差层达标MASKEDmasked# 聚合掩盖总体好但最差层差UNFAIRunfair# 不公平最差层严重不达标INSUFFICIENTinsufficient# 证据不足子群样本量过小dataclassclassSubgroupResult:子群评估结果name:strsample_size:intaccuracy:floatfalse_positive_rate:float# 假阳性率false_negative_rate:float# 假阴性率dataclassclassFairnessAuditReport:verdict:FairnessVerdict aggregate_accuracy:float# 聚合准确率worst_group_name:str# 最差组名称worst_group_accuracy:float# 最差组准确率aggregate_to_worst_gap:float# 聚合与最差组差距flags:listfield(default_factorylist)defaudit_fairness(subgroups:list,min_sample_size:int30,accuracy_threshold:float0.80,gap_threshold:float0.10,)-FairnessAuditReport: 分层公平性审计核心是检测聚合掩盖。 判定逻辑聚合准确率达标但最差组不达标 → MASKED。 flags[]# 过滤样本量不足的子群valid_subgroups[sforsinsubgroupsifs.sample_sizemin_sample_size]insufficient[sforsinsubgroupsifs.sample_sizemin_sample_size]ifinsufficient:flags.append(f以下子群样本量不足{min_sample_size}结果不可靠: f{, .join(s.nameforsininsufficient)})iflen(valid_subgroups)2:returnFairnessAuditReport(verdictFairnessVerdict.INSUFFICIENT,aggregate_accuracy0.0,worst_group_name,worst_group_accuracy0.0,aggregate_to_worst_gap0.0,flagsflags[有效子群不足无法进行分层审计],)# 计算聚合准确率按样本量加权total_samplessum(s.sample_sizeforsinvalid_subgroups)aggregate_accsum(s.accuracy*s.sample_sizeforsinvalid_subgroups)/total_samples# 找到最差组worst_groupmin(valid_subgroups,keylambdas:s.accuracy)gapaggregate_acc-worst_group.accuracy# 判定逻辑ifworst_group.accuracyaccuracy_thresholdandaggregate_accaccuracy_threshold:verdictFairnessVerdict.MASKED flags.append(f聚合准确率{aggregate_acc:.1%}达标f但最差组{worst_group.name}仅{worst_group.accuracy:.1%}f存在聚合掩盖风险)elifgapgap_threshold:verdictFairnessVerdict.UNFAIR flags.append(f聚合与最差组差距{gap:.1%}超过{gap_threshold:.0%}阈值)elifworst_group.accuracyaccuracy_threshold:verdictFairnessVerdict.FAIR flags.append(所有子群准确率均达标)else:verdictFairnessVerdict.UNFAIR# 额外检测假阳性率差异fpr_values[s.false_positive_rateforsinvalid_subgroups]fpr_gapmax(fpr_values)-min(fpr_values)iffpr_gap0.15:flags.append(f假阳性率跨组差距{fpr_gap:.1%}f最高组{valid_subgroups[fpr_values.index(max(fpr_values))].name})returnFairnessAuditReport(verdictverdict,aggregate_accuracyround(aggregate_acc,4),worst_group_nameworst_group.name,worst_group_accuracyround(worst_group.accuracy,4),aggregate_to_worst_gapround(gap,4),flagsflags,)使用示例subgroups[SubgroupResult(主流人群,sample_size9000,accuracy0.99,false_positive_rate0.005,false_negative_rate0.015),SubgroupResult(少数人群,sample_size1000,accuracy0.70,false_positive_rate0.25,false_negative_rate0.35),SubgroupResult(边缘群体,sample_size50,accuracy0.55,false_positive_rate0.40,false_negative_rate0.50),]reportaudit_fairness(subgroups)print(f判定:{report.verdict.value})print(f聚合准确率:{report.aggregate_accuracy:.1%})print(f最差组:{report.worst_group_name}({report.worst_group_accuracy:.1%}))print(f聚合-最差差距:{report.aggregate_to_worst_gap:.1%})forfinreport.flags:print(f ⚠️{f})输出判定: masked 聚合准确率: 96.1% 最差组: 边缘群体 (55.0%) 聚合-最差差距: 41.1% ⚠️ 以下子群样本量不足30结果不可靠: 边缘群体 ⚠️ 聚合准确率96.1%达标但最差组边缘群体仅55.0%存在聚合掩盖风险 ⚠️ 聚合与最差组差距41.1%超过10%阈值 ⚠️ 假阳性率跨组差距39.5%最高组边缘群体这个审计框架的核心价值在于它不满足于“聚合准确率96.1%”这个漂亮数字而是追问“最差的那一层是多少”。当最差组只有55%的准确率、假阳性率高达40%时聚合准确率再高也不能证明系统是公平的。同时框架会标记样本量不足的子群——在没有足够数据的情况下得出“公平”的结论本身就是一种不公平。六、给技术负责人的三周验证清单第一周识别需要审计的敏感属性与子群列出你的系统中的敏感属性性别、年龄、地区、收入层级等确定每个属性的子群划分标准如年龄分为18-30、31-45、46-60、60评估每个子群的样本量样本量30的子群其评估结果不可靠确定是否存在交叉敏感属性如“老年女性”“低收入少数族裔”第二周计算分层指标与最差层判卷对每个子群计算准确率、假阳性率、假阴性率、精确率、召回率识别最差组按准确率或假阳性率计算聚合与最差组之间的差距用第五节的审计框架自动检测“聚合掩盖”现象特别关注假阳性率最高的组因为假阳性在信贷、招聘、执法场景中的代价极高第三周建立持续审计机制与治理闭环将分层审计纳入模型发布的准入门槛最差组不达标 → 不允许发布在监控系统中加入分层指标告警当某个子群的性能下降超过阈值时自动触发为每个子群设定可接受的最低性能标准如最差组准确率≥80%建立“聚合-最差差距”的跟踪仪表盘监控差距是否在随时间扩大将审计结果写入模型卡片和合规文档七、思考题你那个“95%准确率”拆开看之后最差的那层是多少用第五节的审计框架跑一遍你的模型如果verdict是MASKED你的公平性声明可能是不完整的。如果总体分被平均掩盖了问题你会怎么找到“最差层”PGD Paradox的研究表明聚合准确率提升15%的同时最差组差距可能被拉大23个百分点。你的优化方向是否在无意中加剧了这种差距你的公平性审计报告中有没有“最差层”这一项LLM-FACETS框架将“合规官”作为独立实践者画像其核心关切是监管要求。你的合规文档中是否包含了每个子群的分层指标和最差层表现八、延伸阅读《Why Aggregate Accuracy is Inadequate for Evaluating Fairness in Law Enforcement Facial Recognition Systems》(arXiv 2603.28675) — 本篇核心聚合精度不及公平《The PGD Paradox in Credit Scoring: When Stronger Attacks Improve Accuracy but Worsen Fairness》(ACM IC-AIF 2026) — 23个百分点差距的实证《Collapsibility of Performance Metrics in Clinical Predictive AI》(arXiv 2608.30568) — 非折叠性的数学证明《Statistical Inference for Fairness Auditing》(JMLR 2024) — 公平性审计的假设检验框架《LLM-FACETS: A Framework for Evaluating LLM Fairness and Transparency》(arXiv 2605.31167) — 三类实践者画像的评测体系版权声明本文为Valhalla Matrix治理实验室原创。欢迎转载请注明出处。