LLM-as-Judge 的 6 种偏置与防御

用 LLM 当判官评估另一个 LLM 的输出是 prompt 工程的常用做法。但判官本身有 6 种偏置不防御就会得到假数据。一句话讲清楚LLM-as-Judge 不可靠的根本原因是判官模型的 6 种系统性偏置。识别 防御 换更强的判官模型。6 种偏置速查表偏置表现一句话防御位置偏置第一个答案总得分高跑两次交换顺序长度偏置长答案总得分高控制长度 / 加长度惩罚自我偏置GPT-4 评 GPT-4 给高分换不同模型当判官风格偏置流畅 准确隐藏作者信息盲评锚定偏置第一个 token 影响后续让判官先生成理由再打分复杂性偏置复杂答案看起来更专业强制简洁答案加分每种偏置详解 防御代码1. 位置偏置表现把同一对答案交换位置A/B 评分可能差 20%。原因模型对第一个出现的答案有注意力优势。防御defposition_bias_defense(judge_llm,question,answer_a,answer_b):# 跑两次交换顺序score_1judge(judge_llm,question,answer_a,answer_b)score_2judge(judge_llm,question,answer_b,answer_a)# 取平均且两次胜者一致才算有效ifscore_1.winnerscore_2.winner:returnscore_1.winnerreturnTIE# 两次不一致则平局成本2x 推理。2. 长度偏置表现长答案即使废话多总得分高。数据研究显示长度偏置在 LLM-as-Judge 中可使评分偏差 15-30%。防御deflength_bias_defense(judge_prompt):returnjudge_prompt 【长度规则】 - 不要因为答案长就加分 - 信息密度比长度重要 - 如果答案简洁且完整应给高分 或在评分公式里加惩罚deflength_penalty_score(answer,base_score,ideal_length200):lengthlen(answer)penaltymax(0,(length-ideal_length)/ideal_length*0.2)returnbase_score*(1-penalty)3. 自我偏置表现GPT-4 评 GPT-4 答案平均比评 Claude 答案高 10-15%。数据GPT-4 vs Claude 的对比实验中GPT-4 评 GPT-4 胜率 65%但人类评审胜率只有 50%。防御# 选判官的核心原则判官 ≠ 生成# GPT-4 生成 → Claude 评# Claude 生成 → GPT-4 评# 或者多判官投票judges[gpt-4,claude-opus,gemini-pro]results[judge(j,sample)forjinjudges]final_scoremajority_vote(results)反直觉用最强的模型当判官反而会放大自我偏置。不如用 3 个中等模型投票。4. 风格偏置表现模型偏好看起来像专业人士写的答案但这个答案可能是错的。防御defstyle_bias_defense(judge_prompt):returnjudge_prompt 【风格规则】 - 不要被写作风格、修辞、文采影响 - 重点评估事实准确性 逻辑严谨性 完整性 - 即使答案粗糙只要事实正确也应给高分 实战技巧让两个答案去掉格式去掉 bullet、加粗等后再评分屏蔽风格影响。5. 锚定偏置表现判官看了第一个 token 后后续评分被锚定。数据实验显示判官先看到这个答案是对的再评分比先看到这个答案是错的再评分分数高 25%。防御# ❌ 错的先打分再写理由prompt_bad给答案打分{score}/10然后解释# ✅ 对的先生成理由再打分prompt_good先分析这个答案的优点和缺点3-5 条然后基于分析给出分数。 {question} {answer} # 输出格式 优点1-3 条 缺点1-3 条 分数0-10 机制先评估内容再打分避免快速打分被首印象锚定。6. 复杂性偏置表现答案里包含复杂句式、专业术语、长推理看起来更专业 → 得分高。数据包含 “however”、“furthermore”、“consequently” 等词的答案平均得分比简单句高 12%。防御defcomplexity_bias_defense(judge_prompt):returnjudge_prompt 【反复杂性偏置规则】 - 用复杂词汇 ≠ 答案更好 - 简单清晰的答案应被鼓励 - 如果答案简洁且完整应给予额外加分 一份生产可用的判官 PromptJUDGE_PROMPT你是评估助手。你的任务是评估两个答案的质量。 【问题】 {question} 【答案 A】 {answer_a} 【答案 B】 {answer_b} 【评估维度】按重要性排序 1. 事实准确性最重要 2. 完整性 3. 简洁性 4. 风格 【严格规则】 - 不要被答案长度影响反长度偏置 - 不要偏向第一个或第二个答案反位置偏置 - 不要被写作风格、文采影响反风格偏置 - 不要因为答案复杂就加分反复杂性偏置 【输出格式】 优点 - A: 1-3 条 - B: 1-3 条 缺点 - A: 1-3 条 - B: 1-3 条 分数AX/10, BY/10 胜者A / B / TIE 关键点把反偏置规则直接写进 prompt。进阶多判官投票 反偏置组合拳classRobustJudge:def__init__(self):self.judges[gpt-4,claude-opus,gemini-pro]defjudge(self,question,answer_a,answer_b):votes[]forjudge_modelinself.judges:# 1. 反位置偏置交换顺序跑两次score_1self.single_judge(judge_model,question,answer_a,answer_b)score_2self.single_judge(judge_model,question,answer_b,answer_a)# 2. 取两次一致的结果ifscore_1.winnerscore_2.winner:votes.append(score_1.winner)else:votes.append(TIE)# 3. 多判官投票returnmajority_vote(votes)什么时候 LLM-as-Judge 不够用直接换人工评估维度是主观体验用户满意度、文案美感答案需要领域专家才能判断医学、法律、金融评估用于合规审计不能错判官 人工结合小规模 高价值 人工 大规模 低价值 LLM-as-Judge 判官有歧义时 转人工一句话总结LLM-as-Judge 的可靠性 反偏置设计 × 多判官投票 × 人工校准。把反偏置规则写进 prompt比换更强的判官模型有效 10 倍。