跑完索引不等于索引好用。10 个检查项里有 3 个异常你的 GraphRAG 查询结果大概率已经在编故事了。阅读提示适合谁看已经跑完索引、想知道质量怎么样的实践者看完能做什么用 10 项 Checklist 快速评估索引质量用 Gephi 可视化知识图谱设计 Golden QA 数据集先给结论评估分两层索引质量实体/关系/社区和查询质量答案准确性/完整性没有标准评估集时20 组人工 QA 对就够做第一轮评估实体提取准确率的算法抽样 100 个实体人工判断提取是否正确正确数/100 准确率很多人跑完 GraphRAG 索引后会直接开始查询看到能回答问题就觉得 OK 了。但能回答和回答对是两回事。你问Scrooge 是谁它给了一个看起来合理的答案——但这个答案是基于正确的实体关系生成的还是基于错误的实体消歧拼凑出来的不评估就不知道。而 GraphRAG 的索引质量直接影响查询质量——实体提取不准确后面所有环节都是错的。这篇就讲清楚怎么评估索引质量怎么可视化知识图谱没有标准评估集时怎么快速做人工评估。01 先看全局评估体系的两大维度GraphRAG 的评估分两个维度索引质量和查询质量。两者缺一不可。图 1评估体系全景图索引质量评估关注的是图谱本身建得好不好实体提取准确率LLM 从文本中提取的实体是否正确有没有漏提或多提关系质量实体之间的关系是否正确权重是否合理社区划分合理性Leiden 聚类的结果是否有意义社区主题是否清晰描述完整性实体和关系的描述是否充分能否支撑查询时的上下文组装查询质量评估关注的是基于图谱的回答好不好答案准确性答案是否正确答案完整性是否遗漏了关键信息答案相关性是否回答了用户的问题而不是答非所问可追溯性答案能否追溯到源文档02 索引质量怎么快速检查跑完索引后output/目录下会生成一系列 parquet 文件。这些文件就是你评估索引质量的数据来源。代码 1import pandas as pd# 读取索引输出entities pd.read_parquet(output/entities.parquet)relationships pd.read_parquet(output/relationships.parquet)communities pd.read_parquet(output/communities.parquet)community_reports pd.read_parquet(output/community_reports.parquet)# 快速统计print(f实体数量: {len(entities)})print(f关系数量: {len(relationships)})print(f社区数量: {len(communities)})print(f社区报告数量: {len(community_reports)})# 实体类型分布print(f\n实体类型分布:)print(entities[type].value_counts())# 关系密度density len(relationships) / len(entities)print(f\n关系密度 (edges/nodes): {density:.2f})# 社区层级深度print(f\n社区层级分布:)print(communities[level].value_counts().sort_index())关键指标的正常范围指标正常范围异常信号实体数量文档数 × 5~20过少prompt 不够好过多噪声大关系密度1.5~4.01.0图太稀疏6.0噪声关系多社区层级2~5 层只有 1 层聚类失败8 层过度分裂实体类型4 种类型均有覆盖单一类型 90%类型定义有问题03 实体提取准确率怎么算这是最核心的评估指标。没有标准答案时用人工抽样 判断的方法。方法抽样 100 个实体逐一判断# 随机抽样 100 个实体sample entities.sample(100, random_state42)# 人工判断每个实体# 1. 这个实体是否真实存在正确提取# 2. 实体类型是否正确# 3. 描述是否准确# 计算准确率correct_count 85 # 假设 85 个正确accuracy correct_count / 100print(f实体提取准确率: {accuracy:.0%})经验判断准确率 85% 可以接受90% 算好80% 需要调优 prompt。LLM-as-Judge 方法更高效用 GPT-4o 做自动评估——把实体名称、类型、描述和源文本一起发给 LLM让它判断提取是否正确。judge_prompt f请判断以下实体提取是否正确。实体名称: {entity_name}实体类型: {entity_type}实体描述: {entity_description}源文本片段: {source_text}判断标准:1. 实体是否真实存在于源文本中2. 类型是否正确3. 描述是否准确回答: 正确/不正确原因: ...这种方法比纯人工快 10 倍但可能会有误判。建议先用人工评估 20 个校准 LLM 的判断标准再用 LLM 批量评估。04 社区划分质量怎么判断社区划分是 GraphRAG 的核心机制。划分不好Global Search 的回答质量会直接崩。自动评估模块度Modularity模块度衡量社区内部连接密度 vs 社区间连接密度。值在 -1 到 1 之间0.3 算合格0.5 算好。import networkx as nx# 从 relationships 构建图G nx.Graph()for _, row in relationships.iterrows(): G.add_edge(row[source], row[target], weightrow[weight])# 需要社区 ID 映射# 读取 communities.parquet 获取每个实体的社区归属# 然后计算模块度人工评估抽样读社区报告# 随机抽样 5 份社区报告sample_reports community_reports.sample(5)for _, report in sample_reports.iterrows(): print(f社区 {report[community]}: {report[title]}) print(f摘要: {report[summary]}) print(f---)判断标准报告有没有明确的主题主题是否和成员实体相关关键发现是否有价值如果社区报告主题模糊、内容空洞说明社区划分有问题——要么是 Leiden 的 resolution 参数不对要么是实体提取质量差导致图结构有问题。05 知识图谱可视化用 Gephi 看图谱GraphRAG 支持导出 GraphML 格式的图谱文件可以直接用 Gephi 打开。代码 2# settings.yaml 中启用 GraphML 导出snapshots: graphml: true跑完索引后output/graph.graphml就是图谱文件。用 Gephi 打开后的操作步骤导入File → Open → 选择 graph.graphml运行 LeidenStatistics → Leiden Algorithm → Resolution1按社区着色Appearance → Nodes → Partition → Cluster按度数调整大小Appearance → Nodes → Ranking → Degree → Min10, Max150布局先用 OpenORDLiquid50, Expansion50再用 ForceAtlas2Scaling15, Prevent Overlaptrue可视化能帮你直观发现几个问题孤立节点大量孤立节点说明实体提取有噪声社区大小不均一个社区特别大、其他特别小说明聚类参数需要调关系密度不均某些区域特别密集某些特别稀疏说明实体提取不一致06 查询质量评估Golden QA 方法评估查询质量最靠谱的方法是准备 Golden QA 数据集——一组标准问答对。怎么快速构建 Golden QA不需要大规模标注。20-50 组就够做第一轮评估从文档中手动提取 10 个全局问题适合 Global Search“这些文档的主要主题是什么”“文档中提到了哪些关键人物”从文档中手动提取 10 个实体问题适合 Local Search“X 是谁”“X 和 Y 什么关系”写标准答案基于文档内容写出你认为正确的答案运行查询并打分# 评估模板evaluation_template 问题: {question}标准答案: {golden_answer}系统回答: {system_answer}请按以下维度打分1-5分:1. 准确性: 答案是否正确2. 完整性: 是否遗漏关键信息3. 相关性: 是否回答了问题4. 可追溯性: 答案能否在源文档中找到依据评分:没有标准答案时的快速评估法如果连标准答案都懒得写至少做合理性检查问 5 个你知道答案的问题看系统回答对不对问 3 个全局问题看答案是否有明显遗漏问 2 个实体关系问题看关系是否正确5/5 正确 → 质量不错 3-4/5 正确 → 需要调优 ❤️/5 正确 → 索引质量有问题先修索引07 评估与调优的闭环图 2评估与调优的完整闭环流程评估不是一次性工作而是一个闭环准备 Golden QA20-50 组问答对运行查询分别跑 Global 和 Local人工打分准确性/完整性/相关性/可追溯性计算指标准确率/召回率/F1定位问题是实体抽取问题社区划分问题还是查询路由问题调优改 prompt、改 chunk_size、改 max_gleanings重新索引再次评估达标是→完成否→继续迭代停止条件连续 3 轮评估指标无改善停止迭代。可能已经到了当前配置的上限需要换思路比如换模型、换数据源、重新设计 entity_types。08 最小评估 Checklist图 3最小评估 Checklist这张 Checklist 是评估 GraphRAG 索引质量的最小集。每项逐一检查绿色通过红色未通过。至少 7/10 通过才建议上生产。最容易被忽视的 3 项实体消歧效果同名实体是否被正确区分这直接影响 Local Search 的准确性社区报告质量社区报告是 Global Search 的核心输入报告质量差 Global Search 废了关系密度密度太高6.0说明噪声关系多密度太低1.0说明图太稀疏09 什么时候该停止调优不是所有问题都能通过调优解决。以下情况建议停止连续 3 轮指标无改善当前配置可能已经到上限**实体提取准确率 70%**prompt 需要根本性重写不是微调能解决的社区报告质量普遍差可能是文档本身信息密度太低不适合用 GraphRAG成本已经超预算 2 倍继续调优不划算考虑用传统 RAG 替代3 问判断法你的实体提取准确率是否 85%你的社区报告是否有明确主题你的 Golden QA 测试中5/5 回答是否基本正确如果 3 个问题大多是否定的先修索引再考虑查询优化。决策帮助如果你刚跑完索引先用本文的代码做快速统计看实体数量、关系密度、社区层级是否在正常范围如果你准备上生产用 10 项 Checklist 逐一检查至少 7/10 通过如果你最关心查询质量先构建 20 组 Golden QA用人工打分做第一轮评估如果你只能先做一步抽样 100 个实体算准确率这一个指标就能告诉你索引质量的下限学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
GraphRAG 索引质量怎么评估？可视化 + 人工打分的完整方法
发布时间：2026/6/11 1:49:11
跑完索引不等于索引好用。10 个检查项里有 3 个异常你的 GraphRAG 查询结果大概率已经在编故事了。阅读提示适合谁看已经跑完索引、想知道质量怎么样的实践者看完能做什么用 10 项 Checklist 快速评估索引质量用 Gephi 可视化知识图谱设计 Golden QA 数据集先给结论评估分两层索引质量实体/关系/社区和查询质量答案准确性/完整性没有标准评估集时20 组人工 QA 对就够做第一轮评估实体提取准确率的算法抽样 100 个实体人工判断提取是否正确正确数/100 准确率很多人跑完 GraphRAG 索引后会直接开始查询看到能回答问题就觉得 OK 了。但能回答和回答对是两回事。你问Scrooge 是谁它给了一个看起来合理的答案——但这个答案是基于正确的实体关系生成的还是基于错误的实体消歧拼凑出来的不评估就不知道。而 GraphRAG 的索引质量直接影响查询质量——实体提取不准确后面所有环节都是错的。这篇就讲清楚怎么评估索引质量怎么可视化知识图谱没有标准评估集时怎么快速做人工评估。01 先看全局评估体系的两大维度GraphRAG 的评估分两个维度索引质量和查询质量。两者缺一不可。图 1评估体系全景图索引质量评估关注的是图谱本身建得好不好实体提取准确率LLM 从文本中提取的实体是否正确有没有漏提或多提关系质量实体之间的关系是否正确权重是否合理社区划分合理性Leiden 聚类的结果是否有意义社区主题是否清晰描述完整性实体和关系的描述是否充分能否支撑查询时的上下文组装查询质量评估关注的是基于图谱的回答好不好答案准确性答案是否正确答案完整性是否遗漏了关键信息答案相关性是否回答了用户的问题而不是答非所问可追溯性答案能否追溯到源文档02 索引质量怎么快速检查跑完索引后output/目录下会生成一系列 parquet 文件。这些文件就是你评估索引质量的数据来源。代码 1import pandas as pd# 读取索引输出entities pd.read_parquet(output/entities.parquet)relationships pd.read_parquet(output/relationships.parquet)communities pd.read_parquet(output/communities.parquet)community_reports pd.read_parquet(output/community_reports.parquet)# 快速统计print(f实体数量: {len(entities)})print(f关系数量: {len(relationships)})print(f社区数量: {len(communities)})print(f社区报告数量: {len(community_reports)})# 实体类型分布print(f\n实体类型分布:)print(entities[type].value_counts())# 关系密度density len(relationships) / len(entities)print(f\n关系密度 (edges/nodes): {density:.2f})# 社区层级深度print(f\n社区层级分布:)print(communities[level].value_counts().sort_index())关键指标的正常范围指标正常范围异常信号实体数量文档数 × 5~20过少prompt 不够好过多噪声大关系密度1.5~4.01.0图太稀疏6.0噪声关系多社区层级2~5 层只有 1 层聚类失败8 层过度分裂实体类型4 种类型均有覆盖单一类型 90%类型定义有问题03 实体提取准确率怎么算这是最核心的评估指标。没有标准答案时用人工抽样 判断的方法。方法抽样 100 个实体逐一判断# 随机抽样 100 个实体sample entities.sample(100, random_state42)# 人工判断每个实体# 1. 这个实体是否真实存在正确提取# 2. 实体类型是否正确# 3. 描述是否准确# 计算准确率correct_count 85 # 假设 85 个正确accuracy correct_count / 100print(f实体提取准确率: {accuracy:.0%})经验判断准确率 85% 可以接受90% 算好80% 需要调优 prompt。LLM-as-Judge 方法更高效用 GPT-4o 做自动评估——把实体名称、类型、描述和源文本一起发给 LLM让它判断提取是否正确。judge_prompt f请判断以下实体提取是否正确。实体名称: {entity_name}实体类型: {entity_type}实体描述: {entity_description}源文本片段: {source_text}判断标准:1. 实体是否真实存在于源文本中2. 类型是否正确3. 描述是否准确回答: 正确/不正确原因: ...这种方法比纯人工快 10 倍但可能会有误判。建议先用人工评估 20 个校准 LLM 的判断标准再用 LLM 批量评估。04 社区划分质量怎么判断社区划分是 GraphRAG 的核心机制。划分不好Global Search 的回答质量会直接崩。自动评估模块度Modularity模块度衡量社区内部连接密度 vs 社区间连接密度。值在 -1 到 1 之间0.3 算合格0.5 算好。import networkx as nx# 从 relationships 构建图G nx.Graph()for _, row in relationships.iterrows(): G.add_edge(row[source], row[target], weightrow[weight])# 需要社区 ID 映射# 读取 communities.parquet 获取每个实体的社区归属# 然后计算模块度人工评估抽样读社区报告# 随机抽样 5 份社区报告sample_reports community_reports.sample(5)for _, report in sample_reports.iterrows(): print(f社区 {report[community]}: {report[title]}) print(f摘要: {report[summary]}) print(f---)判断标准报告有没有明确的主题主题是否和成员实体相关关键发现是否有价值如果社区报告主题模糊、内容空洞说明社区划分有问题——要么是 Leiden 的 resolution 参数不对要么是实体提取质量差导致图结构有问题。05 知识图谱可视化用 Gephi 看图谱GraphRAG 支持导出 GraphML 格式的图谱文件可以直接用 Gephi 打开。代码 2# settings.yaml 中启用 GraphML 导出snapshots: graphml: true跑完索引后output/graph.graphml就是图谱文件。用 Gephi 打开后的操作步骤导入File → Open → 选择 graph.graphml运行 LeidenStatistics → Leiden Algorithm → Resolution1按社区着色Appearance → Nodes → Partition → Cluster按度数调整大小Appearance → Nodes → Ranking → Degree → Min10, Max150布局先用 OpenORDLiquid50, Expansion50再用 ForceAtlas2Scaling15, Prevent Overlaptrue可视化能帮你直观发现几个问题孤立节点大量孤立节点说明实体提取有噪声社区大小不均一个社区特别大、其他特别小说明聚类参数需要调关系密度不均某些区域特别密集某些特别稀疏说明实体提取不一致06 查询质量评估Golden QA 方法评估查询质量最靠谱的方法是准备 Golden QA 数据集——一组标准问答对。怎么快速构建 Golden QA不需要大规模标注。20-50 组就够做第一轮评估从文档中手动提取 10 个全局问题适合 Global Search“这些文档的主要主题是什么”“文档中提到了哪些关键人物”从文档中手动提取 10 个实体问题适合 Local Search“X 是谁”“X 和 Y 什么关系”写标准答案基于文档内容写出你认为正确的答案运行查询并打分# 评估模板evaluation_template 问题: {question}标准答案: {golden_answer}系统回答: {system_answer}请按以下维度打分1-5分:1. 准确性: 答案是否正确2. 完整性: 是否遗漏关键信息3. 相关性: 是否回答了问题4. 可追溯性: 答案能否在源文档中找到依据评分:没有标准答案时的快速评估法如果连标准答案都懒得写至少做合理性检查问 5 个你知道答案的问题看系统回答对不对问 3 个全局问题看答案是否有明显遗漏问 2 个实体关系问题看关系是否正确5/5 正确 → 质量不错 3-4/5 正确 → 需要调优 ❤️/5 正确 → 索引质量有问题先修索引07 评估与调优的闭环图 2评估与调优的完整闭环流程评估不是一次性工作而是一个闭环准备 Golden QA20-50 组问答对运行查询分别跑 Global 和 Local人工打分准确性/完整性/相关性/可追溯性计算指标准确率/召回率/F1定位问题是实体抽取问题社区划分问题还是查询路由问题调优改 prompt、改 chunk_size、改 max_gleanings重新索引再次评估达标是→完成否→继续迭代停止条件连续 3 轮评估指标无改善停止迭代。可能已经到了当前配置的上限需要换思路比如换模型、换数据源、重新设计 entity_types。08 最小评估 Checklist图 3最小评估 Checklist这张 Checklist 是评估 GraphRAG 索引质量的最小集。每项逐一检查绿色通过红色未通过。至少 7/10 通过才建议上生产。最容易被忽视的 3 项实体消歧效果同名实体是否被正确区分这直接影响 Local Search 的准确性社区报告质量社区报告是 Global Search 的核心输入报告质量差 Global Search 废了关系密度密度太高6.0说明噪声关系多密度太低1.0说明图太稀疏09 什么时候该停止调优不是所有问题都能通过调优解决。以下情况建议停止连续 3 轮指标无改善当前配置可能已经到上限**实体提取准确率 70%**prompt 需要根本性重写不是微调能解决的社区报告质量普遍差可能是文档本身信息密度太低不适合用 GraphRAG成本已经超预算 2 倍继续调优不划算考虑用传统 RAG 替代3 问判断法你的实体提取准确率是否 85%你的社区报告是否有明确主题你的 Golden QA 测试中5/5 回答是否基本正确如果 3 个问题大多是否定的先修索引再考虑查询优化。决策帮助如果你刚跑完索引先用本文的代码做快速统计看实体数量、关系密度、社区层级是否在正常范围如果你准备上生产用 10 项 Checklist 逐一检查至少 7/10 通过如果你最关心查询质量先构建 20 组 Golden QA用人工打分做第一轮评估如果你只能先做一步抽样 100 个实体算准确率这一个指标就能告诉你索引质量的下限学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
