EICopilot：基于LLM智能体和大规模知识图谱的企业信息智能搜索与探索系统

EICopilot: Search and Explore Enterprise Information over Large-scale Knowledge Graphs with LLM-driven Agents文章摘要本文介绍了EICopilot一个基于大语言模型的企业信息搜索智能体系统。该系统能够自动生成Gremlin脚本在大规模知识图谱中进行企业信息的智能搜索和探索相比传统方法语法错误率降低至10%执行正确率达82.14%。原文PDF请通过 https://t.zsxq.com/VUjGv 获取往期推荐企业级智能知识库构建三种架构解析Vanilla RAG、GraphRAG与智能体RAG的选择指南及BMW等跨国公司实践案例[290页电子书]打造企业级知识图谱的实战手册Neo4j 首席科学家力作从图数据库基础到图原生机器学习50 页演讲 PPT当向量数据库崩溃时基于图的RAG在知识密集企业中的智能知识平台深度解析—writer基于知识图谱增强大模型的企业级智能知识库独角兽Glean获1.5亿美元F轮融资估值72亿美元DoorDash用大模型、知识图谱与聚类算法重塑客服知识库官宣KGDATA智能知识库正式上架 AWS Marketplace让全球业务知识管理「合规 高效」从传统 RAG 到知识图谱 Agent知识库 AI 问答成功率终于达到 95% 了来自蚂蚁集团的经验基于知识增强大模型的企业级知识库之二如何从非结构化内容中提取知识基于知识增强大模型的企业级知识库之一如何构建知识智能架构GraphRAG从研发到上线的挑战-硅谷企业级大模型知识库独角兽Glean系列之三企业级知识库为什么要用GraphRAG - 硅谷企业级ChatGPT独角兽Glean系列之二企业智能知识库企业Glean利用GraphRAG融资2.6亿美元引言企业信息检索的挑战与机遇在数字化时代企业注册数据构成了庞大的在线知识图谱包含法人信息、注册资本、主要股东等关键数据为互联网用户提供了宝贵的企业信息资源。然而传统的企业信息检索方式存在显著挑战需要复杂的文本查询和手动子图探索往往导致耗时且容易出错的过程。现实场景传统检索的痛点想象一个金融分析师需要调查某公司主要股东是否投资了餐饮企业的场景。传统方法下分析师必须手动查询首先搜索目标公司的主要股东信息逐层探索手动跟踪链接到代表这些股东投资组合的子图关系分析评估每个投资节点的持股比例和财务影响深度挖掘当某些投资节点代表其他公司时需要进行更多层次的分析这个过程不仅时间消耗大还容易遗漏重要关系或难以解读复杂的投资网络。EICopilot革命性的解决方案面对这些挑战我们提出了EICopilot——一个部署在百度企业搜索平台上的聊天机器人系统利用大语言模型的能力来理解自然语言查询自动生成和执行Gremlin脚本提供复杂企业关系的高效摘要。系统核心特性EICopilot的独特之处在于其三大核心特性数据预处理管道编译和注释代表性查询到向量数据库中用于上下文学习(ICL)综合推理管道结合思维链(Chain-of-Thought)和ICL来增强Gremlin脚本生成新颖的查询掩码策略通过改进意图识别来提高脚本准确性技术架构与规模EICopilot基于Apache TinkerPop构建的企业图数据库包含数亿个节点数百亿条边千亿级节点/边属性数百万个子图反映中国数百万家注册公司、企业和组织的状况技术创新三大突破性贡献1. 数据预处理创新EICopilot采用独特的数据预处理管道第一步真实查询收集系统从通用搜索引擎收集与企业信息相关的真实网络搜索查询包括公司名称、法人实体和财务报告等。第二步代表性查询筛选选择具有代表性的查询作为种子数据集开发人员使用Gremlin语言为每个查询精心编写搜索脚本。第三步向量数据库构建通过精心的数据标注和增强构建包含这些代表性查询及其脚本的向量数据库。2. 查询掩码策略突破传统的向量数据库搜索往往基于相同的实体名称如公司名称进行查询匹配而不是基于相似的搜索意图。EICopilot发现有时需要具有相似意图的示例如那些涉及公司财务状况或实际控制人的查询它们在脚本中具有相似的语法或逻辑。核心发现掩码查询中的实体名称可以提高意图匹配的准确性。基于这一发现EICopilot提出了新颖的查询掩码策略通过掩码查询中的特定实体来改进ICL示例匹配准确解释用户意图提高查询脚本生成的精度。3. 综合推理管道EICopilot在处理在线请求时使用基于思维链(CoT)和ICL的综合推理管道提供精确的查询响应。这种方法确保查询不仅在其复杂性方面被理解而且以更高的精度和与用户意图的相关性被执行。卓越性能实证评估结果性能指标经过广泛的实证评估EICopilot在速度和准确性方面显著优于基线方法语法错误率降低至低至10.00%执行正确率高达82.14%日活用户实际部署中达到5000名日活用户掩码策略效果对比通过对比分析三种匹配策略的效果原始匹配策略提取未掩码的查询结果与目标实体的一般详细信息相关但不涉及特定搜索意图代表性查询实体掩码虽然专注于不同公司但与在线查询的搜索意图密切一致完全实体掩码通过掩码在线和代表性查询中的实体增强对搜索意图的关注实现更好的泛化和捕获更广泛的查询含义结论完全实体掩码被证明是最有效的方法它始终生成相关且主题一致的查询通过与原始搜索意图密切一致来提高脚本生成的质量和适用性。相关工作讨论技术背景EICopilot的方法论涉及几个关键领域文本到SQL转换(Text2SQL)传统的自然语言到SQL翻译面临模式集成和查询措辞等挑战。检索增强生成(RAG)RAG通过外部数据库增强LLM减少幻觉并提高准确性。信息检索(IR)传统IR系统通常依赖关键词匹配在同义词、多义词和上下文差距方面存在困难。技术优势EICopilot通过使用LLM结合ICL和先进的掩码策略克服了传统IR的局限性提升了语义理解能力并减少了人工干预。通过生成Gremlin脚本和应用ICL系统还解决了模式差异问题使其成为企业信息检索领域的领先解决方案。实际应用价值目标用户群体EICopilot特别适用于以下专业用户群体金融分析师需要深入分析企业股权结构和投资关系投资机构评估目标企业的关联方和投资风险合规审查人员调查企业实际控制人和关联交易商业情报分析师挖掘企业间的复杂关系网络应用场景尽职调查快速获取目标企业的完整股权结构和关联方信息风险评估识别隐藏的关联交易和潜在风险点竞争分析了解竞争对手的投资布局和战略方向监管合规协助监管机构进行企业关联关系调查技术实现细节离线阶段数据基础建设在离线阶段EICopilot重点进行数据准备和丰富以有效支持后续的在线操作。通过构建丰富的种子数据存储库配合高效的数据增强策略进一步增强了系统生成精确查询响应的能力。在线阶段实时查询处理在线阶段系统利用预先构建的向量数据库和推理管道实现对用户自然语言查询的实时理解和处理自动生成相应的Gremlin脚本并执行查询操作。未来发展方向技术优化多语言支持扩展对更多语言的自然语言理解能力实时性能提升进一步优化查询响应速度知识图谱扩展支持更多类型的企业数据和关系应用拓展跨境企业分析支持全球企业信息的整合分析行业细分针对特定行业的深度分析功能预测性分析基于历史数据进行趋势预测结论EICopilot代表了企业信息搜索领域的重大技术突破。通过创新的查询掩码策略、综合推理管道和自动化脚本生成技术系统在大规模知识图谱的查询和摘要方面取得了显著进展。关键创新包括自动Gremlin脚本生成精确意图识别的新颖掩码策略ICL示例匹配的改进方法这些技术创新不仅提高了查询效率和准确性还为大规模知识图谱的探索和利用树立了新的标杆将彻底改变企业信息检索的用户体验。对于企事业单位和投资机构而言EICopilot提供了一个强大的工具能够快速、准确地获取复杂的企业关系信息支持更明智的商业决策和风险管控。